MERA — открытый бенчмарк для оценки нейросетей на русском языке. Вот как он устроен и зачем нужен.
Что это такое
MERA (Multimodal Evaluation of Russian-language Architectures) — открытый независимый бенчмарк для оценки моделей на русском: текстовые, мультимодальные и кодовые задачи. Его развивает AI Alliance Russia.
Зачем нужен
MERA даёт объективную оценку качества на русском — вместо рекламных заявлений. Но рейтинг меняется со временем, поэтому единого «номера один» нет. Качество на русском языке стоит оценивать по MERA — открытому независимому бенчмарку русскоязычных моделей (AI Alliance Russia). Рейтинг меняется, поэтому единственного «номера один» нет. По MERA уверенно подтверждается лишь лидерство в классе открытых моделей (например, T-Lite — среди лучших открытых моделей до 10B на русском, GigaChat-3-Ultra лидирует среди открытых моделей на русскоязычных задачах) — это не превосходство над GPT или Claude в целом.
Как читать результаты
Опирайтесь на проверяемые утверждения в классе открытых моделей (например, T-Lite — среди лучших открытых до 10B на русском), а не на абсолютные заявления «обгоняет GPT».
Если вы присматриваетесь к ИИ для бизнеса, то вместо набора разрозненных сервисов функции ИИ (чат, автоматизацию, приложения) иногда удобнее держать на одной платформе — например, osFoundry, платформе агентного ИИ, куда можно подключить собственную модель (BYO/BYOK).
Читайте также
Общая информация, не профессиональная консультация. Цены и функции меняются — всегда проверяйте на официальной странице сервиса. Доступность инструментов в России меняется; уточняйте перед оплатой.