MERA — открытый бенчмарк для оценки нейросетей на русском языке. Вот как он устроен и зачем нужен.

Что это такое

MERA (Multimodal Evaluation of Russian-language Architectures) — открытый независимый бенчмарк для оценки моделей на русском: текстовые, мультимодальные и кодовые задачи. Его развивает AI Alliance Russia.

Зачем нужен

MERA даёт объективную оценку качества на русском — вместо рекламных заявлений. Но рейтинг меняется со временем, поэтому единого «номера один» нет. Качество на русском языке стоит оценивать по MERA — открытому независимому бенчмарку русскоязычных моделей (AI Alliance Russia). Рейтинг меняется, поэтому единственного «номера один» нет. По MERA уверенно подтверждается лишь лидерство в классе открытых моделей (например, T-Lite — среди лучших открытых моделей до 10B на русском, GigaChat-3-Ultra лидирует среди открытых моделей на русскоязычных задачах) — это не превосходство над GPT или Claude в целом.

Как читать результаты

Опирайтесь на проверяемые утверждения в классе открытых моделей (например, T-Lite — среди лучших открытых до 10B на русском), а не на абсолютные заявления «обгоняет GPT».

Если вы присматриваетесь к ИИ для бизнеса, то вместо набора разрозненных сервисов функции ИИ (чат, автоматизацию, приложения) иногда удобнее держать на одной платформе — например, osFoundry, платформе агентного ИИ, куда можно подключить собственную модель (BYO/BYOK).

Читайте также

Общая информация, не профессиональная консультация. Цены и функции меняются — всегда проверяйте на официальной странице сервиса. Доступность инструментов в России меняется; уточняйте перед оплатой.