MARKER: Собираем свой русскоязычный мультимодальный датасет для оценки VLM

info@vsetut.pro

Стать автором

Вернуться

23.09.2025 10:40:25 | Хабр

Хабы: Блог компании VK, Машинное обучение, Искусственный интеллект

Привет, Хабр! Меня зовут Игорь Рябков. В этой статье расскажу, как мы собрали датасет для оценки Visual Language Models на русском языке и с учетом нашего культурного контекста. Этот проект появился в рамках исследовательской работы в Инженерно-математической школе НИУ ВШЭ и VK под руководством Александра Рогачева (AI VK). Опыт показал — собрать подобный датасет под свои задачи можно и без огромных ресурсов, если подойти к делу системно.

Современные Visual Language Models — мультимодальные братья больших языковых моделей, способные одновременно читать тексты и анализировать изображения. Казалось бы, такие модели открывают множество новых возможностей и для российских пользователей. Однако большинство известных датасетов для VLM — MMBench, MMMU, MME — ориентированы на английский язык и западную аудиторию. Локальные решения вроде K-Viscuit (Корея) и MERA (Россия) только начинают появляться, но их пока недостаточно. Поэтому мы решили собрать датасет, который бы учитывал специфику русского языка и мог покрыть актуальные задачи для пользователей.

Встречайте MARKER: Multimodal Assessment of Russian Knowledge in Educational Realms.

Данные можно найти по ссылке: https://huggingface.co/datasets/Just-ln-Case/Marker

Подробнее