Как мы научили большую языковую модель говорить на карачаево-балкарском

05.07.2026 17:59:24 | Хабр

Хабы: Natural Language Processing, Искусственный интеллект, Машинное обучение

Давно ничего не писал где-либо: разработка занимает много времени. Надеюсь, наш путь будет кому-либо полезен, особенно тем, кто обучает модельки на малоресурсных языках.

Большая в данном контексте - это условно. По сути, взяли Qwen3-4B-Instruct-2507 и обучили на карачаево-балкарском языке (тюркский, половецко-кыпчакская группа). По дороге пришлось написать собственный морфологический процессор для аугментации диалектов, обучить токенизатор с нуля, и найти баланс в обучении модели на сырых данных, чтобы она не забывала инструкций (а хотелось, чтобы могла отвечать).

Модель лежит на HuggingFace: TSjB/QM-4B. Работу представляли на конференции TurkLang 2026

Подробнее

Читайте также

В ГД предложили уведомлять через «Госуслуги» о плохих анализах
05.07.2026 17:54:46 | ferra.ru

Как сломать Swift Concurrency
05.07.2026 17:33:58 | Хабр

Ghidra — фреймворк АНБ для реверс-инжиниринга ПО
05.07.2026 17:03:20 | Хабр

Россиянам рассказали о пике метеорного потока Южные дельта-Аквариды
05.07.2026 16:28:16 | ferra.ru

Эволюция через тормоз: почему человеческий разум начался с невыполненного действия
05.07.2026 16:22:19 | Хабр

DSpark на двух DGX Spark: порт, баг на одну строку и бенчмарки, которые пришлось мерить заново
05.07.2026 16:22:00 | Хабр

Age of Mythology в 2026 году: от мифов Древней Греции до ацтеков — почему стратегия все еще жива
05.07.2026 16:07:56 | Хабр

В чем смысл жизни с точки зрения термодинамики?
05.07.2026 16:00:44 | Хабр

Анатомия парного доклада: как мы собирали «PROvoke» на Analyst Days. Часть 2 — выступление и фидбек
05.07.2026 15:51:54 | Хабр

«Мы сделали это»: Как мы готовили доклад в тандеме через пол-России и что поняли только после
05.07.2026 15:37:53 | Хабр

Московский школьник выиграл конкурс ИИ-агентов и получил стажировку в Сбер
05.07.2026 15:19:11 | ferra.ru

Fable 5 из подвала, Sonnet 5 в дефолт. Что Antropic сделал за 5 дней
05.07.2026 15:06:10 | Хабр

Где лучше создавать изображения по фото — выбираем из ТОП-6 ИИ с примерами и промптами
05.07.2026 15:01:38 | Хабр

День 1593: объём биржевых торгов юанем в июне 2026 года достиг рекордных 2,75 трлн рублей
05.07.2026 14:59:11 | vc.ru

Что такое бизнес-способности / business capabilities и зачем они нужны
05.07.2026 14:49:14 | Хабр

Мобильная разработка за неделю #637 (29 июня — 5 июля)
05.07.2026 14:49:06 | Хабр

В Индии запустили завод по упаковке и тестированию микросхем
05.07.2026 14:46:21 | ferra.ru

Российский интернет атакуют
05.07.2026 14:44:21 | Хабр

[Перевод] Со спутников видно, что Земля удивительно симметрично отражает свет — и это, возможно, связано с циклом Эль-Ниньо
05.07.2026 14:30:49 | Хабр

Беспилотная доставка на 300 км появится у российских маркетплейсов
05.07.2026 14:22:07 | ferra.ru

Модель почтовых адресов в реляционных БД
05.07.2026 13:43:06 | Хабр

Тегеран, 1978: Диско бессмертно
05.07.2026 13:30:45 | Хабр

В МФТИ нашли перспективный электролит для литиевых аккумуляторов
05.07.2026 13:18:10 | ferra.ru

Съездили к ByteDance и Z.ai: роботы по паспорту, серверные карты на рынке и восемь дней внутри китайского AI
05.07.2026 13:10:48 | Хабр

Контракт из кода, клиент из контракта: избавляемся от тройного дублирования в API
05.07.2026 13:10:32 | Хабр

ЭВМ в народном хозяйстве: лампы, кибернетика, «Урал-1»
05.07.2026 13:01:43 | Хабр

Популярные ИИ фото через нейросеть: трендовые изображения и ТОП-12 AI сервисов
05.07.2026 13:01:10 | Хабр

Unreal Engine 6 на Verse — это что-то крышесносное
05.07.2026 13:00:56 | Хабр

Как я написал сервис для анализа конкурсных списков вузов и моделирования зачисления по приоритетам
05.07.2026 12:55:01 | Хабр

«Норникель» внедрил защищенный ИИ совместно с Yandex Cloud
05.07.2026 12:50:43 | ferra.ru

350 тысяч за вакансию: сколько на самом деле стоит нанять человека в 2026 году
05.07.2026 12:38:04 | Хабр

ФМБА создаст технологии для дальних пилотируемых космических миссий
05.07.2026 12:28:25 | ferra.ru

ИИ из коробки: сервисы для расшифровки текста
05.07.2026 12:22:36 | it-world

Почему ChatGPT называет одни бренды и молчит про другие: как машина знает компании
05.07.2026 12:15:16 | Хабр

[Перевод] Что нового в Swift: Июнь 2026 года
05.07.2026 12:14:52 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Лавров встретился с Вучичем и передал ему тёплые пожелания от Путина
24.09.2026 18:57:57 | Life.ru

Раскрыта стоимость жилья Полины Гагариной
24.09.2026 18:57:45 | Lenta.ru

Среднегодовой темп роста производства одежды в 2027-2029 годах составит 1,5%
24.09.2026 18:56:28 | ТАСС

Перевозки пассажиров водным транспортом в РФ в 2026 году вырастут на 7,4%
24.09.2026 18:56:06 | ТАСС

ЦБ определил порядок допуска на рынок криптовалют
24.09.2026 18:54:40 | ТАСС

Лавров и президент Сенегала подтвердили близость позиций по большинству тем
24.09.2026 18:54:08 | ТАСС

Выпуск лекарств в России в 2026 году вырастет на 12,1%
24.09.2026 18:53:59 | ТАСС

Кто из высокопоставленных чиновников переходил в Госдуму после выборов
24.09.2026 18:52:31 | ТАСС

Тарасова заявила, что хорошо себя чувствует после выписки из больницы
24.09.2026 18:52:22 | Life.ru

Концерт Лаймы Вайкуле отменили из-за отсутствия зрителей
24.09.2026 18:51:48 | Lenta.ru

Цены на электроэнергию для населения в РФ могут вырасти на 14,4% в 2027 году
24.09.2026 18:51:40 | ТАСС

В России пересмотрели правила программы семейной ипотеки. Что изменится и когда начнут действовать новые правила?
24.09.2026 18:50:55 | Lenta.ru

Колумнист BZ предупредил о риске «войны без конца» между ФРГ и Россией
24.09.2026 18:49:39 | Life.ru

Грузовые ж/д тарифы могут проиндексировать с 2028 года на 7,3%
24.09.2026 18:49:38 | ТАСС

Производство химических веществ и продуктов снизится на 1,3 % в РФ в 2026 году
24.09.2026 18:49:27 | ТАСС

Зеленский призвал закончить конфликт до того, как ИИ начнёт решать судьбу боёв
24.09.2026 18:49:27 | Life.ru

Тарасова назвала трудоголиком фигуриста Александра Плющенко
24.09.2026 18:48:11 | ТАСС

Минэкономразвития прогнозирует снижение грузооборота автотранспорта в России
24.09.2026 18:47:43 | ТАСС

ВС РФ ударили по складу беспилотников в Новых Белярах под Одессой
24.09.2026 18:47:40 | Life.ru

Лавров проводит встречу с Вучичем на полях ГА ООН
24.09.2026 18:46:35 | ТАСС

Полицейский выдал мать замуж за бойца СВО и похитил его выплаты
24.09.2026 18:46:26 | Lenta.ru

В ДНР наемника ВСУ из Грузии заочно приговорили к 14,5 года колонии
24.09.2026 18:46:17 | ТАСС

Мендель: украинцам зимой придется расплачиваться за некомпетентное правительство
24.09.2026 18:46:03 | ТАСС

Перевозки грузов морским транспортом в 2026 году вырастут на 16,8%
24.09.2026 18:45:55 | ТАСС

Нарышкин заявил о вмешательстве Евросоюза в выборы в Госдуму
24.09.2026 18:45:20 | Life.ru

Госсовет Коми освободил Героя РФ Кочева от полномочий после избрания в ГД
24.09.2026 18:44:49 | ТАСС

Девять провайдеров за два дня: В Киеве сообщили о новых повреждениях дата-центров
24.09.2026 18:44:06 | Life.ru

МЭР: стоимость коммунальных услуг в 2027 году проиндексируют на 11%
24.09.2026 18:43:52 | ТАСС

В Московском регионе отменили желтый уровень опасности из-за ветра
24.09.2026 18:42:39 | ТАСС

Растерзанного медведем тренера Кузьменко четыре часа спускали к врачам по реке
24.09.2026 18:42:38 | Life.ru

Хоккейный клуб "Металлург" применил дисциплинарное взыскание к Разину
24.09.2026 18:42:37 | ТАСС

«У нас нет на это средств»: Ле Пен заявила, что Франция больше не может содержать Украину
24.09.2026 18:42:09 | Life.ru

В Андерматте отпраздновали 227-ю годовщину перехода Суворова через Альпы
24.09.2026 18:41:57 | ТАСС

Си Цзиньпин: Китай и США несут ответственность за прогресс человечества
24.09.2026 18:40:34 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro