Данные для языка, которого почти нет в интернете: текстовые слои, турецкие подмены и псевдоразметка двумя моделями

29.10.2026 01:34:15 | Хабр

Хабы: Python, Искусственный интеллект, Изучение языков, Natural Language Processing

В первой статье серии я писал, что у крымскотатарского не было ни одного датасета, пригодного для серьёзной работы, и что начинал я с существующего речевого набора, который пришлось чистить. Во второй распознавалка научилась слышать нашу речь, в третьей синтезированный голос прочитал целый роман. Отсюда вопрос, который мне задавали чаще всего: если данных нет, на чём всё это училось?

Эта статья про данные. Оговорка та же, что и раньше, только строже: я не называю источники, архивы, издания, каналы, людей и организации, которые нам что-то передали, и не рассказываю о договорённостях с ними. Нет здесь и названий моделей, порогов фильтров и внутренних скриптов. Объёмы даю порядками величин. Зато будут метрики, методика проверки и грабли, на которые я наступил, и все цифры взяты из отчётов экспериментов, а не по памяти.

Подробнее

Читайте также

Как генератор трёх слов на баннере вырос в веб-сервис: Ghostscript, CMYK и производственные грабли
28.10.2026 23:14:24 | Хабр

Исходный код на экспорт, зарубежный интернет под лимит
28.10.2026 23:03:21 | it-world

Как я улучшил управление окнами в macOS
28.10.2026 21:38:43 | Хабр

Бесплатное ПО, пять лет разработки и немного наглости. Как я пытаюсь попасть в реестр российского ПО
28.10.2026 21:17:11 | Хабр

Каждый таксист теперь может попробовать поуправлять крупной корпорацией
28.10.2026 21:15:40 | Хабр

Как я устал от VPN‑клиентов на 300 МБ ОЗУ и написал свой TUN‑клиент на чистом Rust (Unbihex)
28.10.2026 20:53:15 | Хабр

Infinix HOT 70: доступный смартфон с интересными деталями
28.10.2026 20:16:57 | it-world

ymcp, или как подружить агентов с YouTrack, если ты не админ
28.10.2026 20:16:24 | Хабр

ymcp, или как подружить агентов с YouTrack, если ты не админ
28.10.2026 20:16:24 | Хабр

Настройщица пианино и Мечник по имени Райдэн: как я нашла в Telegram игру, которая звучит чисто
28.10.2026 20:14:17 | Хабр

Круизный лайнер Villa Vie Odyssey остановил «непрерывное» кругосветное путешествие и «выселил» постояльцев в Камбодже — из-за роста цен на топливо
28.10.2026 19:59:59 | vc.ru

Пишем свою мобильную ОС с нуля на Rust. Часть 4: GUI, SQLite и DOOM
28.10.2026 19:46:33 | Хабр

Пишем свою мобильную ОС с нуля на Rust. Часть 4: GUI, SQLite и DOOM
28.10.2026 19:46:33 | Хабр

Давай отлаживать по TCP
28.10.2026 19:29:38 | Хабр

Сборка личного домашнего сервера под фото/видео с удалённым доступом: Ubuntu Server + Immich
28.10.2026 18:56:08 | Хабр

Сборка личного домашнего сервера под фото/видео с удалённым доступом: Ubuntu Server + Immich
28.10.2026 18:56:08 | Хабр

ПаровоJSик: как мы не нашли тренажер для JS/TS‑собеседований на русском и сделали свой
28.10.2026 18:51:44 | Хабр

ПаровоJSик: как мы не нашли тренажер для JS/TS-собеседований на русском и сделали свой
28.10.2026 18:51:44 | Хабр

Пять месяцев приручал GoClaw. В итоге плюнул и написал свою систему
28.10.2026 18:19:09 | Хабр

От языка к действию: как устроены агентные ИИ‑системы
28.10.2026 18:16:45 | Хабр

Союз продавцов маркетплейсов пожаловался в ФАС на «систематические задержки выплат» пострадавшим из-за атак продавцам Wildberries
28.10.2026 17:48:39 | vc.ru

Дежурство недели: еженедельный рейтинг на Flask и SQLite без крона
28.10.2026 17:36:27 | Хабр

Подозрительные процессы в Linux: как найти неизвестную службу, сетевое соединение и автозапуск
28.10.2026 17:35:17 | Хабр

Как немножко обмануть сервер
28.10.2026 17:05:37 | Хабр

KassiOS: слой в стиле Kaspresso поверх XCUITest, проверенный на сломанном банке
28.10.2026 16:55:25 | Хабр

Дефицит оперативной памяти продлится как минимум до 2030 года
28.10.2026 16:48:03 | it-world

MAX заработал первые 700 миллионов на рекламе и бизнесе
28.10.2026 16:39:59 | it-world

Периодические функции как функции активации в нейросетях
28.10.2026 16:38:45 | Хабр

«6 − 2 = 3»: как мы проверяем кодом задания, которые пишет языковая модель
28.10.2026 16:33:06 | Хабр

О мышах и людях: проверяем нейросеть на ложных предпосылках
28.10.2026 16:27:23 | Хабр

13 релизов за неделю: OpenShift, алерты, фильтры и первые внешние контрибьюторы Sextant
28.10.2026 16:21:41 | Хабр

[Перевод] Купил морскую спутниковую антенну примерно за €200 и убедил её, что она на яхте
28.10.2026 16:13:08 | Хабр

Дядя Боб написал правила для ИИ-агентов: разбираем ub-mode
28.10.2026 15:51:36 | Хабр

[Перевод] Ускоряем self-hosted Convex в два раза: AOT-компиляция TypeScript-функций в Wasm
28.10.2026 15:39:22 | Хабр

Как две строки GLSL едва не свели меня с ума
28.10.2026 15:27:42 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

В Geely раскрыли будущее бензиновых двигателей
04.12.2026 05:45:00 | За рулем

«Я трезвый» не аргумент: почему кофе и сон не спасают от лишения прав
29.10.2026 22:50:00 | За рулем

Число ненайденных по заявкам "ЛизаАлерт" выросло почти на четверть
29.10.2026 05:47:35 | ТАСС

Профессор Жданов рассказал о возможных последствиях оспы обезьян
29.10.2026 05:45:09 | ТАСС

В США отменили режим ЧС на ядерном комплексе после пожара с радиацией
29.10.2026 05:45:00 | Life.ru

Побыл «президентом» 22 минуты: Сбежавший в США Болсонару отказался от этого титула
29.10.2026 05:43:00 | Life.ru

Посольство РФ: Слова о подготовке спецназа Германии к конфликту уже не удивляют
29.10.2026 05:39:00 | Life.ru

Швейцария выразила готовность предложить площадку для переговоров по Украине
29.10.2026 05:37:39 | Lenta.ru

Более 100 украинских БПЛА сбили на подлете к Москве
29.10.2026 05:37:03 | Lenta.ru

Раскрыты расходы на ВСУ при Зеленском
29.10.2026 05:37:00 | Lenta.ru

Мужчина лишился уникальной коллекции машин из-за аферы с кредитными картами
29.10.2026 05:34:09 | Lenta.ru

Россиянам рассказали о связи между иммунитетом рта, здоровьем зубов и ожирением
29.10.2026 05:33:55 | Lenta.ru

Россиянам дали совет по сохранению сбережений
29.10.2026 05:33:42 | Lenta.ru

В Пентагоне отказались расследовать сбой Starshield на Украине
29.10.2026 05:33:27 | Lenta.ru

В России создали препарат от аритмии на основе двух спиртов за 15 тысяч рублей
29.10.2026 05:33:16 | Life.ru

В Подмосковье с начала уборки урожая собрали почти 410 тыс. тонн зерна
29.10.2026 05:32:10 | ТАСС

Пожар на ядерном объекте. Главное о происшествии в лаборатории в США
29.10.2026 05:31:42 | ТАСС

Комроты Фагот: БПЛА "Севера" уничтожили роботокомплексы и средства связи ВСУ
29.10.2026 05:31:17 | ТАСС

Комбат Фагот: БПЛА "Севера" уничтожили роботокомплексы и средства связи ВСУ
29.10.2026 05:31:17 | ТАСС

Украинца задержали после смерти племянника князя Монако. В чем обвиняют задержанного?
29.10.2026 05:26:08 | Lenta.ru

Число сбитых с начала суток на подлёте к Москве беспилотников выросло до 89
29.10.2026 05:25:54 | Life.ru

"Ведомости" узнали, что почти каждый третий договор НСЖ оформляют на детей
29.10.2026 05:22:36 | ТАСС

Опрошенные россияне назвали сумму, которую хотят потратить на распродажах осени
29.10.2026 05:21:30 | ТАСС

Опрошенные назвали сумму, которую намерены потратить на осенних распродажах
29.10.2026 05:21:30 | ТАСС

В "Востокгосплане" назвали восточное крыло ТТК драйвером грузопотоков в АТР
29.10.2026 05:19:55 | ТАСС

Адвокат Сноудена заявил, что его семья в России чувствует себя замечательно
29.10.2026 05:19:04 | ТАСС

Суд взыскал с телеканала 1,5 млн рублей за песни Долиной, Билана и других звёзд
29.10.2026 05:15:00 | Life.ru

В ГД отметили, что народ Гагаузии считает себя частью русского мира
29.10.2026 05:14:09 | ТАСС

Названы регионы с наибольшим средним размером выданных POS-кредитов в сентябре
29.10.2026 05:11:06 | ТАСС

В ядерном комплексе в США не выявили радиоактивного загрязнения после пожара
29.10.2026 05:08:32 | ТАСС

На ядерном объекте в США, где произошел пожар, работают с плутонием и тритием
29.10.2026 05:08:23 | ТАСС

В США после пожара на ядерном объекте ведут работы с плутонием и тритием
29.10.2026 05:08:23 | ТАСС

Группировка "Восток" очищает освобожденные территории ДНР от дронов-ждунов
29.10.2026 05:08:13 | ТАСС

Алиханов назвал лидеров производств среди народных промыслов России
29.10.2026 05:08:12 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro