Реставрация ruGPT-3 XL или как я вернул к жизни забытую русскую языковую модель

27.03.2026 23:39:27 | Хабр

Хабы: Машинное обучение, Искусственный интеллект

Несколько дней к ряду я занимался реставрацией легаси модели ai-forever/rugpt3xl, это классическая языковая модель от SberDevices на 1.3B параметров, крошка по современным меркам, на которой сберовцы обкатывали свои научные наработки аж в далёком 2021м году. Подробнее о ней можно почитать в статье “A family of pretrained transformer language models for Russian” на Google Scholar.

Да, она foundation, то есть умеет только продолжать текст, не может выполнять инструкции или работать в режиме чата. Но обучена она на корпусе русского языка и этот самый русский генерит очень бодро. У неё есть две примечательные особенности: её обучали с нуля, архитектура представляет собой глубокую модификацию GPT-2.

Подробнее

Читайте также

Мишустин заявил, что ИИ ускоряет развитие экономики
27.03.2026 23:07:34 | ferra.ru

Ученые МФТИ создали технологию стереозрения для беспилотников
27.03.2026 22:47:53 | ferra.ru

Драйверы под присмотром, спутники для интернета вещей и CarPrice в доход государства
27.03.2026 22:40:08 | it-world

Google Переводчик получил живой перевод разговоров в наушниках на iPhone
27.03.2026 22:26:18 | ferra.ru

[Перевод] Полный текст интервью Теренса Тао: Кеплер, Ньютон и подлинная природа математического открытия
27.03.2026 22:20:56 | Хабр

Объем реализации российских IT-продуктов превысил 5 трлн рублей
27.03.2026 22:07:03 | ferra.ru

Кажется, во мне умирает программист
27.03.2026 22:05:54 | Хабр

Нейросеть помогла таксистами в оформлении разрешений на работу в Подмосковье
27.03.2026 21:49:50 | ferra.ru

Как найти работу продакт-менеджеру
27.03.2026 21:43:01 | Хабр

ПИД-регулятор — это просто
27.03.2026 21:40:04 | Хабр

ПИД-регулятор — это весело
27.03.2026 21:40:04 | Хабр

В открытом доступе появился инструмент для взлома iPhone
27.03.2026 21:40:00 | ferra.ru

Какими инструментами пользуется бизнес-аналитик в 2026 году
27.03.2026 21:30:15 | Хабр

Теперь и Asus предупредила о скором резком подорожании ПК
27.03.2026 21:22:54 | ferra.ru

Ученые Сеченовского университета создали модель старения иммунной системы
27.03.2026 21:21:31 | ferra.ru

В Казани создали опрыскиватель для точного нанесения препаратов на растения
27.03.2026 21:00:57 | ferra.ru

Глава Ростелекома рассказал о резком росте спроса на стационарные телефоны
27.03.2026 20:55:00 | ferra.ru

Энтузиаст запустил приложение, которое заставляет MacBook «стонать от шлепков» — он заявляет, что заработал $5000 за пять дней
27.03.2026 20:38:34 | vc.ru

Как не устроиться в Яндекс на работу потратив 2 месяца
27.03.2026 20:29:45 | Хабр

Смартфоны с Android 17 будут заряжаться быстрее за счёт отключения лишних процессов
27.03.2026 20:26:15 | ferra.ru

Первый полёт нового российского корабля за пределы Земли запланирован на 2028 год
27.03.2026 20:10:00 | ferra.ru

В Кисловодске создали цифровой двойник атмосферы для контроля загрязнения
27.03.2026 20:07:02 | ferra.ru

Российские ученые создали гибридные полимеры с водоотталкивающим эффектом
27.03.2026 19:59:28 | ferra.ru

Продавцы на Wildberries пожаловались на задержки выплат
27.03.2026 19:58:44 | vc.ru

Как собрать систему захвата ниши: семантика, архитектура сайта, LLM-пайплайн и подготовка к AI-поиску
27.03.2026 19:48:27 | Хабр

OSINT для ленивых. Часть 6: Фотошоп наше все? Выявляем фейк за 2 минуты
27.03.2026 19:32:38 | Хабр

Учёные уточнили параметры извлечения платиноидов из ядерных отходов
27.03.2026 19:25:00 | ferra.ru

IT-премия умерла? Что делать удалёнщику до 2030
27.03.2026 19:22:04 | Хабр

Tecno встроит в смартфоны ИИ, который сам будет управлять устройством
27.03.2026 19:12:47 | ferra.ru

Поставка запчастей из Китая: «головная боль» российских предпринимателей
27.03.2026 19:08:40 | it-world

VLESS на роутере с OpenWRT
27.03.2026 18:51:25 | Хабр

R-Style Softlab: Telegram вчера и сегодня что изменилось для бизнеса
27.03.2026 18:44:36 | Хабр

В России создали новые антрациклины для борьбы с устойчивым раком
27.03.2026 18:44:09 | ferra.ru

Как включить кондиционер после зимы без вреда для здоровья
27.03.2026 18:43:15 | ferra.ru

В озёрах Кенозерского парка из-за потепления расплодились два редких вида рыб
27.03.2026 18:40:00 | ferra.ru

Смотреть все

НОВОСТИ

США направили морпехов в Венесуэлу
01.07.2026 15:19:02 | Lenta.ru

«Говорила с ангелом-хранителем»: Звезду «Дома-2» экстренно госпитализировали
01.07.2026 15:18:11 | Life.ru

В озере Ленобласти обниружили тело мужчины
01.07.2026 15:17:58 | ТАСС

Появились подробности о состоянии потерявших при атаке ВСУ под Москвой младенца супругов
01.07.2026 15:16:30 | Lenta.ru

Пневмония дала осложнение: Харви Вайнштейн пережил в тюрьме сердечный приступ
01.07.2026 15:16:16 | Life.ru

РАН: закат и пыль в воздухе привели к красному небу над Венесуэлой
01.07.2026 15:16:09 | ТАСС

Жительницу Воронежской области подозревают в истязании внучки
01.07.2026 15:16:05 | ТАСС

На северо-востоке Японии произошло землетрясение магнитудой 6
01.07.2026 15:15:56 | ТАСС

Названа причина вызова Залужного в Киев
01.07.2026 15:15:55 | Lenta.ru

Москвичей предупредили об отступлении жары
01.07.2026 15:14:11 | Lenta.ru

На выставке "Иннопром" презентуют пилотный арт-проект со стаей робопсов
01.07.2026 15:11:46 | ТАСС

Стало известно о продвижении ВС России под Славянском
01.07.2026 15:10:43 | Lenta.ru

Гуф не вошел в списки "Новых людей" на выборы в Госдуму
01.07.2026 15:10:42 | ТАСС

МИД Армении выразил надежду на продолжение отношений с Россией
01.07.2026 15:09:41 | Life.ru

Reuters: саммит НАТО в Албании в 2027 году может не состояться
01.07.2026 15:09:21 | ТАСС

Молодежь нашла неожиданное место для поиска любви
01.07.2026 15:08:16 | Lenta.ru

«Зачем Зеленскому рисковать?» Политолог оценил вероятность выборов на Украине осенью
01.07.2026 15:08:09 | Life.ru

Под контроль ВС РФ стали переходить села в Запорожской и Харьковской областях
01.07.2026 15:08:00 | Российская Газета

В ФРГ объяснили, чем вызван пост Мерца о сборной на ЧМ
01.07.2026 15:07:35 | ТАСС

Власти сообщили об атаке ВСУ на два предприятия в городе в 700 километрах от границы
01.07.2026 15:06:48 | Lenta.ru

Набиуллина: транзакционные издержки в экономике РФ оцениваются в триллионы рублей
01.07.2026 15:06:23 | ТАСС

В России высказались о доступности бензина в стране
01.07.2026 15:06:13 | Lenta.ru

В Пензе при атаке БПЛА пострадали 2 человека, обломки повредили дома
01.07.2026 15:06:06 | Life.ru

В Омске задержали мужчину, который выколол глаз водителю маршрутки
01.07.2026 15:05:17 | ТАСС

Трамп выразил соболезнования из-за смерти солиста Village People
01.07.2026 15:05:09 | ТАСС

Прилепин раскрыл жульническую схему Киева с подставными пленными
01.07.2026 15:04:52 | Life.ru

В Крыму лесной пожар локализовали на площади 10 га
01.07.2026 15:04:43 | ТАСС

Марочко: армия РФ в июне нарастила темпы освобождения ДНР
01.07.2026 15:04:39 | ТАСС

Верховный суд утвердил единые правила по спорам со «схемой Долиной»
01.07.2026 15:04:39 | Lenta.ru

Сенатор Перминов: пятерка списка ЕР характеризует то, чем живет страна
01.07.2026 15:04:30 | ТАСС

В Новосибирской области в рамках Недели крепкой семьи пройдет около тысячи мероприятий
01.07.2026 15:04:15 | ТАСС

Марочко: Киев в июне в боях потерял более 38 тыс. солдат и наемников
01.07.2026 15:04:03 | ТАСС

В Пензе в двух многоквартирных домах выбиты стекла после удара БПЛА
01.07.2026 15:03:44 | ТАСС

Цены на горючее в ФРГ снова взлетели после отмены топливной скидки
01.07.2026 15:02:29 | ТАСС

ВТБ подтвердил получение пакета акций "Озона" в залог
01.07.2026 15:02:16 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro