Своя GPT-like LLM по WH40K с нуля. Часть 3: pre-train LLM

20.07.2026 06:11:21 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Python, Natural Language Processing

Привет, Хабр! Меня зовут Владимир, и это третья часть цикла статей по написании и обучению небольшой decoder-only LLM с нуля. В первой части мы обучили токенизатор и собрали pretrain-датасет, во второй части реализовали класс Трансформер-блока. В этой части будем собирать и предобучать нашу LLM.

Подробнее

Читайте также

От чат-бота до ИИ-агента: 13 проектов российских компаний
20.07.2026 06:10:20 | Хабр

Ответ разработчика на статью про «бизнес-схему»
20.07.2026 06:08:07 | Хабр

Компилятор в 16 лет
20.07.2026 05:44:56 | Хабр

Greenfield и Brownfield: разработка новых и существующих систем в эпоху AI
20.07.2026 05:01:16 | Хабр

Почему ваше React Native приложение падает при установке и как один метод в MainApplication это исправляет
20.07.2026 05:00:15 | Хабр

Новые хакерские книги на русском
20.07.2026 04:20:14 | Хабр

Медийная реклама не продает «в лоб»
20.07.2026 03:43:11 | Хабр

Как звучал 1990-й: разбираем AdLib и синтезатор OPL2 – от одной ноты до виртуальной машины музыки
20.07.2026 03:13:31 | Хабр

С нуля до Junior DevOps в 2026 году. Часть 4. Docker: почему контейнеризация изменила разработку
20.07.2026 01:48:45 | Хабр

Проектируем шеринг вещей с нуля за 250 тысяч рублей
20.07.2026 00:45:28 | Хабр

Технологии для сохранения здоровья головного мозга разработают в России
19.07.2026 23:56:55 | ferra.ru

В России начнут генетические исследования факторов долголетия
19.07.2026 23:32:37 | ferra.ru

Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo
19.07.2026 23:10:39 | Хабр

В России появятся технологиии для выявления преждевременного старения
19.07.2026 23:01:48 | ferra.ru

Глава «Вкусно и точка» оценил перспективы замены сотрудников роботами
19.07.2026 22:20:02 | ferra.ru

IT-Weekly: ИИ-помощник ГигаЧат теперь распознает эмоции, Р7 запускает BI-инструмент Р7-Аналитика
19.07.2026 21:33:02 | it-world

GitHub Discussions, Hacker News и звёзды: механика роста для технического продукта
19.07.2026 21:21:06 | Хабр

Как я контролирую чужие обещания: разработчиков-исполнителей, заказчиков, ассистентов и девушку
19.07.2026 20:48:46 | Хабр

В России создадут технологии генетического редактирования
19.07.2026 20:43:41 | ferra.ru

Шлагбаум или ускоритель: 5 сценариев работы бухгалтера
19.07.2026 19:38:41 | Хабр

В Китае отвергли обвинения в незаконной дистилляции ИИ-технологий
19.07.2026 19:30:05 | ferra.ru

Важен ли вес человека при онлайн-знакомствах?
19.07.2026 18:27:18 | Хабр

48 стартапов молодых исследователей из Самарской области получат гранты
19.07.2026 18:11:23 | ferra.ru

Крашенная и не накрашенная…
19.07.2026 18:04:45 | Хабр

OpenSource мертв, да здравствует OpenSource :)
19.07.2026 17:52:58 | Хабр

Модель адаптивного стриминга или — как читать уравнения в программирование 2026, скриншоты
19.07.2026 17:18:19 | Хабр

Подробная инструкция по настройке Squid 7.5 (Squid proxy, krb+ldap auth, ssl-bump, log in JSON, delay, cache)
19.07.2026 17:13:13 | Хабр

Еще одна уведомлялка про обновления Docker — но с прокси и без автообновлений
19.07.2026 16:44:41 | Хабр

Еще одна уведомлялка про обновления Docker — но с прокси и без автопилота
19.07.2026 16:44:41 | Хабр

Китай запустил первую группировку спутников для космических вычислений
19.07.2026 16:09:36 | ferra.ru

Воробьёв рассказал о сотрудничестве Подмосковья и Китая в сфере ИИ
19.07.2026 16:04:00 | ferra.ru

Ключ Bedrock в каждом dotfile: AWS и Anthropic выкатили self-hosted gateway для Claude Code
19.07.2026 16:01:08 | Хабр

Анализ манускрипта Войнича
19.07.2026 16:00:13 | Хабр

Ученые ТГУ выяснили, как зимний лед влияет на выбросы парниковых газов
19.07.2026 15:58:18 | ferra.ru

WireGuard, AmneziaWG и OpenVPN: что выбрать для своего VDS
19.07.2026 15:21:35 | Хабр

Смотреть все

НОВОСТИ

Возвращение Visa и Mastercard в Россию возможно, заявили в Госдуме
24.08.2026 05:45:00 | Life.ru

Россиянам объяснили причины грусти в конце лета
24.08.2026 05:40:14 | Lenta.ru

Россиянка описала трущобы в Турции фразой «виды на миллион долларов доступны бедным»
24.08.2026 05:39:57 | Lenta.ru

ВСУ использовали шерстяные носки для маскировки мин
24.08.2026 05:37:52 | Lenta.ru

В России высказались о попытках ВСУ блокировать отдельные города
24.08.2026 05:36:00 | Lenta.ru

Девочка в США умерла после заражения «пожирающей мозг» амёбой
24.08.2026 05:35:44 | Life.ru

РИА Новости: Имя Иван попало в топ-200 самых популярных в Германии
24.08.2026 05:33:00 | Российская Газета

Двухлетний мальчик выпал из окна на Камчатке и попал в больницу
24.08.2026 05:29:02 | Life.ru

Бессент объявил, что США вступают в финальную фазу конфликта с Ираном
24.08.2026 05:19:00 | Российская Газета

Бессент объявил, что США вступают в финальную стадию конфликта с Ираном
24.08.2026 05:19:00 | Российская Газета

Шесть человек пострадали из-за природного пожара в Неваде
24.08.2026 05:17:25 | Life.ru

«Страна потеряла контроль». Финляндию призывают пересмотреть членство в НАТО. В чем причина?
24.08.2026 05:12:00 | Lenta.ru

Река смыла дома отдыха в российском регионе
24.08.2026 05:11:30 | Lenta.ru

В Финляндии призвали пересмотреть членство страны в НАТО
24.08.2026 05:04:00 | Life.ru

Мужчины назвали женщинам лучшие способы намекнуть на секс
24.08.2026 05:01:27 | Lenta.ru

В Турции заявили об ожиданиях переговоров по Украине до конца года
24.08.2026 04:58:28 | Lenta.ru

Появились фото обломка сбитой украинской ракеты «Фламинго» с дыркой от пули
24.08.2026 04:56:37 | Lenta.ru

В США ребенок искупался в озере и умер, заразившись "поедающей мозг" амебой
24.08.2026 04:52:00 | Российская Газета

Ребенок умер от "поедающей мозг" амебы после купания в озере
24.08.2026 04:52:00 | Российская Газета

Невеста попросила премьера Британии не приходить на её свадьбу — и он согласился
24.08.2026 04:50:00 | Life.ru

Россиянам дали совет по получению кредита при ужесточении требований
24.08.2026 04:48:20 | Lenta.ru

Кравцов раскрыл формат проведения Дня знаний
24.08.2026 04:40:00 | Life.ru

В украинском городе начались перебои со светом после удара БПЛА
24.08.2026 04:35:31 | Lenta.ru

Apple уволила создателей провального гаджета
24.08.2026 04:31:30 | Lenta.ru

«Платить придётся»: Как наказать нерадивого хозяина, чья собака напала на вашего питомца
24.08.2026 04:30:00 | Life.ru

В Госдуме высказались о возвращении Visa и Mastercard в Россию
24.08.2026 04:26:59 | Lenta.ru

Внук советского шпиона выдвинул свою кандидатуру в президенты Франции
24.08.2026 04:24:08 | РБК

Минздрав расширил перечень должностей, доступных врачам разных специальностей
24.08.2026 04:21:48 | Life.ru

В Финляндии решили начать производство дронов для Украины
24.08.2026 04:16:33 | Lenta.ru

Компании Valve исполняется 30 лет
24.08.2026 04:14:40 | PlayGround.ru

Лондон передаст Киеву секретные данные для производства на Украине ракет SCALP
24.08.2026 04:14:00 | Российская Газета

Бернем объявит в Киеве о передаче секретных данных для производства ракет SCALP
24.08.2026 04:14:00 | Российская Газета

Украину предупредили об ухудшении отношений с ЕС из-за одного решения
24.08.2026 04:11:50 | Lenta.ru

Мошенники перед 1 Сентября стали заманивать россиян фишинговыми магазинами с распродажами
24.08.2026 04:10:00 | Life.ru

Под Одессой задержали дезертировавшую из ВСУ женщину после взрыва гранаты
24.08.2026 04:08:39 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro