Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Своя GPT-like LLM по WH40K с нуля. Часть 3: pre-train LLM

20.07.2026 06:11:21 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Python, Natural Language Processing

Привет, Хабр! Меня зовут Владимир, и это третья часть цикла статей по написании и обучению небольшой decoder-only LLM с нуля. В первой части мы обучили токенизатор и собрали pretrain-датасет, во второй части реализовали класс Трансформер-блока. В этой части будем собирать и предобучать нашу LLM.

Читать далее

Подробнее

Читайте также

От чат-бота до ИИ-агента: 13 проектов российских компаний
20.07.2026 06:10:20 | Хабр

Ответ разработчика на статью про «бизнес-схему»
20.07.2026 06:08:07 | Хабр

Компилятор в 16 лет
20.07.2026 05:44:56 | Хабр

Greenfield и Brownfield: разработка новых и существующих систем в эпоху AI
20.07.2026 05:01:16 | Хабр

Почему ваше React Native приложение падает при установке и как один метод в MainApplication это исправляет
20.07.2026 05:00:15 | Хабр

Новые хакерские книги на русском
20.07.2026 04:20:14 | Хабр

Медийная реклама не продает «в лоб»
20.07.2026 03:43:11 | Хабр

Как звучал 1990-й: разбираем AdLib и синтезатор OPL2 – от одной ноты до виртуальной машины музыки
20.07.2026 03:13:31 | Хабр

С нуля до Junior DevOps в 2026 году. Часть 4. Docker: почему контейнеризация изменила разработку
20.07.2026 01:48:45 | Хабр

Проектируем шеринг вещей с нуля за 250 тысяч рублей
20.07.2026 00:45:28 | Хабр

Технологии для сохранения здоровья головного мозга разработают в России
19.07.2026 23:56:55 | ferra.ru

В России начнут генетические исследования факторов долголетия
19.07.2026 23:32:37 | ferra.ru

Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo
19.07.2026 23:10:39 | Хабр

В России появятся технологиии для выявления преждевременного старения
19.07.2026 23:01:48 | ferra.ru

Глава «Вкусно и точка» оценил перспективы замены сотрудников роботами
19.07.2026 22:20:02 | ferra.ru

IT-Weekly: ИИ-помощник ГигаЧат теперь распознает эмоции, Р7 запускает BI-инструмент Р7-Аналитика
19.07.2026 21:33:02 | it-world

GitHub Discussions, Hacker News и звёзды: механика роста для технического продукта
19.07.2026 21:21:06 | Хабр

Как я контролирую чужие обещания: разработчиков-исполнителей, заказчиков, ассистентов и девушку
19.07.2026 20:48:46 | Хабр

В России создадут технологии генетического редактирования
19.07.2026 20:43:41 | ferra.ru

Шлагбаум или ускоритель: 5 сценариев работы бухгалтера
19.07.2026 19:38:41 | Хабр

В Китае отвергли обвинения в незаконной дистилляции ИИ-технологий
19.07.2026 19:30:05 | ferra.ru

Важен ли вес человека при онлайн-знакомствах?
19.07.2026 18:27:18 | Хабр

48 стартапов молодых исследователей из Самарской области получат гранты
19.07.2026 18:11:23 | ferra.ru

Крашенная и не накрашенная…
19.07.2026 18:04:45 | Хабр

OpenSource мертв, да здравствует OpenSource :)
19.07.2026 17:52:58 | Хабр

Модель адаптивного стриминга или — как читать уравнения в программирование 2026, скриншоты
19.07.2026 17:18:19 | Хабр

Подробная инструкция по настройке Squid 7.5 (Squid proxy, krb+ldap auth, ssl-bump, log in JSON, delay, cache)
19.07.2026 17:13:13 | Хабр

Еще одна уведомлялка про обновления Docker — но с прокси и без автообновлений
19.07.2026 16:44:41 | Хабр

Еще одна уведомлялка про обновления Docker — но с прокси и без автопилота
19.07.2026 16:44:41 | Хабр

Китай запустил первую группировку спутников для космических вычислений
19.07.2026 16:09:36 | ferra.ru

Воробьёв рассказал о сотрудничестве Подмосковья и Китая в сфере ИИ
19.07.2026 16:04:00 | ferra.ru

Ключ Bedrock в каждом dotfile: AWS и Anthropic выкатили self-hosted gateway для Claude Code
19.07.2026 16:01:08 | Хабр

Анализ манускрипта Войнича
19.07.2026 16:00:13 | Хабр

Ученые ТГУ выяснили, как зимний лед влияет на выбросы парниковых газов
19.07.2026 15:58:18 | ferra.ru

WireGuard, AmneziaWG и OpenVPN: что выбрать для своего VDS
19.07.2026 15:21:35 | Хабр

Смотреть все

НОВОСТИ

После пожаров на двух АЗС в Ленинградской области задержан подросток
21.07.2026 02:41:22 | Коммерсантъ

Мэр Кишинёва заявил о тайной передаче Украине управления водами Днестра
21.07.2026 02:39:46 | Life.ru

Эксперт Пинчук рассказала, кто находится в зоне риска теплового удара
21.07.2026 02:33:39 | ТАСС

Женщина жестоко отомстила неверному мужу за годы измен
21.07.2026 02:30:29 | Lenta.ru

"Общество на грани". Украинский омбудсмен - о ситуации с мобилизацией
21.07.2026 02:30:15 | ТАСС

Трамп заявил о хорошем разговоре с новым премьером Британии Бёрнэмом
21.07.2026 02:29:00 | Life.ru

В Иране сообщили об ударах по системам HIMARS на базе США в Кувейте
21.07.2026 02:27:37 | Lenta.ru

Трамп оценил возможность ареста Нетаньяху на территории США
21.07.2026 02:26:50 | Lenta.ru

Лантратова рассказала ТАСС о построении коммуникации с украинским омбудсменом
21.07.2026 02:25:48 | ТАСС

Лантратова рассказала ТАСС, как выстроена коммуникация с украинским омбудсменом
21.07.2026 02:25:48 | ТАСС

ЦБ предлагает заводить подросткам электронные кошельки лишь с согласия родителей
21.07.2026 02:20:02 | ТАСС

Робот-гуманоид за $57 тысяч начнёт преподавать в школах Нью-Йорка
21.07.2026 02:19:16 | Life.ru

В Индии на пациента больницы упал с потолка вентилятор, мужчину не спасли
21.07.2026 02:19:00 | Российская Газета

Украинская полиция случайно рассекретила попавший под удар склад с дронами
21.07.2026 02:17:00 | Lenta.ru

Украинская полиция рассекретила попавший под удар склад с дронами
21.07.2026 02:17:00 | Lenta.ru

ЛДПР предложила уменьшать ставку НДФЛ с каждым новым ребенком
21.07.2026 02:15:10 | ТАСС

Задержанные в США руферы из России сменили адвоката
21.07.2026 02:13:13 | ТАСС

В UKMTO сообщили о поражении танкера у берегов Омана
21.07.2026 02:05:39 | ТАСС

В UKMTO заявили об уничтожении у берегов Омана танкера
21.07.2026 02:05:39 | ТАСС

В Башкирии мужчина разбил машину бывшей жены на глазах у полиции
21.07.2026 02:04:00 | Life.ru

Марочко заявил о риске попадания ВСУ в окружение в Долинке
21.07.2026 02:03:37 | ТАСС

Марочко заявил, что ВСУ рискуют попасть в окружение в Долинке
21.07.2026 02:03:37 | ТАСС

В Петербурге из-за ветра отменили разведение мостов
21.07.2026 02:03:08 | ТАСС

Бернэм огласил состав нового правительства Великобритании
21.07.2026 02:00:49 | ТАСС

Названа температура Луны днем
21.07.2026 02:00:13 | Lenta.ru

Неизвестные расправились с королевой красоты на обочине дороги
21.07.2026 02:00:12 | Lenta.ru

В продаже обнаружен редкий отечественный внедорожник с очень низкой ценой
21.07.2026 02:00:00 | За рулем

В Германии раскритиковали решение Зеленского
21.07.2026 01:56:00 | Lenta.ru

Экс-министр обороны Британии осудил Израиль за «нежелание злить Россию»
21.07.2026 01:55:14 | Lenta.ru

Песков рассказал, что Путин продолжает играть в хоккей
21.07.2026 01:55:08 | ТАСС

Песков: Путин продолжает играть в хоккей
21.07.2026 01:55:08 | ТАСС

Президент Хорватии Миланович обвинил ЕС в провоцировании конфликта с Россией
21.07.2026 01:54:00 | Российская Газета

Хоккейный клуб "Амур" собрал средства для бывшего вратаря Мурыгина
21.07.2026 01:51:40 | ТАСС

Поддержавший кандидатуру Бёрнэма экс-глава здравоохранения возглавил Минобороны Британии
21.07.2026 01:50:00 | Life.ru

Бывший министр здравоохранения Британии Стритинг возглавил Минобороны
21.07.2026 01:50:00 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro