habrGPT. Обучим LLM 0.5B с нуля на статьях Хабра с помощью nanochat от Карпатого. Обучение fp8 дома и сравнение с bf16

08.07.2026 17:25:08 | Хабр

Хабы: Искусственный интеллект, Машинное обучение

Раскрученный проект nanochat обещает "за $100 обучите свой ChatGPT". В оригинале обучение на 8xH100 80Gb, но никто не мешает обучить его на домашнем и более слабом железе. Попробуем обучить LLM с нуля на статьях Хабра, чтобы посмотреть хватит ли там материала, чтобы модель хотя бы смогла связать пару слов.

Подробнее

Читайте также

Россияне боятся остаться без телефона больше, чем без денег
08.07.2026 17:23:22 | ferra.ru

В России законопроект об ИИ направили на поддержку отечественных решений
08.07.2026 16:58:39 | ferra.ru

Huawei выпустит два складных смартфона в этом году и ещё один — в следующем
08.07.2026 16:55:36 | ferra.ru

На верфи «Калашникова» строят ледокольный буксир «Нарвская застава»
08.07.2026 16:55:00 | ferra.ru

В России создали нейросеть для выявления питбайков на городских дорогах
08.07.2026 16:53:55 | ferra.ru

[Перевод] Компания получила первые ранние человеческие яйцеклетки из стволовых клеток
08.07.2026 16:44:02 | Хабр

Госдума приняла законопроект о поддержке «Почты России»
08.07.2026 16:40:41 | vc.ru

Десять типовых ошибок при внедрении управления корпоративной архитектурой (Enterprise Architecture) и как их исправить
08.07.2026 16:40:05 | Хабр

Как я сделал народную карту АЗС и тестирую HTML-on-Wire библиотеку
08.07.2026 16:37:49 | Хабр

Samsung подтвердила слухи о дате презентации складных смартфонов
08.07.2026 16:33:38 | ferra.ru

OpenAI Realtime против Яндекс Realtime: сравнил два голосовых движка для России и за вечер пересадил свой прод
08.07.2026 16:25:14 | Хабр

В СКФУ создали мармелад для укрепления суставов и иммунитета
08.07.2026 16:10:00 | ferra.ru

Часы за 4.000 рублей с оффлайн-картами, памятью для музыки и подзарядкой раз в месяц — обзор на Cubot GT5
08.07.2026 16:04:04 | Хабр

Как в недвижимости бизнес-класса выстраивают перфоманс-воронку: разбор кейса
08.07.2026 15:58:08 | Хабр

Очереди на АЗС, запрет на экспорт и «Евро-3»: как топливный кризис сказывается на бизнесе, автомобилистах и машинах
08.07.2026 15:55:22 | vc.ru

Очереди на АЗС, лимиты и «Евро-3»: как топливный кризис сказывается на бизнесе, автомобилистах и машинах
08.07.2026 15:55:22 | vc.ru

realme C100X: много вешать mAh-ов
08.07.2026 15:48:47 | it-world

Лучшие нейросети для видео в 2026. Сравнение Veo, Kling, Sora, LTX и Grok на одних промптах
08.07.2026 15:25:12 | Хабр

Минцифры решило не вводить плату за пользование зарубежными сервисами
08.07.2026 15:25:00 | ferra.ru

Госдума приняла законопроект о стажировках для студентов и выпускников вузов — он должен облегчить им трудоустройство
08.07.2026 15:09:36 | vc.ru

Хотел написать регулятор для руфтопа. Пришлось решать дифференциальные уравнения
08.07.2026 15:06:11 | Хабр

Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах
08.07.2026 15:05:11 | Хабр

Как мы подружили динамические тесты JUnit 5 с Госуслугами
08.07.2026 15:00:11 | Хабр

Архитектура продолжений: как в цифровой среде одни ходы становятся легче других
08.07.2026 14:58:25 | Хабр

SpaceXAI Маска представит скоро мощную нейросеть
08.07.2026 14:55:40 | ferra.ru

Anthropic нашла у Claude «внутреннее пространство». В Сети заговорили о «сознании» ИИ
08.07.2026 14:55:39 | ferra.ru

Монитор для отслеживания упоминаний бренда на сторонних площадках
08.07.2026 14:55:01 | Хабр

В России создали модель для прогнозирования распространения туберкулеза
08.07.2026 14:46:17 | ferra.ru

Создан небольшой робот-стоматолог для подготовки зубов к коронкам
08.07.2026 14:42:13 | ferra.ru

Минцифры одобрило господдержку российским разработчикам игр
08.07.2026 14:40:00 | ferra.ru

Как я писал in-memory векторный движок на Go — и в каком месте он обогнал hnswilb
08.07.2026 14:38:48 | Хабр

Казахстан на фоне дефицита топлива в России разрешил въезжать в страну на машине и выезжать из неё не чаще раза в сутки
08.07.2026 14:30:16 | vc.ru

«Альфа-банк» начал тестировать торги криптовалютой в брокерском приложении среди квалифицированных инвесторов
08.07.2026 14:26:09 | vc.ru

Сотрудники сливают данные в чужой ИИ. Разбираемся чем это грозит
08.07.2026 14:23:53 | Хабр

Голосовой ИИ-репетитор изнутри: архитектура разговора в реальном времени
08.07.2026 14:11:02 | Хабр

Смотреть все

НОВОСТИ

На западе Украины мобилизованный выпрыгнул из окна военкомата
08.07.2026 22:37:50 | ТАСС

Захарова: трещины в НАТО никуда не делись
08.07.2026 22:37:00 | ТАСС

Пушилин: объемы восстановления Константиновки оценят после дозачистки
08.07.2026 22:35:35 | ТАСС

Диане Шурыгиной отменили домашний арест
08.07.2026 22:35:31 | ТАСС

В Европарламенте крайне резко высказались об Украине
08.07.2026 22:35:07 | Lenta.ru

При ударе БПЛА ВСУ по больнице в Херсонской области погиб её сотрудник
08.07.2026 22:34:49 | Life.ru

"МЛ Витебск" проиграл "Университате" в первом матче квалификации ЛЧ
08.07.2026 22:33:50 | ТАСС

На белорусском ТВ рассказали о нарколабораториях в Польше, охраняемых ВСУ
08.07.2026 22:30:55 | ТАСС

ВСУ атаковали машину скорой помощи и больницу
08.07.2026 22:29:00 | Lenta.ru

МИД Эстонии вызвал поверенного в делах России из-за обвинений в дезинформации
08.07.2026 22:29:00 | Life.ru

БПЛА ударил по больнице в Херсонской области
08.07.2026 22:28:52 | Коммерсантъ

В четырех населенных пунктах Дагестана возможно подтопление жилых домов
08.07.2026 22:28:32 | ТАСС

Мерц предупредил Европу о конце «халявы»
08.07.2026 22:28:21 | Lenta.ru

Бывшая жена Сафонова прокомментировала обращение футболиста в суд
08.07.2026 22:26:44 | ТАСС

Участники форума "Родные - Любимые" предложили создать Федеральный семейный совет
08.07.2026 22:25:46 | ТАСС

По делу о гибели подлодки San Juan осудили экс-командующего подводных сил Аргентины
08.07.2026 22:24:53 | ТАСС

ТАСС: Молдавия поймала наемника ГУР, снабжавшего наркотиками местную элиту
08.07.2026 22:23:19 | ТАСС

УЕФА не стремится возвращать Россию в международный футбол
08.07.2026 22:22:11 | Life.ru

Опрос во Франции предсказал победу Ле Пен на выборах 2027 года
08.07.2026 22:21:59 | ТАСС

Во Франции опрос предсказал победу Ле Пен на выборах 2027 года
08.07.2026 22:21:59 | ТАСС

Срок покупки квартиры в Москве подсчитали
08.07.2026 22:19:25 | Lenta.ru

Страны Сахеля хотят распространить министерские встречи с РФ на экономику и энергетику
08.07.2026 22:19:12 | ТАСС

ТАСС: жители Херсона рассказывают российским бойцам о перемещении ТЦК
08.07.2026 22:18:23 | ТАСС

Россияне выиграли медальный зачет юниорского ЧЕ по греко-римской борьбе
08.07.2026 22:17:09 | ТАСС

ТАСС: в приложении ВСУ дезертирами отмечают даже солдат на позициях
08.07.2026 22:16:46 | ТАСС

Россия и страны Сахеля указали на сговор между Украиной, Францией и террористами
08.07.2026 22:16:26 | Lenta.ru

Шурыгину отправили в СИЗО
08.07.2026 22:15:46 | Lenta.ru

ТАСС: второй убийца Анастасии Березовской служил в СБУ и хотел перейти в ГУР
08.07.2026 22:15:09 | ТАСС

В Москве 150 пар создали семьи на Всероссийском свадебном фестивале
08.07.2026 22:15:08 | ТАСС

Польского евродепутата Зайончковскую-Герник внесли в базу «Миротворца»*
08.07.2026 22:14:52 | Life.ru

Постпред РФ при ОЗХО: Запад присвоил себе право говорить от лица всего мира
08.07.2026 22:13:56 | ТАСС

Навроцкий и Зеленский не решили конфликт вокруг прославления бандеровцев на Украине
08.07.2026 22:13:06 | ТАСС

В Британии опровергли слова Зеленского о переломном моменте в конфликте
08.07.2026 22:13:02 | Lenta.ru

Земельные участки в Дагестане получили более 3 тыс. участников СВО
08.07.2026 22:10:47 | ТАСС

В Дагестане более 3 тыс. участников СВО получили земельные участки
08.07.2026 22:10:47 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro