От MNIST к Transformer. Hello CUDA. Основы, Setup и наше первое ядро

16.02.2026 14:08:14 | Хабр

Хабы: GPGPU, C++, Машинное обучение

Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком.

Я хочу запустить большой цикл статей От MNIST к Transformer, цель которого пошагаво пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит.

Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!

Подробнее

Читайте также

Как устроены самые массивные и самые обширные звёзды
16.02.2026 14:06:08 | Хабр

Самые ожидаемые игры 2026
16.02.2026 14:05:11 | Хабр

В Diablo II добавили новый класс персонажей… спустя 25 лет. Что это и как работает?
16.02.2026 14:00:08 | Хабр

В Diablo II добавили новый класс персонажей спустя 25 лет. Разбираем суть дополнения
16.02.2026 14:00:08 | Хабр

Мы потратили два года и 30 млн, чтобы сделать 30 диктофонов
16.02.2026 13:59:44 | Хабр

Мы потратили два года и 30 млн, чтобы сделать 30 ИИ-диктофонов
16.02.2026 13:59:44 | Хабр

BotHub за 2025: итоги за год, рост и ключевые достижения
16.02.2026 13:55:09 | Хабр

WebMCP: Революция в интеграции ИИ прямо в браузере
16.02.2026 13:51:23 | Хабр

Рассчитать биологический возраст? Можно, а зачем?
16.02.2026 13:33:29 | Хабр

Контроль целостности с помощью inotify, недостатки инструмента
16.02.2026 13:30:09 | Хабр

НИИЭТ запускает производство 200 тысяч микроконтроллеров для гражданских беспилотников
16.02.2026 13:23:26 | it-world

LLM модели: зарубежные VS отечественные
16.02.2026 13:21:54 | Хабр

У Алисы AI появился инлайн-бот
16.02.2026 13:10:18 | it-world

[Перевод] Мои двадцать лет в разработке ПО
16.02.2026 13:01:01 | Хабр

Лучшие нейросети для генерации изображений и фото: 20 ИИ для создания крутых картинок
16.02.2026 12:57:09 | Хабр

Как финтех-прокладка Wildberries выдает займы под 85% годовых, маскируясь под «поручителя»
16.02.2026 12:49:47 | Хабр

TROK SDS вышел на батл за надежное хранение
16.02.2026 12:44:00 | Хабр

На связи! Все, что вы хотели знать о Всемирном дне радио
16.02.2026 12:30:53 | Хабр

[Перевод] Как ускорить Android-приложение с помощью Baseline Profiles
16.02.2026 12:30:45 | Хабр

Облака становятся главным драйвером развития ИТ-рынка России
16.02.2026 12:21:17 | it-world

Внедрение CarPlay от Apple в Tesla задержалось из-за проблем с совместимостью навигационных систем — Bloomberg
16.02.2026 12:17:12 | vc.ru

OWASP Top 10 2025 — от кода к цепочке поставок: расширение границ безопасности
16.02.2026 12:15:02 | Хабр

Кофеин в кофе и чае снижает риски развития деменции
16.02.2026 12:13:26 | Хабр

[Перевод] Почему большие BPMN-процессы терпят неудачу — и как Теория остаточности показывает, что мы можем сделать лучше
16.02.2026 12:00:54 | Хабр

[Перевод] Заглянем в закулисье Muddled Libra
16.02.2026 11:58:19 | Хабр

6 советов от практиков AI coding
16.02.2026 11:33:11 | Хабр

Нейросети для генерации видео: Рейтинг ИИ для создания видео в 2026 году
16.02.2026 11:21:58 | Хабр

Зачем ещё нужен сервис геомониторинга?
16.02.2026 11:21:48 | Хабр

Bloomberg: дефицит оперативной памяти в 2026 году станет ещё сильнее из-за «астрономических» трат крупных ИТ-компаний на «гонку» в сфере ИИ
16.02.2026 11:14:58 | vc.ru

РКН создали белый список для 72 AS, но пострадали 391 AS (>225 млн IP адресов)
16.02.2026 11:14:03 | Хабр

OpenClaw присоединился к OpenAI. И почему Claude от Anthropic тоже стоит волноваться
16.02.2026 11:13:05 | Хабр

В поисках идеального кандидата. Советы из практики найма IT-специалистов
16.02.2026 11:02:42 | Хабр

«Лишний» этап
16.02.2026 11:01:05 | Хабр

Hue для домашнего Hadoop: Docker, CSRF и неочевидные грабли
16.02.2026 11:00:45 | Хабр

Психологическая цена ответственности в ИТ
16.02.2026 11:00:09 | Хабр

Смотреть все

НОВОСТИ

Продлен прием представлений на соискание Премии СГ в области науки и техники
06.05.2026 20:44:00 | Российская Газета

"Уфа" подаст апелляцию на решение о техническом поражении за неявку на матч
06.05.2026 20:42:36 | ТАСС

«Из 3000 дронов FP-1 до Москвы долетел только один»: Майор ВСУ подвёл «успехи» года
06.05.2026 20:40:33 | Life.ru

Балицкий сообщил о 20 атаках БПЛА на Энергодар
06.05.2026 20:39:59 | Life.ru

Добыча нефти в странах ОПЕК рухнула до 36-летнего минимума из-за войны в Иране
06.05.2026 20:39:00 | Российская Газета

Крупнейшая горно-металлургическая компания Украины остановила производство
06.05.2026 20:39:00 | Российская Газета

Саркози получил условно-досрочное освобождение
06.05.2026 20:37:38 | ТАСС

Медведь напал на человека возле школы
06.05.2026 20:35:38 | Lenta.ru

«Карьерная встреча в верхах»: Зачем Галкин* на самом деле ездил в Ереван к Пашиняну
06.05.2026 20:35:05 | Life.ru

Появились подробности о лечении пострадавших при ударах ВСУ по Чебоксарам
06.05.2026 20:34:04 | Lenta.ru

Россиянин восемь дней прятался после изнасилования и попытки похитить бывшую
06.05.2026 20:33:24 | Lenta.ru

Россиянин восемь дней прятался после изнасилования бывшей и попытки ее похитить
06.05.2026 20:33:00 | Lenta.ru

Молдавия выставит России счет за повреждение линии электропередачи
06.05.2026 20:33:00 | Lenta.ru

Al-Hadath: при ударе Израиля убит командир спецподразделений "Хезболлах"
06.05.2026 20:31:41 | ТАСС

Приставы передали арестованный автомобиль премиум-класса на нужды СВО
06.05.2026 20:31:23 | ТАСС

S7 планирует ограничить число провозимых на борту пауэрбанков
06.05.2026 20:30:16 | ТАСС

США открыли огонь по иранскому танкеру Hasna в Оманском заливе
06.05.2026 20:29:34 | Life.ru

Необычное небо цвета фуксии в Калининграде объяснили
06.05.2026 20:29:21 | Lenta.ru

Нетаньяху приказал ЦАХАЛ быть в готовности к любому развитию событий вокруг Ирана
06.05.2026 20:29:06 | ТАСС

Внешность чемпионки по футбольному фристайлу вызвала ажиотаж в сети
06.05.2026 20:28:41 | Lenta.ru

Желающих достичь долголетия людей призвали отказаться от нескольких фруктов
06.05.2026 20:28:09 | Lenta.ru

Американские военные модернизируют беспилотный катер в "убийцу" дронов
06.05.2026 20:28:00 | Российская Газета

"Аэрофлот" ограничил число пауэрбанков и запретил их использование на борту
06.05.2026 20:27:07 | ТАСС

Стало известно о прорыве ВС России к центру ключевого для фронта города
06.05.2026 20:26:51 | Lenta.ru

Офицеры Генштаба ВСУ за бесценок скупают прифронтовое жильё и сдают его солдатам
06.05.2026 20:23:53 | Life.ru

Израиль заявил об атаке на командира спецназа "Радван" "Хезболлах" в Бейруте
06.05.2026 20:23:28 | ТАСС

Израиль атаковал в Бейруте командующего спецназа "Радван" движения "Хезболлах"
06.05.2026 20:23:28 | ТАСС

Кириенко осмотрел ход росписи храма в Энергодаре, который 10 лет был недостроен
06.05.2026 20:21:27 | ТАСС

Туристы занялись оральным сексом в тук-туке в Таиланде и были депортированы
06.05.2026 20:20:25 | Lenta.ru

«Кто в доме хозяин?»: Жители центра Казани жалуются на нашествие гигантских тараканов
06.05.2026 20:18:35 | Life.ru

На Украине оправдали сбившего насмерть женщину депутата Рады Николаенко
06.05.2026 20:17:50 | ТАСС

США и Иран могут заключить меморандум о прекращении войны до 8 мая
06.05.2026 20:17:00 | Российская Газета

На границе с Россией могут появиться несколько тысяч американских солдат. Что об этом известно?
06.05.2026 20:17:00 | Lenta.ru

В России впервые с 2025 года зафиксировали недельную дефляцию
06.05.2026 20:14:29 | Life.ru

В Чувашии лечение пострадавших от атак БПЛА проводят мультидисциплинарные бригады
06.05.2026 20:13:43 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro