Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

От MNIST к Transformer. Hello CUDA. Основы, Setup и наше первое ядро

16.02.2026 14:08:14 | Хабр

Хабы: GPGPU, C++, Машинное обучение

Мы живем в эпоху, когда ИИ стал доступен каждому. Но за магией PyTorch скрывается колоссальная инженерная работа и сложные вычислительные процессы, которые для большинства остаются черным ящиком.

Я хочу запустить большой цикл статей От MNIST к Transformer, цель которого пошагаво пройти путь от простого CUDA ядра до создания архитектуры Transformer - фундамента современных LLM моделей. Мы не будем использовать готовые высокоуровневые библиотеки. Мы будем разбирать, как все устроено под капотом, и пересобирать их ключевые механизмы своими руками на самом низком уровне. Только так можно по настоящему понять как работают LLM и что за этим стоит.

Приготовьтесь, будет много кода на C++ и CUDA, работы с памятью и погружения в архитектуру GPU. И конечно же математика что за этим стоит. Поехали!

Читать далее

Подробнее

Читайте также

Как устроены самые массивные и самые обширные звёзды
16.02.2026 14:06:08 | Хабр

Самые ожидаемые игры 2026
16.02.2026 14:05:11 | Хабр

В Diablo II добавили новый класс персонажей… спустя 25 лет. Что это и как работает?
16.02.2026 14:00:08 | Хабр

В Diablo II добавили новый класс персонажей спустя 25 лет. Разбираем суть дополнения
16.02.2026 14:00:08 | Хабр

Мы потратили два года и 30 млн, чтобы сделать 30 диктофонов
16.02.2026 13:59:44 | Хабр

Мы потратили два года и 30 млн, чтобы сделать 30 ИИ-диктофонов
16.02.2026 13:59:44 | Хабр

BotHub за 2025: итоги за год, рост и ключевые достижения
16.02.2026 13:55:09 | Хабр

WebMCP: Революция в интеграции ИИ прямо в браузере
16.02.2026 13:51:23 | Хабр

Рассчитать биологический возраст? Можно, а зачем?
16.02.2026 13:33:29 | Хабр

Контроль целостности с помощью inotify, недостатки инструмента
16.02.2026 13:30:09 | Хабр

НИИЭТ запускает производство 200 тысяч микроконтроллеров для гражданских беспилотников
16.02.2026 13:23:26 | it-world

LLM модели: зарубежные VS отечественные
16.02.2026 13:21:54 | Хабр

У Алисы AI появился инлайн-бот
16.02.2026 13:10:18 | it-world

[Перевод] Мои двадцать лет в разработке ПО
16.02.2026 13:01:01 | Хабр

Лучшие нейросети для генерации изображений и фото: 20 ИИ для создания крутых картинок
16.02.2026 12:57:09 | Хабр

Как финтех-прокладка Wildberries выдает займы под 85% годовых, маскируясь под «поручителя»
16.02.2026 12:49:47 | Хабр

TROK SDS вышел на батл за надежное хранение
16.02.2026 12:44:00 | Хабр

На связи! Все, что вы хотели знать о Всемирном дне радио
16.02.2026 12:30:53 | Хабр

[Перевод] Как ускорить Android-приложение с помощью Baseline Profiles
16.02.2026 12:30:45 | Хабр

Облака становятся главным драйвером развития ИТ-рынка России
16.02.2026 12:21:17 | it-world

Внедрение CarPlay от Apple в Tesla задержалось из-за проблем с совместимостью навигационных систем — Bloomberg
16.02.2026 12:17:12 | vc.ru

OWASP Top 10 2025 — от кода к цепочке поставок: расширение границ безопасности
16.02.2026 12:15:02 | Хабр

Кофеин в кофе и чае снижает риски развития деменции
16.02.2026 12:13:26 | Хабр

[Перевод] Почему большие BPMN-процессы терпят неудачу — и как Теория остаточности показывает, что мы можем сделать лучше
16.02.2026 12:00:54 | Хабр

[Перевод] Заглянем в закулисье Muddled Libra
16.02.2026 11:58:19 | Хабр

6 советов от практиков AI coding
16.02.2026 11:33:11 | Хабр

Нейросети для генерации видео: Рейтинг ИИ для создания видео в 2026 году
16.02.2026 11:21:58 | Хабр

Зачем ещё нужен сервис геомониторинга?
16.02.2026 11:21:48 | Хабр

Bloomberg: дефицит оперативной памяти в 2026 году станет ещё сильнее из-за «астрономических» трат крупных ИТ-компаний на «гонку» в сфере ИИ
16.02.2026 11:14:58 | vc.ru

РКН создали белый список для 72 AS, но пострадали 391 AS (>225 млн IP адресов)
16.02.2026 11:14:03 | Хабр

OpenClaw присоединился к OpenAI. И почему Claude от Anthropic тоже стоит волноваться
16.02.2026 11:13:05 | Хабр

В поисках идеального кандидата. Советы из практики найма IT-специалистов
16.02.2026 11:02:42 | Хабр

«Лишний» этап
16.02.2026 11:01:05 | Хабр

Hue для домашнего Hadoop: Docker, CSRF и неочевидные грабли
16.02.2026 11:00:45 | Хабр

Психологическая цена ответственности в ИТ
16.02.2026 11:00:09 | Хабр

Смотреть все

НОВОСТИ

Жители словацкой деревни требуют отменить охранный статус ЮНЕСКО из-за туристов
04.07.2026 14:09:00 | Российская Газета

Котюков возглавил список "ЕР" на выборах в Заксобрание Красноярского края
04.07.2026 14:08:36 | ТАСС

Онищенко выступил за всероссийский выходной в День семьи, любви и верности
04.07.2026 14:08:20 | Life.ru

Психолог объяснил, почему зумеры боятся отвечать на телефонные звонки
04.07.2026 14:08:17 | Life.ru

Россиянин облил жену кипятком и довёл до суицида в Таиланде
04.07.2026 14:06:46 | Life.ru

В Пензенской области 19-летний парень утонул в реке Старая Сура
04.07.2026 14:05:29 | Life.ru

На Пхукете россиянка упала с восьмого этажа многоквартирного дома
04.07.2026 14:05:15 | ТАСС

Офис уничтожает здоровье: Почему 30-летние сбегают из городов в санатории спасать свои суставы
04.07.2026 14:03:25 | Life.ru

Самолёт-разведчик НАТО снова заметили в небе над Чёрным морем
04.07.2026 14:03:15 | Life.ru

Участники "Поезда Памяти" отдали дань памяти жертвам фашизма
04.07.2026 14:03:00 | Российская Газета

Склад лакокрасочных материалов горит в Ставрополе — огонь охватил 1000 квадратов
04.07.2026 14:01:11 | Life.ru

СВОшный апгрейд: как БМД–2 получила защиту от дронов и современный модуль Берег
04.07.2026 14:00:00 | За рулем

Отказ Sony от игровых дисков назвали крупнейшим скандалом PlayStation за 20 лет
04.07.2026 13:59:25 | PlayGround.ru

В Калининградской области возобновляют розничную продажу топлива
04.07.2026 13:57:44 | ТАСС

В полиции извинились перед сборной Египта за конфликт в Далласе на ЧМ
04.07.2026 13:56:54 | РБК

В Словакии стартовал референдум по лишению Фицо пожизненных выплат
04.07.2026 13:56:14 | РБК

Кинолог разнёс одиноких людей, которые заводят собак для «уютного вечера»
04.07.2026 13:55:18 | Life.ru

Военный эксперт раскрыл планы наступления после взятия Константиновки
04.07.2026 13:54:05 | Lenta.ru

Политолог уверен, что ЕС отвернётся от Зеленского из-за теракта в Монако
04.07.2026 13:53:16 | Life.ru

Thermaltake представила тестер питания Dr. Power III Pro для современных блоков питания ATX12V v3.1
04.07.2026 13:53:15 | PlayGround.ru

Слух: Valve отложила анонс Half-Life 3, чтобы довести игру до нужного качества
04.07.2026 13:52:02 | PlayGround.ru

Лантратова подключится к помощи прифронтовым районам Херсонской области
04.07.2026 13:51:46 | ТАСС

Человек пострадал при пожаре на складе лакокрасочных материалов в Ставрополе
04.07.2026 13:51:10 | Коммерсантъ

В Москве водителям и пешеходам дали рекомендации на фоне непогоды
04.07.2026 13:50:15 | ТАСС

Число пострадавших при ударе по рынку в Токмаке выросло до 21
04.07.2026 13:50:00 | РБК

Адам Кадыров получил новую медаль от ГИБДД
04.07.2026 13:50:00 | Lenta.ru

Глава TotalEnergies: Нужно 3-4 месяца для восстановления мирового рынка нефти
04.07.2026 13:50:00 | Российская Газета

Политолог заявил, что Трампа устраивает конфликт на Украине
04.07.2026 13:49:52 | Life.ru

Samsung вновь повышает цены на память - LPDDR и DRAM подорожают более чем на 20% в третьем квартале
04.07.2026 13:48:23 | PlayGround.ru

Политолог Жаров: Заявления Трампа о победе в Иране не соответствуют реальности
04.07.2026 13:48:14 | Life.ru

Кириенко и Беспрозванных почтили память погибших при штурме Кенигсберга
04.07.2026 13:47:37 | ТАСС

Не все велогонщики РФ пока получили визы для участия в первенстве Европы
04.07.2026 13:47:01 | ТАСС

Вся Херсонская область осталась без света из-за аварии в энергосистеме
04.07.2026 13:46:17 | Life.ru

Тарасова оценила будущее российского фигурного катания
04.07.2026 13:45:37 | Lenta.ru

В Италии возродят забытую на 30 лет автомобильную марку
04.07.2026 13:45:00 | За рулем

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro