Как работает трансформер (LLM)

19.03.2026 10:15:12 | Хабр

Хабы: Natural Language Processing, Искусственный интеллект, Машинное обучение

Это мой первый пост на Хабре, так что не судите строго :-)

Текст ниже - это слегка отредактированная версия чата с моими друзьями, где я вызвался объяснить, что же именно происходит в мозгах "электронного болвана". Так получилось, что в конце 2025 - начале 2026 я смог, наконец, удовлетворить собственное любопытство относительно внутреннего устройства современных нейросетей. Правда, не до конца - сейчас уже почти все переходили на архитектуру MoE, но насколько я вижу - это скорее оптимизация, нежели что-то кардинально новое. Трансформер так и остаётся в центре всего этого технологического чуда, что мы наблюдаем.

Надеюсь, текст кому-нибудь поможет продвинуться дальше в его собственном пути к пониманию LLM.

Подробнее

Читайте также

Meta* будет платить авторам из Instagram*, TikTok и YouTube за переход в Facebook* и публикацию контента в соцсети
19.03.2026 10:06:28 | vc.ru

Роскомнадзор «не справляется» с блокировками из-за перегрузки оборудования для фильтрации трафика — Forbes
19.03.2026 10:05:55 | vc.ru

Гид по соцсетям ИТ-компаний Татарстана: где искать экспертизу, вакансии и новости индустрии
19.03.2026 09:59:17 | Хабр

Реально ли реализовать Индустрию 4.0+ на практике
19.03.2026 09:57:35 | Хабр

[Перевод] Из полезного ассистента в SupremacyAGI: почему чат-бот может внезапно стать психопатом
19.03.2026 09:45:45 | Хабр

Внедрение ИИ в бизнес: где он реально окупается и как автоматизировать бизнес-процессы
19.03.2026 09:30:59 | Хабр

Год назад Claude Code не умел составить план. Сейчас у него миллион токенов и 9 субагентов
19.03.2026 09:30:46 | Хабр

Head of Product или проджект на стероидах? Учимся читать вакансии между строк
19.03.2026 09:30:02 | Хабр

Маленький LLM-чат на Python с Ollama и LiteLLM. Часть 1: ставим окружение и пишем первый запрос
19.03.2026 09:29:53 | Хабр

Диаграмма Ганта в 1C: примеры использования, создание и настройка
19.03.2026 09:17:28 | Хабр

Софт в CS2 и других многопользовательских играх. От архитектуры до примеров
19.03.2026 09:15:58 | Хабр

Закон Конвэя внутри нас: инженерные системы ломаются по тем же причинам, что и люди
19.03.2026 09:14:26 | Хабр

Параметризация Pytest: когда файловая коллекция становится тест-кейсами
19.03.2026 09:00:52 | Хабр

Черная магия unsafe в Go: практические примеры и ошибки использования. Часть 2
19.03.2026 09:00:52 | Хабр

Frontend Status: свежий дайджест фронтенда и AI — 18.03.2026
19.03.2026 08:59:36 | Хабр

День 1485: продажи настольных компьютеров в России в 2025 году сократились на 25-30%, средний чек составил 45,2 тысячи рублей
19.03.2026 08:41:43 | vc.ru

Распараллеливаем процесс вставки данных в PostgreSQL при помощи Spring с сохранением атомарности всей операции
19.03.2026 08:36:07 | Хабр

Облачная безопасность в 2026 году: три критических направления, с которыми не справиться «вчерашними» инструментами
19.03.2026 08:35:47 | Хабр

Honor выпустит среднебюджетный компактный смартфон с камерой на 200 МП
19.03.2026 08:31:46 | ferra.ru

Vivaldi 7.9 — Полное погружение
19.03.2026 08:28:59 | Хабр

Безошибочная работа с Kafka из Node js. Часть 1 Продьюсер
19.03.2026 08:26:06 | Хабр

DataOps + FinOps: как хранить и обрабатывать данные, не переплачивая
19.03.2026 08:23:45 | Хабр

ИИ не станет умнее человека, а заставит его думать так, как это делал Достоевский
19.03.2026 08:15:43 | Хабр

Почему Python + Numba обгоняет C? Эксперимент с алгоритмом прогонки
19.03.2026 08:15:40 | Хабр

OpenClaw: установка и первые впечатления
19.03.2026 08:00:30 | Хабр

Дисциплина не работает. И это лучшая новость для всех, кто устал от самоистязания
19.03.2026 08:00:11 | Хабр

Как мы написали 46K строк на Claude Code и не сошли с ума: практический гайд
19.03.2026 07:59:38 | Хабр

Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Часть 1: PolyAnalyst ETL+BI
19.03.2026 07:58:58 | Хабр

Kling Motion Control 3.0 Pro: Новая нейросеть для переноса движений. Как использовать в России
19.03.2026 07:54:10 | Хабр

Эволюция логирования в Lenta tech: от Loki до Victoria Logs
19.03.2026 07:52:35 | Хабр

От франчайзи 1С к аутстаффингу
19.03.2026 07:48:10 | Хабр

Кошки — хакеры гравитации: как они взламывают физику и приземляются на лапы
19.03.2026 07:40:26 | Хабр

41 034 метода, 2 170 файлов и один Миша: как я перестал быть единственным источником знаний о коде
19.03.2026 07:37:02 | Хабр

[Перевод] Как математик 20 лет строил задачу, которую ИИ не сможет решить, а GPT-5.4 сломал ему картину мира
19.03.2026 07:25:08 | Хабр

Бережливое производство на складе: почему успешное внедрение WMS начинается с Lean‑аудита, а не с закупки серверов
19.03.2026 07:01:08 | Хабр

Смотреть все

НОВОСТИ

Обесточенная ЗАЭС больше двух суток держится на дизель-генераторах
13.06.2026 10:48:06 | Life.ru

Отказ Украины сближаться с США объяснили
13.06.2026 10:46:19 | Lenta.ru

Краснокнижного кита под Мурманском освободили от пут с первой попытки
13.06.2026 10:41:43 | ТАСС

Три человека пострадали в ДТП с автобусом и фургоном в Саратовской области
13.06.2026 10:40:14 | Life.ru

Абитуриентов предупредили о новой схеме мошенничества
13.06.2026 10:39:00 | Lenta.ru

ВГА: в подразделениях ВСУ под Харьковом и Купянском выявили случаи заражения ВИЧ
13.06.2026 10:38:58 | ТАСС

Украине пригрозили ударом «Орешником» с боевой начинкой и напомнили о списке целей
13.06.2026 10:38:11 | Life.ru

Лёгкомоторный самолёт совершил жёсткую посадку в Волгоградской области
13.06.2026 10:36:47 | Life.ru

Россиянке грозит до 20 лет тюрьмы за ввоз анальгетика из Китая
13.06.2026 10:33:23 | Life.ru

"Ак Барс": безэкипажные суда могут применяться для снабжения удаленных регионов
13.06.2026 10:32:32 | ТАСС

Названы четыре неожиданные причины вздутия живота
13.06.2026 10:32:29 | Lenta.ru

Сборная России по спортивной акробатике пропустит этап Кубка мира в Польше
13.06.2026 10:32:25 | ТАСС

Назван фаворит в матче Марокко с Бразилией на ЧМ-2026
13.06.2026 10:31:21 | Lenta.ru

Семья с 13 детьми и 5 питомцами ютится в 3 комнатах в Вологодской области
13.06.2026 10:29:51 | Life.ru

ВС РФ авиабомбами уничтожили пункты временной дислокации ВСУ в ДНР
13.06.2026 10:28:53 | ТАСС

ВСУ за сутки потеряли под Константиновкой три ПВД и более семи военных
13.06.2026 10:28:29 | ТАСС

Бесплатное протезирование обернулось для россиянки потерей зубов
13.06.2026 10:28:00 | Lenta.ru

В Европе стали готовится к сокращению помощи от США
13.06.2026 10:25:39 | Lenta.ru

В центре Вашингтона заметили загадочную надпись с намёком на убийство Трампа
13.06.2026 10:25:30 | Life.ru

В Европе стали готовиться к сокращению помощи от США
13.06.2026 10:25:00 | Lenta.ru

В Херсонской области из-за атак ВСУ повреждены бензовоз и цистерны с топливом
13.06.2026 10:24:48 | ТАСС

Эксперт Шилина: рост мошенничества в Москве начался с перехода жизни в онлайн
13.06.2026 10:22:45 | ТАСС

В Днепропетровске женщины помешали насильно мобилизовать юношу
13.06.2026 10:22:33 | ТАСС

В Мурманской области спасли горбатого кита
13.06.2026 10:20:27 | Lenta.ru

Безэкипажный катер "Ак Барса" могут применять для экологического мониторинга
13.06.2026 10:19:17 | ТАСС

В Индии потерпел крушение военно-транспортный самолет ВВС
13.06.2026 10:18:06 | ТАСС

Под Мурманском спасатели освободили от веревок краснокнижного горбатого кита
13.06.2026 10:16:56 | ТАСС

Спасатели освободили от веревок краснокнижного горбатого кита под Мурманском
13.06.2026 10:16:56 | ТАСС

Кабмин расширил границы морского порта Корсаков на Сахалине
13.06.2026 10:13:20 | ТАСС

Эксперт Семенкова заявила о завершении периода пушения тополей в Москве
13.06.2026 10:13:14 | ТАСС

В Анапе и Новороссийске сработали сирены из-за атаки БПЛА
13.06.2026 10:12:24 | Life.ru

Швейцария может сохранить санкции против РФ после референдума о нейтралитете
13.06.2026 10:11:50 | ТАСС

Сенатор Алексей Пушков: Трамп увяз в иранских проблемах
13.06.2026 10:11:00 | Российская Газета

В Екатерининском парке Москвы создадут многофункциональную культурную площадку
13.06.2026 10:09:52 | ТАСС

В Херсоне бушует сильный пожар после прилёта 8 КАБов ВС РФ — мишень засекречена
13.06.2026 10:08:00 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro