[Перевод] Как устроены LLM: разбираем на примере 3-уровневой абстракции

21.09.2026 19:02:07 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Статистика в IT, Математика, Процессоры

Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробную статью, которая показывала бы этот стек как общую картину, поэтому я решил написать такую статью сам. Эта статья не является исчерпывающим обзором или набором наилучших практик. Здесь я в большей степени делюсь моими общими представлениями о том, как выглядит ландшафт современных LLM‑систем.

Во‑первых, любая система проектируется с расчётом на достижение конкретных целей с учётом заданных ограничений. В LLM‑системах наиболее принципиальные цели связаны с увеличением пропускной способности и минимизацией задержек. Два этих показателя необходимо оптимизировать в рамках ограничений, задаваемых тремя принципиальными факторами: вычислительные (скорость аппаратных операций и поддерживаемые типы), память (ёмкость и иерархия) и коммуникация (ширина передачи данных в памяти и сети, задержка и иерархия). Эти концепции отлично рассмотрены в книге Scaling Book от Google, а именно в разделе Roofline.

Подробнее

Читайте также

Почему "+=" сложнее реализовать, чем "+": опыт HydraScript
21.09.2026 18:25:13 | Хабр

Корпус тоньше, процессор мощнее: Retroid Pocket выпустила портативку Duo Lite Plus
21.09.2026 18:16:02 | ferra.ru

Сколько обходится содержание одного игрока — создание своей 2D MMO RPG, ч. 22
21.09.2026 17:53:25 | Хабр

Kubernetes просто, часть 3: зачем нужен Service и как трафик доходит до конкретного Pod
21.09.2026 17:45:03 | Хабр

Отцы и дети. Java и Go
21.09.2026 17:37:36 | Хабр

Не дайте РКН заблокировать ваш VPS
21.09.2026 17:30:17 | Хабр

Как избежать блокировки IP-адреса вашей VPS в РФ
21.09.2026 17:30:17 | Хабр

CaaS vs KaaS — где заканчивается управление контейнерами и начинается управление Kubernetes
21.09.2026 17:16:41 | Хабр

Локальный инференс на Ryzen AI Halo
21.09.2026 17:00:02 | Хабр

Tesla снова открыла предзаказы на обновлённый Roadster с депозитом в $50 тысяч — его презентация запланирована на 1 октября 2026 года
21.09.2026 16:45:08 | vc.ru

Глава Nvidia: вероятность катастрофы из-за ИИ — 0%
21.09.2026 16:15:59 | ferra.ru

OpenAI тратит на ИИ больше, чем зарабатывает
21.09.2026 16:13:00 | it-world

Как считать эффективность B2B‑маркетинга, если сделка закрывается через три месяца
21.09.2026 16:06:40 | Хабр

Security Week 2639: вредоносное ПО на торрент-трекерах
21.09.2026 15:29:17 | Хабр

Код быстрее, проверок больше: как ИИ меняет DevSecOps
21.09.2026 15:24:24 | Хабр

Продажи человекоподобных роботов пока отстают от громких прогнозов
21.09.2026 15:09:05 | it-world

Как перестать писать шаблонный код в Symfony: Практические DX-трюки для ленивого разработчика
21.09.2026 15:08:07 | Хабр

В молочных зубах детей с аутизмом обнаружили больше следов пестицидов
21.09.2026 15:00:56 | ferra.ru

Китайская BYD представила в Европе электрический грузовик с запасом хода 600 км
21.09.2026 14:41:46 | ferra.ru

Доверенное ПО: зачем разработчику ещё один статус от Минцифры
21.09.2026 14:36:33 | Хабр

ИИ не напишет за вас: как масштабировать проект и не утонуть в нечитаемом коде
21.09.2026 14:34:54 | Хабр

[Перевод] Трагедия версионирования ПО
21.09.2026 14:23:57 | Хабр

Ускоряем Python код в два раза с помощью типизации
21.09.2026 14:18:11 | Хабр

Почему ваша LLM тупеет на больших документах и как ее починить
21.09.2026 14:16:50 | Хабр

Контрастные пятна в дизайне: как фокус управляет вниманием и смыслом
21.09.2026 14:13:50 | Хабр

[Перевод] Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?
21.09.2026 14:11:26 | Хабр

Захватывающая история внедрения ИИ в умирающей не-IT-компании
21.09.2026 14:09:09 | Хабр

Как мы перестроили корпоративную аналитику: ClickHouse и XLTable
21.09.2026 13:55:18 | Хабр

Лабораторная работа №3: создаем процессного ассистента. А где здесь LLM?
21.09.2026 13:55:06 | Хабр

Фасилитация стратегической сессии: как провести обсуждение так, чтобы команда действительно приняла решения
21.09.2026 13:28:52 | Хабр

Бенчмарк аппаратного крипто блока К1921ВГ015
21.09.2026 13:17:10 | Хабр

[Перевод] Чем занимаются Visa и Mastercard?
21.09.2026 13:01:45 | Хабр

ИИ пишет тесты, но кто проверит ИИ: как меняется QA в 1С-командах
21.09.2026 12:46:09 | Хабр

Figma для юридического лица из России 2026: тарифы и оплата с документами
21.09.2026 12:28:50 | Хабр

Steam Frame: ARM-консоль и беспроводная VR-гарнитура в одном флаконе. Как это работает?
21.09.2026 12:28:16 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

В России рассказали о способном истощить ПВО Украины новом дроне
22.09.2026 06:48:40 | Lenta.ru

В Самарской области сбили десятки БПЛА
22.09.2026 06:48:00 | ТАСС

Канцеров отдал голевую передачу в дебютном матче за клуб НХЛ "Чикаго"
22.09.2026 06:47:32 | ТАСС

Главы внешнеполитических ведомств G7 призвали хуситов прекратить атаки
22.09.2026 06:46:41 | ТАСС

ПВО сбила 28 украинских дронов над Воронежской областью за ночь 22 сентября
22.09.2026 06:45:37 | Life.ru

Эксперт Кропачев рассказал, как водителям вести себя при встрече с лосем
22.09.2026 06:44:28 | ТАСС

Депутат Луговой заявил, что Зеленский вытирает ноги о собственный народ
22.09.2026 06:41:37 | ТАСС

Вратарь "Питтсбурга" Мурашов не пропустил в предсезонном матче с "Баффало"
22.09.2026 06:41:19 | ТАСС

Путин поздравил президента Туркмении Бердымухамедова с 45-летием
22.09.2026 06:41:02 | Life.ru

ТАСС: ВСУ перебрасывают к Харькову группы колумбийских наемников
22.09.2026 06:39:40 | ТАСС

В Приморье провели учения по разминированию в заливе Петра Великого
22.09.2026 06:39:05 | ТАСС

Эксперт Соколов рассказал, стоит ли стрелять в медведя при встрече с ним
22.09.2026 06:38:28 | ТАСС

Раскрыто текущее состояние «Азова»
22.09.2026 06:37:37 | Lenta.ru

Экс-сотрудник ЦРУ назвал мешающий США принудить Киев к миру фактор
22.09.2026 06:37:26 | Lenta.ru

Врач назвал обязательные действия при начинающемся ОРВИ
22.09.2026 06:36:53 | Lenta.ru

Раскрыта неожиданная связь продолжительности сна со старением
22.09.2026 06:36:47 | Lenta.ru

В "Ушкуйнике" заявили, что Украина не победит в войне дронов
22.09.2026 06:35:56 | ТАСС

Названы имена возможных сменщиков Мерца
22.09.2026 06:35:00 | Lenta.ru

В Приморье начались российско-ланкийские военные учения «Тропа росомахи — 2026»
22.09.2026 06:34:59 | Life.ru

Командир Грот рассказал о поражении 10 укреплений ВСУ под Сумами
22.09.2026 06:33:07 | ТАСС

В группировке "Север" сообщили об уничтожении пяти складов с БПЛА ВСУ
22.09.2026 06:32:27 | ТАСС

Дроны "Севера" за ночь уничтожили шесть пунктов БПЛА, РСЗО и гаубицу ВСУ
22.09.2026 06:30:45 | ТАСС

Дроны "Севера" за ночь уничтожили 6 пунктов БПЛА, хорватскую РСЗО и гаубицу ВСУ из США
22.09.2026 06:30:45 | ТАСС

Южная Корея обратилась к США с неожиданным призывом по КНДР
22.09.2026 06:29:21 | Lenta.ru

В Alibaba заявили, что чип Zhenwu V900 втрое мощнее предшественника
22.09.2026 06:29:19 | ТАСС

Сахалинцам рекомендовали воздержаться от отдыха на диких пляжах из-за медведей
22.09.2026 06:27:23 | ТАСС

Группировка "Север" за ночь уничтожила 139 беспилотников ВСУ
22.09.2026 06:26:51 | ТАСС

Митрополит Иларион подал иск о защите чести и достоинства к телеканалу "Дождь"
22.09.2026 06:26:23 | ТАСС

Телебашни в России включат подсветку в честь Дня тигра 23-30 сентября
22.09.2026 06:25:23 | ТАСС

Над Воронежской областью ночью уничтожили 28 БПЛА
22.09.2026 06:22:48 | ТАСС

Пушилин: ВСУ тянут время в Дружковке по политическим причинам
22.09.2026 06:19:54 | Life.ru

Центр исторической памяти перечислит погибших граждан СССР на западе Германии
22.09.2026 06:19:15 | ТАСС

В Мексике ограничат использование телефонов в школах 3 ноября
22.09.2026 06:19:00 | ТАСС

В Якутске заболеваемость гриппом и ОРВИ за неделю выросла в 2,4 раза
22.09.2026 06:18:17 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro