Алгоритмы спекулятивного инференса LLM

info@vsetut.pro

Стать автором

Вернуться

05.01.2025 09:25:38 | Хабр

Хабы: Машинное обучение, Искусственный интеллект, Алгоритмы, Высокая производительность, Open source

За последние годы качество LLM моделей сильно выросло, методы квантизации стали лучше, а видеокарты мощнее. Тем не менее качество генерации все еще напрямую зависит от размера весов и, как следствие, вычислительной сложности.
Кроме того, генерация текста авторегрессионна - токен за токеном по одному, потому ее сложность зависит от размера контекста и количества генерируемых токенов.

Но генерация текста не всегда имеет однородную сложность, так же как мы во многом мыслим идеями, а слова произносим “на автомате”. В статье обсудим алгоритмы, позволяющие использовать эту неоднородность для ускорения.

Подробнее

Читайте также

Как создать ИИ-бота с помощью нейросетей за месяц и привлечь инвестиции. История Daria AI
05.01.2025 09:24:10 | Хабр

Почему перфоманс ревью это круто?
05.01.2025 09:16:38 | Хабр

[Перевод] Сортировка «Милосердный Сталин»
05.01.2025 09:02:00 | Хабр

Нанокристаллы улучшат процессоры к ПК
05.01.2025 09:00:33 | ferra.ru

Зимние каникулы в VR-жилете и с онлайн-сканвордом: как провести праздники продуктивно
05.01.2025 08:49:26 | Хабр

Обзор новых проектов CNCF (Orchestration & Management): гибкие политики планирования и безопасное управление сервисами
05.01.2025 08:43:37 | Хабр

QA. Расшиваем бутылочное горлышко регресса
05.01.2025 08:15:21 | Хабр

Зимние литературные топы: от ужасов до детей
05.01.2025 08:05:13 | Хабр

Как экономить на слаботочной квартирной сети и управлять телевизором соседа: новые байки монтажника
05.01.2025 08:00:10 | Хабр

Как действительно понять нейронные сети и KAN на интуитивном уровне
05.01.2025 07:32:03 | Хабр

Углерод в вашем теле не раз покидал и возвращался в Галактику
05.01.2025 07:30:32 | ferra.ru

7 красивейших интегралов с экзамена в Школу Анализа Данных от Яндекса
05.01.2025 07:18:11 | Хабр

[Перевод] Илон Маск создаёт свой собственный город в Техасе, и сотни людей уже живут в нём
05.01.2025 07:10:59 | Хабр

Прогноз по охвату функций ИИ роботами в Московских компаниях в ближайшее десятилетие
05.01.2025 06:15:51 | Хабр

Крупнейшие сервисы платных картинок решили объединиться из-за ИИ
05.01.2025 06:00:31 | ferra.ru

В США TikTok столкнулась с новым иском из-за «эксплуатации детей в стримах»
05.01.2025 06:00:00 | ferra.ru

Немного о золоте и перспективах инвестиций
05.01.2025 05:15:45 | Хабр

Минюст США выступил против прошения нового президента США Трампа насчет TikTok
05.01.2025 04:30:30 | ferra.ru

Эксперт: следует перейти с Windows 10 на Linux из-за сворачивания обновлений
05.01.2025 04:30:00 | ferra.ru

Процессор ЭВМ ЕС-1030. Пульт управления и заключение
05.01.2025 04:12:15 | Хабр

Microsoft вложит $80 млрд в ИИ до июня этого года
05.01.2025 03:00:28 | ferra.ru

Google упростит в Android 15 подключение слуховых аппаратов
05.01.2025 03:00:00 | ferra.ru

Цифровизация это новое электричество
05.01.2025 01:59:11 | Хабр

Для дачников создали портативное устройство для обнаружения свинца в почве
05.01.2025 01:30:27 | ferra.ru

NASA утвердило стратегию постоянного присутствия человека на орбите
05.01.2025 01:30:00 | ferra.ru

Декабрьское обновление Windows не исправило проблемы с принтерами Canon
05.01.2025 00:00:26 | ferra.ru

В Японии развили производство ультратонкой бумаги толщиной всего 0,02 мм
05.01.2025 00:00:00 | ferra.ru

Тест звука: OnePlus 3 Pro в сравнении с референсом (AZ80)
04.01.2025 23:50:05 | Хабр

Поставщик Samsung: Galaxy Z Flip 7 и Fold 7 вряд ли принесут серьёзные изменения
04.01.2025 22:30:00 | ferra.ru

Как мы деплоем Apache Airflow для промышленного использования в Kubernetes
04.01.2025 22:20:41 | Хабр

Можно ли уместить игру Minecraft всего в один QR-код?
04.01.2025 22:13:50 | Хабр

США обвинили Китай в хакерской атаке на Офис по санкциям
04.01.2025 21:00:00 | ferra.ru

Популярные бренды жвачки из 90-х
04.01.2025 20:28:59 | Хабр

Smart Fight Ball (Box Ball) тренажер для координации и реакции на базе ESP8266
04.01.2025 19:56:29 | Хабр

Оптимизация запросов в DjangoORM: когда и как использовать Raw SQL
04.01.2025 19:45:58 | Хабр

Смотреть все

НОВОСТИ

На большей части России в апреле температура будет выше нормы
29.03.2026 02:43:59 | ТАСС

ТАСС: самолет делегации РФ после промежуточной посадки вылетел из Нью-Йорка
29.03.2026 02:42:49 | ТАСС

Telegraph: конфликт вокруг Ирана чреват невиданным кризисом на рынке удобрений
29.03.2026 02:41:10 | ТАСС

Иран назвал вузы США и Израиля законной целью для ударов
29.03.2026 02:39:00 | Life.ru

Песков: Путин получит полную информацию о визите российских парламентариев в США
29.03.2026 02:35:18 | ТАСС

Ограничения ввели в аэропортах Калуги, Пскова, Саратова и Ульяновска
29.03.2026 02:32:45 | ТАСС

В аэропортах Калуги, Пскова, Саратова и Ульяновска ввели ограничения
29.03.2026 02:32:45 | ТАСС

В Германии обратились к Орбану с дерзким предложением по Украине
29.03.2026 02:28:00 | Lenta.ru

В США рассказали о подтолкнувшем Украину к миру с Россией событии
29.03.2026 02:26:00 | Lenta.ru

Навроцкий раскритиковал бюрократов в ЕС, речь идет об ослаблении Европы
29.03.2026 02:25:00 | Российская Газета

В России будут развивать корпоративные спортклубы
29.03.2026 02:17:05 | ТАСС

Лидер Польши Навроцкий обрушился на руководство ЕС на конференции в США
29.03.2026 02:16:52 | Life.ru

ТАСС: вылетевший из Бухареста самолет ВВС США повернул обратно
29.03.2026 02:15:57 | ТАСС

МИД предупредил об охоте спецслужб США на россиян
29.03.2026 02:10:28 | Lenta.ru

Tasnim: Иран нанес новый удар по югу Израиля
29.03.2026 02:06:45 | ТАСС

При ударе БПЛА по Грайворону погиб человек
29.03.2026 02:04:00 | Коммерсантъ

Марочко: ВС РФ вынуждают ВСУ отступать, наступая на Червоное ДНР с юго-запада
29.03.2026 02:02:16 | ТАСС

На Кипре прошла церемония открытия турниров претендентов по шахматам
29.03.2026 01:56:25 | ТАСС

Армия Ливана приступила к патрулированию улиц Бейрута перед Вербным воскресеньем
29.03.2026 01:55:55 | ТАСС

КСИР потребовал от Вашингтона осудить удары по вузам Ирана
29.03.2026 01:55:49 | ТАСС

В МИД заявили об активизации охоты на россиян со стороны спецслужб США
29.03.2026 01:55:00 | Life.ru

МИД сообщил об активизации «охоты» спецслужб США за россиянами за рубежом
29.03.2026 01:53:57 | РБК

Между попыткой взрыва в Париже и конфликтом на Ближнем Востоке увидели связь
29.03.2026 01:52:24 | Lenta.ru

В США спрогнозировали дальнейший ход войны с Ираном
29.03.2026 01:46:00 | Lenta.ru

МИД РФ: Спецслужбы США охотятся за россиянами по всему миру
29.03.2026 01:45:00 | Российская Газета

Журналист Боуз: Друзья Зеленского бегут, как крысы с тонущего корабля
29.03.2026 01:44:25 | Life.ru

Миронов предложил расширить майские праздники за счет новогодних
29.03.2026 01:43:03 | ТАСС

США задумались увеличить количество военных у Ирана до 17 000
29.03.2026 01:38:06 | Lenta.ru

США задумались направить еще 10 тысяч военных для операции в Иране
29.03.2026 01:38:00 | Lenta.ru

В ГД предложили выплачивать детские пособия с момента возникновения права
29.03.2026 01:37:43 | ТАСС

Британец Итаума сохранил право на бой с чемпионом мира WBA Гассиевым
29.03.2026 01:36:28 | ТАСС

Президент Польши жестко раскритиковал ЕС
29.03.2026 01:36:00 | Lenta.ru

Axios назвал страну Ближнего Востока, куда не пригласили Зеленского
29.03.2026 01:34:54 | РБК

Эксперт Пантелеев: цена авиакеросина выросла вдвое из-за операции против Ирана
29.03.2026 01:34:11 | ТАСС

На юге европейской части России прогнозируют непогоду
29.03.2026 01:32:27 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro