N-граммная языковая модель в эпоху LLM — как устроена и зачем нужна

23.04.2024 08:44:56 | Хабр

Хабы: Блог компании НТР

Тренды трендами, а всегда найдутся те, кто плывет против течения. Пока трендом становится уменьшение размеров модели, авторы из университета штата Вашингтон решили вообще не обращать внимание на размер и проверить, имеет ли смысл в эпоху LLM вернуться к N-граммным языковым моделям. Оказалось, что имеет. Во всяком случае, хотя бы просто из интереса.

На N-граммы, пожалуй, действительно давно никто не обращал внимания. Техники масштабирования, выведшие трансформеры на заоблачные высоты, к ним не применяли. Но авторы статьи Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens обучили N-граммную модель на 1,4 триллиона токенов — это самая гигантская модель такой архитектуры. Она занимает 10 тебибайт, зато ей нужно всего 20 миллисекунд, чтобы подсчитать n-граммы, вне зависимости от того чему равно n. Самое интересное — возможные значения n.

Подробнее

Читайте также

События в .NET: стандартная реализация, альтернативы, и причем тут сахар
23.04.2024 08:43:11 | Хабр

Xiaomi начала продажи сразу двух недорогих настольных ламп Mijia 2 и Mijia 2 Lite
23.04.2024 08:40:47 | ferra.ru

Книги по C# для новичков в разработке: что стоит почитать в 2024 году
23.04.2024 08:38:13 | Хабр

Векторные базы данных: простым языком про устройство и принцип работы
23.04.2024 08:34:44 | Хабр

Секретную лабораторию Google для тестирования камер Pixel впервые показали
23.04.2024 08:32:46 | ferra.ru

Настройка транзакций в Solana через Phantom Wallet
23.04.2024 08:30:51 | Хабр

Google уволила еще больше сотрудников после уже завершенного сидячего протеста
23.04.2024 08:22:46 | ferra.ru

Обзор архитектуры Compose с использованием паттерна «координатор»
23.04.2024 08:17:25 | Хабр

Флагманский Huawei Pura 70 Ultra разобрали на видео
23.04.2024 08:16:45 | ferra.ru

Улучшаем региональное продвижение сайта
23.04.2024 08:15:38 | Хабр

Личный тренер объяснил, безопасна ли для здоровья интенсивная тренировка ног
23.04.2024 08:15:00 | ferra.ru

День 790: «Вкусвилл» откроет магазин в Казахстане, локализация производства автомобилей Aurus в России составляет 90%
23.04.2024 08:12:26 | vc.ru

Parasolid inside: новые форматы и другие доработки C3D Converter
23.04.2024 08:11:35 | Хабр

Как правильно описывать и декомпозировать задачи в таск-трекере. Рекомендации и примеры
23.04.2024 08:10:30 | Хабр

Илон Маск уволил всех американских маркетологов Tesla по очень необычной причине
23.04.2024 08:06:45 | ferra.ru

Как собрать LTE-модем на базе SDR
23.04.2024 08:01:32 | Хабр

Новая утечка об умном кольце Samsung Ring вызвала вопросы о размерах устройства
23.04.2024 07:54:13 | ferra.ru

Cample.js — один из самых быстрых фреймворков без виртуального DOM в Интернете! Отчёт № 2
23.04.2024 07:50:44 | Хабр

На Amazon начали продавать чехлы для еще неанонсированного увеличенного iPad Air 2024
23.04.2024 07:49:12 | ferra.ru

[Перевод] Небольшой туториал по полигруппам в Zbrush
23.04.2024 07:42:13 | Хабр

Google продолжила помогать пользователям создавать качественные запросы к ИИ
23.04.2024 07:42:12 | ferra.ru

Автопилот Mercedes разрешит некоторым водителям не смотреть на дорогу во время поездки
23.04.2024 07:33:11 | ferra.ru

Визуализируй это: как я обучаю джунов и ставлю задачи через диаграммы и графики
23.04.2024 07:32:24 | Хабр

Управление ожиданиями в проектах внедрения ERP-систем
23.04.2024 07:30:23 | Хабр

Названы два самых эффективных и безопасных способа борьбы с кротами
23.04.2024 07:30:00 | ferra.ru

Сравнение Huawei Nova 12s и 12se: какую новинку лучше купить
23.04.2024 07:27:48 | Хабр

Не можешь остановить восстание роботов — возглавь его. Где учиться робототехнике в России узнали на ROS Meetup 2024
23.04.2024 07:27:16 | Хабр

«Стреляют себе же в ногу»: Дуров раскритиковал Apple после удаления Telegram из китайского App Store
23.04.2024 07:24:11 | ferra.ru

Автоматизация скачивания документов из контрактов с площадки ЕИС при помощи Python
23.04.2024 07:16:20 | Хабр

Новенький Honor 200 Lite получил камеру на 108 Мп и премиальный дизайн
23.04.2024 07:15:10 | ferra.ru

AOC выпустила геймерский монитор с частотой обновления 540 Гц
23.04.2024 07:08:10 | ferra.ru

Домик Алисы, светлячки и огурчики. Какие пасхалки есть в Яндекс Станциях
23.04.2024 07:02:43 | Хабр

Энергосистемы орбитальной станции — рассказывает космонавт А.И. Лазуткин
23.04.2024 07:02:17 | Хабр

«‎Я знаю о тебе все и даже больше»: как создать единый профиль клиента с помощью IDGraph
23.04.2024 07:01:15 | Хабр

Глава NVIDIA: человекоподобные роботы совсем скоро станут такой же нормой, как и автомобили
23.04.2024 07:01:09 | ferra.ru

Смотреть все

НОВОСТИ

Тест: Лишь 20% смогут узнать советские фильмы с Сергеем Никоненко по одному кадру, остальным — позор
16.04.2026 16:17:20 | Life.ru

Политик Тоскано: слияние ВПК ЕС и Украины втягивает Европу в войну с РФ
16.04.2026 16:16:50 | ТАСС

В Британии начали подготовку к дефициту продуктов на фоне войны в Иране
16.04.2026 16:16:49 | Life.ru

Оверчук: взаимный турпоток между РФ и Азербайджаном превысил 700 тыс. человек
16.04.2026 16:16:37 | ТАСС

Опасный картофель: чем грозит употребление позеленевших клубней и почему «очистка» не поможет
16.04.2026 16:16:20 | Life.ru

В Кабардино-Балкарии намерены увеличить турпоток на 5% по итогам 2026 года
16.04.2026 16:16:12 | ТАСС

Мать мобилизованного в ВСУ молдаванина просит Санду помочь вернуть его домой
16.04.2026 16:16:02 | ТАСС

Московская биржа запустила сервис скоринговой оценки частных инвесторов
16.04.2026 16:14:58 | ТАСС

Киев и Эксимбанк договорились о механизме финансирования закупок энергооборудования из США
16.04.2026 16:14:39 | ТАСС

Герасимов констатировал сложную военно-политическую обстановку в мире
16.04.2026 16:14:15 | Life.ru

США вывели силы со всех военных баз в Сирии
16.04.2026 16:13:12 | ТАСС

Министр войны США объявил о начале операции «Экономическая ярость» против Ирана
16.04.2026 16:12:44 | Life.ru

Оверчук: РФ активизирует работу по учреждению российско-азербайджанского университета
16.04.2026 16:12:43 | ТАСС

На Диброва подали в суд из-за скандального видео с расстегнутой ширинкой
16.04.2026 16:12:35 | Lenta.ru

Оверчук пригласил Баку к участию в секретариате организации по русскому языку
16.04.2026 16:11:53 | ТАСС

Парфенчиков поручил разработать программу развития мобильной медицины в Карелии
16.04.2026 16:11:17 | ТАСС

"Россети" выдали 40 МВт мощности гигафабрике Росатома в Новой Москве
16.04.2026 16:11:05 | ТАСС

Фадеев удивлен, что из апробации оценки поведения исключены старшеклассники
16.04.2026 16:10:47 | ТАСС

Иран пригрозил уничтожить все корабли США в Персидском заливе
16.04.2026 16:10:00 | Российская Газета

В Москве ночные заморозки и мокрый снег вернутся к концу недели
16.04.2026 16:09:51 | ТАСС

Авиакомпании Нигерии уведомили об остановке работы с 20 апреля
16.04.2026 16:09:24 | ТАСС

В Нидерландах прогнозируют ухудшение благосостояния жителей из-за войны в Иране
16.04.2026 16:09:12 | ТАСС

Названы способы остановить масштабные поставки БПЛА из Европы на Украину
16.04.2026 16:09:00 | Lenta.ru

120 тысяч рублей штрафов за три месяца: Друг Макана «угробил» его BMW M5 камерами
16.04.2026 16:08:41 | Life.ru

Мерц заявил о готовности ФРГ содействовать свободе судоходства в Ормузском проливе
16.04.2026 16:08:29 | ТАСС

Раскрыта сумма вменяемой вице-мэру российского курорта взятки
16.04.2026 16:07:58 | Lenta.ru

World Athletics отказала россиянке Якушиной в смене спортивного гражданства
16.04.2026 16:07:44 | ТАСС

«Лекарства не продлевают молодость»: Врач объяснил, когда нужно начинать борьбу со старением
16.04.2026 16:05:00 | Life.ru

Россиянка лишилась полумиллиона рублей из-за взятой в долг тысячи
16.04.2026 16:04:43 | Lenta.ru

Прокуратура Ставрополья изъяла из незаконного владения 5 тыс. га сельхозземель
16.04.2026 16:04:39 | ТАСС

Словакия намерена блокировать 20-й пакет антироссийских санкций ЕС
16.04.2026 16:04:00 | Российская Газета

Сергей Шнуров снимется в документальном сериале о Прокофьеве
16.04.2026 16:03:28 | ТАСС

Россиянин описал уличный массаж в Индии фразой «масло перемешалось с потом»
16.04.2026 16:03:18 | Lenta.ru

Цивилева назвала в числе приоритетных задач РФ системность подходов к инклюзии
16.04.2026 16:02:58 | ТАСС

"Агроэкспорт": Россия заняла первое место в мире по экспорту подсолнечного масла
16.04.2026 16:01:58 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro