Оптимизация параметров языковой модели на основе графа со-встречаемости слов: когда больше — не значит лучше

23.04.2026 08:14:11 | Хабр

Хабы: Блог компании Газпромбанк, Искусственный интеллект

В последние годы мы привыкли, что прогресс в NLP измеряется гига- и терабайтами параметров. Кажется, единственный путь к улучшению качества модели — увеличение ее размера. Но так ли это для специализированных задач?

Мы решили пойти от обратного: можно ли заранее, еще до обучения, понять, насколько большой должна быть модель, чтобы эффективно решать конкретную задачу классификации?

Эксперимент строится на простой, но мощной гипотезе: структура текстов предметной области, отраженная в графе со-встречаемости слов, диктует минимально необходимую архитектуру трансформера. Мы прошли полный цикл — от анализа текстов студенческих запросов до обучения трех моделей разного размера — и подтвердили, что минимальная модель, спроектированная на основе графовых метрик, не уступает «стандартной» по качеству, превосходя ее по ресурсоэффективности в десятки раз.

Подробнее

Читайте также

Реализация требований обеспечения безопасности критической информационной инфраструктуры с помощью автоматизации
23.04.2026 08:01:22 | Хабр

OpenSearch Dashboards и как веб‑интерфейс упрощает работу с кластером
23.04.2026 08:01:00 | Хабр

Framework создала клавиатуру с тачпадом
23.04.2026 07:49:32 | ferra.ru

DORA-метрики: как собирать, интерпретировать и не переусердствовать, часть 2
23.04.2026 07:41:23 | Хабр

Error 500? Как вместо кодов получать подробные сведения обо всех ошибках сразу
23.04.2026 07:35:53 | Хабр

Я понял, что Ozon не победить — и сделал 17 млн на том, что он не привезёт
23.04.2026 07:19:25 | Хабр

Как современные технологии меняют международные отношения. Х* не первая компания, которая вспомнила про Вавилон
23.04.2026 07:17:25 | Хабр

[Перевод] Парадокс Стивена Хокинга об информации в чёрных дырах можно разрешить, найдя во Вселенной семь измерений
23.04.2026 07:11:10 | Хабр

Дело 2005г.: Sony BMG против собственных покупателей или как защита от пиратства превратилась в руткит
23.04.2026 07:05:07 | Хабр

Как быстро мы увидим за роботом… просто робота
23.04.2026 07:02:03 | Хабр

Как сырники могут помочь экспорту продуктов российской биохимии
23.04.2026 07:00:59 | Хабр

Black Box пентест: как один домен привел к полной компрометации инфраструктуры. Часть 2
23.04.2026 06:47:19 | Хабр

Black Box пентест: как один домен привёл к полной компрометации инфраструктуры. Часть 1
23.04.2026 06:45:35 | Хабр

[Перевод] 3. Проектирование с помощью типов: Делаем недопустимые состояния непредставимыми
23.04.2026 06:44:54 | Хабр

Мультиагентный хаос: как мы собрали команду AI-сотрудников, а получили бесконечное совещание ни о чем
23.04.2026 06:41:47 | Хабр

От публикации к внедрению: зачем Инфостарт убрал комиссию на Бирже заказов
23.04.2026 06:40:38 | Хабр

GPT Image 2 нейросеть: полный обзор новой модели OpenAI
23.04.2026 06:34:34 | Хабр

Почему AI-агенты такие медленные и что с этим можно сделать?
23.04.2026 06:34:20 | Хабр

От самолётов до сковородок: 5 гениальных (и неожиданных) разработок BMW
23.04.2026 06:27:58 | Хабр

Как не поехать кукухой: когда вокруг хаос, а платформы – лебедь, рак и щука
23.04.2026 06:22:16 | Хабр

[Перевод] Могут ли Claude Skills заменить Playwright-агентов? Практический взгляд для QA-инженеров
23.04.2026 06:00:49 | Хабр

Полтора миллиона на команду, ноль релизов и один человек с Cursor: что я понял за десять месяцев
23.04.2026 05:59:45 | Хабр

Почему я так придираюсь к вёрстке (и вам советую)
23.04.2026 05:49:53 | Хабр

Что я вынес из AMA с инженером Anthropic: 12 инсайтов про Claude Code, которые нигде не написаны
23.04.2026 05:43:38 | Хабр

Российские инженеры создали эталонный регулятор тепла для умного дома
23.04.2026 05:42:04 | ferra.ru

TSMC: почему 90% передовых чипов в мире делают на одном взрывоопасном острове
23.04.2026 05:38:09 | Хабр

О нюансах работы приложений на базе искусственного интеллекта
23.04.2026 05:36:48 | Хабр

Обзор релиза Kubernetes 1.36: перестаём пересобирать образы, чистим «зомби» PVC и читаем логи без SSH. Разбор 68 фич
23.04.2026 05:35:15 | Хабр

Мир не успевает за ИИ лабораториями
23.04.2026 05:31:33 | Хабр

Как я перестал путать тайм-менеджмент с самодисциплиной и стал успевать больше без вечного догоняния
23.04.2026 05:23:29 | Хабр

Здоровье IT-специалиста: что болит, почему и что с этим делать
23.04.2026 05:00:21 | Хабр

AI КОМП-АС — разбор фреймворка. C: Скейлинг AI на проде
23.04.2026 04:34:53 | Хабр

Сон вместо силы воли. Скрытая причина лишнего веса и плохих решений
23.04.2026 01:52:16 | Хабр

Школьница из Москвы создала ИИ для управления ПК с помощью жестов
22.04.2026 23:59:35 | ferra.ru

Спутник «Киноспутник» с камерой сверхвысокого разрешения запустят в 2026 году
22.04.2026 23:55:16 | ferra.ru

Смотреть все

НОВОСТИ

В Оренбуржье предложили создать госпрограмму поддержки импортозамещающих предприятий
27.04.2026 11:38:13 | ТАСС

Сара Вагенкнехт раскритиковала правительство Германии за траты на Украину
27.04.2026 11:37:32 | ТАСС

В Островце отключен на профилактику один энергоблок АЭС
27.04.2026 11:37:00 | Российская Газета

Al Mayadeen: Иран передал посредникам трехэтапный план по переговорам с США
27.04.2026 11:36:16 | ТАСС

В Севастополе потушили пять пожаров после массированной атаки ВСУ
27.04.2026 11:35:19 | ТАСС

Путин, Белоусов и Мишустин прислали венки на прощание с Алексеем Пимановым
27.04.2026 11:34:59 | Life.ru

В Подмосковье аварийные бригады восстанавливают подачу электричества
27.04.2026 11:33:57 | ТАСС

В Приангарье пожароопасный сезон открыт в 16 из 37 лесничеств
27.04.2026 11:33:54 | ТАСС

Арбалетом и ножами вооружился мужчина для расправы над дизайнером в Москве
27.04.2026 11:33:36 | Lenta.ru

Сильный ветер повалил деревья на улицах и во дворах Москвы
27.04.2026 11:33:33 | ТАСС

«Вика» против дронов: Разработка «Ростеха» ослепляет вражеские БПЛА
27.04.2026 11:33:21 | Life.ru

МИД РФ: Европа открыто говорит о подготовке к конфликту с Россией
27.04.2026 11:32:37 | ТАСС

Песков высказался о переговорах Путина с Трампом
27.04.2026 11:32:00 | Lenta.ru

Валерия Меладзе призвали проверить после вечеринки с Галкиным* в Каннах
27.04.2026 11:31:53 | Life.ru

Пожилых людей и детей заперли в самолете в российском аэропорту
27.04.2026 11:31:00 | Lenta.ru

В Германии раскритиковали планы Мерца по строительству соцжилья на Украине
27.04.2026 11:31:00 | Российская Газета

Названы три запретных действия при первой помощи человеку с инсультом
27.04.2026 11:30:09 | Lenta.ru

Минобороны проверит каждый случай принуждения к подписанию контрактов
27.04.2026 11:29:02 | Life.ru

Глава МИД Ирана прибыл в Санкт-Петербург, где встретится с Путиным
27.04.2026 11:29:00 | Российская Газета

В Кремле ответили на атаки дронов: Песков заявил о мерах военных
27.04.2026 11:28:42 | Life.ru

МИД РФ: агрессивнее всех на мировой арене ведут себя США
27.04.2026 11:26:45 | ТАСС

В Кремле раскрыли информированность Путина об украинских атаках
27.04.2026 11:26:34 | Lenta.ru

Al Hadath: израильский БПЛА ликвидировал члена "Хезболлах" на юге Ливана
27.04.2026 11:26:27 | ТАСС

Путин прислал венок на прощание с телеведущим Пимановым
27.04.2026 11:26:00 | Lenta.ru

Видео масштабного взрыва в Днепре после удара по нефтебазе показали
27.04.2026 11:25:58 | Lenta.ru

Мишустин поздравил российских парламентариев с профессиональным праздником
27.04.2026 11:25:50 | ТАСС

Обвиняемой в убийстве экс-мэра Самары вменяют статью о надругательстве над телами
27.04.2026 11:25:49 | ТАСС

"Ъ": крупные банки в России начали сокращать штат и поднимать зарплаты
27.04.2026 11:25:24 | ТАСС

Названы снижающие концентрацию внимания продукты
27.04.2026 11:25:10 | Lenta.ru

Путин поручил снизить «бумажную нагрузку» на врачей и учителей
27.04.2026 11:25:09 | Life.ru

Песков: Кремль своевременно сообщает о контактах Путина с Трампом
27.04.2026 11:24:33 | Life.ru

В Кремле заявили о принимаемых мерах из-за атак ВСУ
27.04.2026 11:24:00 | Lenta.ru

Всех пострадавших при атаке ВСУ на Севастополь госпитализировали
27.04.2026 11:23:40 | ТАСС

На ЗАЭС сообщили, что дроны ВСУ начали "охотиться" за людьми в Энергодаре
27.04.2026 11:23:04 | ТАСС

Песков: источник беспилотной угрозы определяют спецслужбы
27.04.2026 11:21:58 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro