Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)

13.06.2026 08:43:54 | Хабр

Хабы: Python

Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.

Подробнее

Читайте также

Правительство США заблокировало доступ к Fable 5
13.06.2026 08:21:12 | Хабр

В интернете нет нормальной альтернативы Google AI Studio. Пришлось написать свою
13.06.2026 08:09:44 | Хабр

Игровой автомат своими руками
13.06.2026 08:05:42 | Хабр

5 портативных игровых консолей 2026 года: складной экран, съемные контроллеры и стриминг без ПК
13.06.2026 08:00:37 | Хабр

Как я мерил точность ИИ в распознавании еды: бенчмарк, LLM-as-judge и баг с варёной гречкой
13.06.2026 07:49:22 | Хабр

Как я построил guardrails, которые не дали моему AI-агенту пойти вразнос
13.06.2026 07:41:33 | Хабр

«Квантовое вмешательство» помогает раскрыть фундаментальные принципы природы
13.06.2026 07:29:04 | Хабр

Разбор «трампофона» Trump Mobile T1 показал, что это копия HTC U24 Pro
13.06.2026 07:13:45 | ferra.ru

ИИ против нейродегенеративных заболеваний: есть ли надежда с новым инструментом?
13.06.2026 07:10:00 | Хабр

США запретили иностранцам доступ к самым мощным моделям Anthropic
13.06.2026 07:05:32 | Хабр

Былинные приключения Антропикопитека в стране Мифов
13.06.2026 06:57:54 | Хабр

Лицензии Creative Commons в суде: реальная защита или иллюзия?
13.06.2026 06:14:41 | Хабр

[Перевод] MSX на ESP32-S3 с VGA-выходом
13.06.2026 05:40:00 | Хабр

Графы знаний в юридическом домене: эксперимент с LightRAG (продолжение)
13.06.2026 05:32:09 | Хабр

Один суффикс, чтобы взломать их всех
13.06.2026 05:01:33 | Хабр

Table-test или как помочь агенту понять как тестироваться
13.06.2026 05:00:32 | Хабр

Заметки на полях: алгебра матриц Паули
13.06.2026 04:01:27 | Хабр

EVERTY DESK — EVRT ПРОТОКОЛ, или почему я написал лучший протокол низкой задержки в мире
13.06.2026 01:28:00 | Хабр

Язык, который придумали для ИИ в 1958-м
13.06.2026 00:30:51 | Хабр

Открытие компания в Болгарии
12.06.2026 23:37:30 | Хабр

Microsoft запретила сотрудникам использовать новейшую ИИ-модель Claude Fable
12.06.2026 23:22:05 | ferra.ru

В России начнут клинические испытания вакцины от рака в 2027 году
12.06.2026 22:50:59 | ferra.ru

В МГУ создали алгоритм для устойчивого автобиддинга в рекламе
12.06.2026 22:33:24 | ferra.ru

Logitech выпустила складную мышь Mobi Fold
12.06.2026 21:22:07 | ferra.ru

Как сделать портрет поколений с помощью Нейросетей — инструкция и готовые промпты в семейном тренде
12.06.2026 21:18:59 | Хабр

Почему тебе нужно стать нейро-панком прямо сейчас
12.06.2026 20:30:04 | Хабр

Эксперт: космонавтам на Луне придётся привыкать к световому дню в 14,7 суток
12.06.2026 20:20:00 | ferra.ru

ClustMetaLearn — автоматизация выбора кластеризации через мета-признаки и эволюционный поиск по табличным данным
12.06.2026 19:53:23 | Хабр

Впервые составлена полная карта спектра силана — для астрофизики и микроэлектроники
12.06.2026 19:35:00 | ferra.ru

Особенности культурного кода во французской мультипликации
12.06.2026 19:34:40 | Хабр

В скандал с тайной съемкой на умные очки попала и компания Rokid
12.06.2026 19:22:09 | ferra.ru

Антивирус в «песочнице»
12.06.2026 19:02:08 | Хабр

В России выяснили, что блокировка серотонина облегчает панкреатит
12.06.2026 18:50:00 | ferra.ru

У вайбкода два пути: Code-подписка и API
12.06.2026 18:07:40 | Хабр

Учёные ТГАСУ разработали плазменный генератор для защиты кирпича стеклянной коркой
12.06.2026 18:05:00 | ferra.ru

Смотреть все

НОВОСТИ

Зубы крошатся, дёсны кровоточат: На какие болезни указывают проблемы полости рта
06.09.2026 16:28:51 | Life.ru

Польские военные приняли стаю птиц за нарушение воздушного пространства
06.09.2026 16:28:38 | Life.ru

«Оренбург» и «Акрон» забили 3 гола за девять минут в конце и разошлись на ничье
06.09.2026 16:27:58 | Life.ru

Чёрный дым поднимается над Днепропетровском: Ещё один склад на Украине взлетел на воздух
06.09.2026 16:25:56 | Life.ru

Патологоанатом и адвокат нашли доказательства убийства Эпштейна в тюрьме
06.09.2026 16:25:13 | Life.ru

В южнокорейском Пусане 180 машин по ошибке заправили смесью бензина и дизеля
06.09.2026 16:25:00 | Российская Газета

Во Франции спрогнозировали проигрыш центристов в президентских выборах 2027 года
06.09.2026 16:24:37 | ТАСС

Пять человек пострадали при столкновении автомобилей в Москве
06.09.2026 16:24:35 | Lenta.ru

Инфантино принял решение по участию в выборах президента ФИФА
06.09.2026 16:23:21 | Lenta.ru

На Западе заявили об ужесточении требований России по завершению конфликта
06.09.2026 16:22:04 | Lenta.ru

Сборная России заняла третье место на Играх кочевников
06.09.2026 16:21:00 | Lenta.ru

Росавиация сообщила о высокой востребованности авиаинженеров и авиадиспетчеров
06.09.2026 16:20:58 | ТАСС

Пять человек пострадали в лобовом ДТП на Мичуринском проспекте
06.09.2026 16:20:58 | Life.ru

В Совфеде назвали беспилотную авиацию доставки перспективной для ДФО
06.09.2026 16:19:44 | ТАСС

Инфантино не уходит: Оскандалившийся президент ФИФА готовится к новым выборам
06.09.2026 16:14:30 | Life.ru

Никитин сообщил о сокращении времени ограничений в аэропортах России
06.09.2026 16:13:11 | Life.ru

«Ковёр» больше не зависает надолго: Никитин раскрыл секрет быстрых ограничений в аэропортах
06.09.2026 16:13:11 | Life.ru

Тарпищев: Хачанов показывает свой лучший теннис на US Open
06.09.2026 16:12:30 | ТАСС

«Лучше не ходить в лес»: В Бурятии вовсю орудуют медведи
06.09.2026 16:12:04 | Life.ru

В Краснодаре уролог избежал наказания за смерть пациента после обрезания
06.09.2026 16:12:00 | Life.ru

Без лифтов, интернета и холодильников: Жители ЖК в Петербурге остались третий день живут во тьме
06.09.2026 16:09:51 | Life.ru

Без лифтов, интернета и холодильников: Жители ЖК в Петербурге остались без электричества
06.09.2026 16:09:51 | Life.ru

"Это наш Святой Грааль": Riot всё ещё работает над MMO по League of Legends
06.09.2026 16:09:28 | PlayGround.ru

Умер популярный актер из сериала «Склифосовский»
06.09.2026 16:08:58 | Lenta.ru

Покупка вейпа в Telegram кончилась госпитализацией для школьницы из Прикамья
06.09.2026 16:07:52 | Life.ru

Умер старший брат художника Никаса Сафронова
06.09.2026 16:06:28 | Life.ru

Российский вертолет совершил посадку без окна
06.09.2026 16:04:15 | Lenta.ru

Под Владимиром запустили компенсационные автобусы после ДТП с электричкой
06.09.2026 16:04:04 | Коммерсантъ

Российский вертолет совершил посадку без иллюминатора
06.09.2026 16:04:00 | Lenta.ru

Дочь Келлога пошла против отца и потребовала не тащить украинок в ВСУ силой
06.09.2026 16:03:14 | Life.ru

ТАСС: в Москве при столкновении двух машин пострадали пять человек
06.09.2026 16:01:47 | ТАСС

В Москве при столкновении двух машин пострадали пять человек
06.09.2026 16:01:47 | ТАСС

Депутат Димитриев призвал Северную Македонию обсудить отказ от санкций против РФ
06.09.2026 16:01:14 | ТАСС

Депутат от партии "Левица" призвал Северную Македонию отказаться от санкций против РФ
06.09.2026 16:01:14 | ТАСС

В Музее Победы проходит финал кибертурнира "Битва за Москву"
06.09.2026 16:01:00 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro