97 часов на одной RTX 4090: MoE с подключаемыми экспертами, самодистилляция и почему перплексия — плохая метрика

15.03.2026 12:55:57 | Хабр

Хабы: Блог компании BorisovAI: Платформа анализа трендов, Искусственный интеллект, Машинное обучение

Всё началось с простой идеи: что если подключать к языковой модели новые «навыки» как приложения к смартфону — без переобучения, без деградации, за полчаса? Я потратил 22 шага экспериментов и 97.5 GPU-часов на одной видеокарте, чтобы это проверить. Архитектура заработала идеально. А потом выяснилось, что модель, которая говорит на языке математики, совершенно не умеет решать задачи. Это история о том, как красивая метрика обманула исследователя.

Подробнее

Читайте также

Как отменить или откатить коммит в Git командами reset, revert и restore
15.03.2026 12:36:34 | Хабр

Анатомия фишинг-кита: полиморфный CSS, гомоглифы и инфраструктура на 290+ доменов
15.03.2026 12:21:36 | Хабр

Хлеб на закваске как управляемый процесс
15.03.2026 12:19:11 | Хабр

Прямая трансляция во Flutter через WebCodecs: как пришлось написать свой декодер
15.03.2026 12:16:18 | Хабр

Головоломка «Создай головоломку» из университетского квеста
15.03.2026 12:13:30 | Хабр

День 1481: пользователи снова пожаловались на сбой в работе Telegram в России
15.03.2026 12:11:26 | vc.ru

Как создатель первой веб-камеры был вынужден продать все свои разработки: история Connectix
15.03.2026 12:06:05 | Хабр

Пейджеры мертвы, спутники не ловят: как оставаться на связи при отключении интернета
15.03.2026 12:01:02 | vc.ru

ИИ в образовании: заменят ли нейросети репетиторов и преподавателей
15.03.2026 11:44:10 | Хабр

Как из viewer для OpenClaw выросла мобильная консоль для сервера
15.03.2026 11:33:37 | Хабр

Эволюция Хаоса, приквел
15.03.2026 10:49:45 | Хабр

Ностальгия или факт: почему Windows XP для многих удобнее Windows 10?
15.03.2026 10:44:20 | Хабр

Пауэрбанки без мифов: как они устроены, чем отличаются и почему к ним бывают разные требования
15.03.2026 10:40:01 | ferra.ru

Лифт не знает, куда ехать. И это лучший алгоритм, который мы придумали
15.03.2026 10:40:00 | Хабр

[Перевод] 8 уровней агентной инженерии
15.03.2026 09:52:36 | Хабр

Гексафторид вольфрама подорожал почти вдвое — и это бьет по всему рынку чипов
15.03.2026 09:42:12 | Хабр

Как подружить KeeneticOS 5 с xHTTP
15.03.2026 09:15:49 | Хабр

[Перевод] Обесценивание и эксплуатация: к чему пришёл Open Source
15.03.2026 09:01:46 | Хабр

6 800 замеров глюкозы у кошек с диабетом: что я узнал, создав платформу для мониторинга
15.03.2026 08:17:03 | Хабр

Как устроены память и Garbage Collector в CPython: разбор для Python backend interview
15.03.2026 08:16:38 | Хабр

Claude, Мор.Утопия, LLM, Сознание
15.03.2026 08:13:31 | Хабр

«Не усложняй! Управление проектами по методу P3.express» — коротко о книге
15.03.2026 08:00:41 | Хабр

Метрики здоровья команды: быстрая диагностика в период кризисов
15.03.2026 07:56:40 | Хабр

Мобильная разработка за неделю #623 (10 — 15 марта)
15.03.2026 07:49:45 | Хабр

OmniOS как основа «домашнего облака»
15.03.2026 07:16:22 | Хабр

Почему российский бизнес проигрывает битву за информацию и как это исправить. Введение и Часть 1
15.03.2026 07:15:48 | Хабр

11 модов для комфортной игры в Diablo 2: Resurrected + бонус
15.03.2026 07:05:47 | Хабр

Elvis-модификатор доступа в C#
15.03.2026 07:01:40 | Хабр

ProcessEvent на стероидах: сериализуемые вызовы функций в UE5 или как я готовлю материал для статей
15.03.2026 07:00:46 | Хабр

22 протокола мониторинга в PingZen: от пинга до Playwright-сценариев
15.03.2026 07:00:46 | Хабр

Эти жуки не те, кем кажутся, — вспоминаем сериал «Лексс»
15.03.2026 07:00:45 | Хабр

Сам себе шедулер (sheduler) — планировщик
15.03.2026 06:59:34 | Хабр

Запускаем LLM на AMD RX580: разбор проблем ROCm, Ollama и реальный GPU inference
15.03.2026 06:15:38 | Хабр

Первый в мире коммерческий мозговой имплант: Китай обошел Neuralink в нейротехнологической гонке
15.03.2026 06:01:24 | Хабр

Стандарт решения проблемы двойных списаний в финтех
15.03.2026 05:45:34 | Хабр

Смотреть все

НОВОСТИ

По старой памяти. Голландцы строят концлагеря для русских
15.06.2026 14:13:00 | Российская Газета

МИД РФ и Беларуси: В Прибалтике прославляются нацизм и русофобия
15.06.2026 14:12:00 | Российская Газета

Мирошник: Киев в мае более 17 тыс. раз атаковал гражданские объекты РФ
15.06.2026 14:11:51 | ТАСС

Глава Минтранса: более 40 новых судов планируется выпустить в Москве
15.06.2026 14:10:51 | ТАСС

Мирошник: в мае более 800 жителей РФ пострадали от атак ударных дронов ВСУ
15.06.2026 14:10:15 | ТАСС

Памфилова: многие партии "подустали быть хорошими"
15.06.2026 14:10:03 | ТАСС

Суд отклонил иск Виктории Бони к экс-невесте Лепса из-за оскорбительного поста
15.06.2026 14:09:59 | Life.ru

Евросоюз ввел санкции против ведущего Первого канала
15.06.2026 14:08:54 | Lenta.ru

«Идиллии не будет»: Почему соглашение между США и Ираном может оказаться недолговечным
15.06.2026 14:08:34 | Life.ru

В Совфеде высмеяли идею включения всех участников СВО в черный список Евросоюза
15.06.2026 14:08:18 | Lenta.ru

Почти вся первая конференция иранцев на ЧМ была посвящена вопросам политики
15.06.2026 14:07:55 | ТАСС

МИД Белоруссии: торгово-экономическое сотрудничество с РФ стремится к рекордам
15.06.2026 14:07:40 | ТАСС

Россиян на задержанном Британией танкере Smyrtos нет
15.06.2026 14:07:29 | Life.ru

Каскадера из "Морских дьяволов" Чингиза Додиева похоронят в Бурятии
15.06.2026 14:07:02 | ТАСС

Лавров: Европа ошибается, думая, что можно выдвигать ультиматумы России
15.06.2026 14:07:00 | Российская Газета

Россиянка приняла в подарок сумку в отпуске и заплатила за нее миллион рублей в аэропорту
15.06.2026 14:05:16 | Lenta.ru

«Хлопает и трещит на языке»: В Японии начали продавать съедобную кошачью шерсть
15.06.2026 14:05:12 | Life.ru

ТАСС: каскадер из сериала "Морские дьяволы" Чингиз Додиев погиб в зоне СВО
15.06.2026 14:04:55 | ТАСС

Рекордсмен России пловец Егор Корнев: на ЧЕ хочу улучшить свои результаты
15.06.2026 14:04:43 | ТАСС

Жителя Челябинской области осудили за пропаганду терроризма в колонии
15.06.2026 14:04:31 | ТАСС

Названы три «красных флага» при покупке вторички в 2026 году
15.06.2026 14:04:16 | Life.ru

Впервые в истории UFC все бои на турнире завершились нокаутами
15.06.2026 14:03:45 | ТАСС

ТАСС и Всемирный фестиваль молодежи подписали соглашение о партнерстве
15.06.2026 14:03:25 | ТАСС

ЮНЕСКО предложила помочь с оценкой ущерба от падения ракеты на Киево-Печерскую лавру
15.06.2026 14:03:10 | ТАСС

Мирошник: в мае ежедневно от ударов ВСУ гибли или получали увечья более 30 россиян
15.06.2026 14:03:08 | ТАСС

Моргенштерну просят увеличить штраф по делу о нарушении закона об иноагентах
15.06.2026 14:02:44 | ТАСС

Россиянин 132 раза ударил ножом свою пожилую мать
15.06.2026 14:02:00 | Lenta.ru

ЕС ввел санкции против Гуцана
15.06.2026 14:01:26 | ТАСС

В столице россиянин на улице расправился со знакомым
15.06.2026 14:01:24 | Lenta.ru

Австралийского судью могут отстранить от работы на ЧМ-2026 из-за расистского жеста
15.06.2026 14:01:22 | Lenta.ru

Памфилова призвала «не роптать» из-за проблем с интернетом во время выборов
15.06.2026 14:01:21 | Life.ru

В отдельных районах Москвы 15 июня пройдут ливни
15.06.2026 14:01:09 | ТАСС

Суп или тушёная капуста? Историк кухни рассказал, как это блюдо выдаёт ваше место рождения
15.06.2026 14:01:07 | Life.ru

МО РФ: ВСУ готовятся к утрате Славянско-Краматорской агломерации
15.06.2026 14:01:07 | ТАСС

Специалисты из Лаоса останутся в Казани для адаптации подаренных зоопарку слонов
15.06.2026 14:01:00 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro