Как я мерил точность ИИ в распознавании еды: бенчмарк, LLM-as-judge и баг с варёной гречкой

13.06.2026 07:49:22 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Go, Развитие стартапа, Natural Language Processing

Строю приложение для подсчёта калорий по фото. Пользователь снимает тарелку, модель определяет блюдо, считает КБЖУ. Идея не новая, но мне важно, чтобы это работало именно на русской еде — борщи, гречки, котлеты по-домашнему.

В какой-то момент стало некомфортно: я не знал, насколько модель вообще точна. «Кажется, работает нормально» — плохой ответ, если хочешь что-то улучшать. Решил померять нормально.

Расскажу, что и как мерил, что получил — и про неожиданный вывод в конце, ради которого, честно говоря, и стоило это всё делать.

Спойлер: распознавание оказалось готовым к проду (93.9%), а вот confidence от модели — почти константой, на которой нельзя строить логику. И главная ошибка в калориях пряталась совсем не там, где я её искал.

Подробнее

Читайте также

Как я построил guardrails, которые не дали моему AI-агенту пойти вразнос
13.06.2026 07:41:33 | Хабр

«Квантовое вмешательство» помогает раскрыть фундаментальные принципы природы
13.06.2026 07:29:04 | Хабр

Разбор «трампофона» Trump Mobile T1 показал, что это копия HTC U24 Pro
13.06.2026 07:13:45 | ferra.ru

ИИ против нейродегенеративных заболеваний: есть ли надежда с новым инструментом?
13.06.2026 07:10:00 | Хабр

США запретили иностранцам доступ к самым мощным моделям Anthropic
13.06.2026 07:05:32 | Хабр

Былинные приключения Антропикопитека в стране Мифов
13.06.2026 06:57:54 | Хабр

Лицензии Creative Commons в суде: реальная защита или иллюзия?
13.06.2026 06:14:41 | Хабр

[Перевод] MSX на ESP32-S3 с VGA-выходом
13.06.2026 05:40:00 | Хабр

Графы знаний в юридическом домене: эксперимент с LightRAG (продолжение)
13.06.2026 05:32:09 | Хабр

Один суффикс, чтобы взломать их всех
13.06.2026 05:01:33 | Хабр

Table-test или как помочь агенту понять как тестироваться
13.06.2026 05:00:32 | Хабр

Заметки на полях: алгебра матриц Паули
13.06.2026 04:01:27 | Хабр

EVERTY DESK — EVRT ПРОТОКОЛ, или почему я написал лучший протокол низкой задержки в мире
13.06.2026 01:28:00 | Хабр

Язык, который придумали для ИИ в 1958-м
13.06.2026 00:30:51 | Хабр

Открытие компания в Болгарии
12.06.2026 23:37:30 | Хабр

Microsoft запретила сотрудникам использовать новейшую ИИ-модель Claude Fable
12.06.2026 23:22:05 | ferra.ru

В России начнут клинические испытания вакцины от рака в 2027 году
12.06.2026 22:50:59 | ferra.ru

В МГУ создали алгоритм для устойчивого автобиддинга в рекламе
12.06.2026 22:33:24 | ferra.ru

Logitech выпустила складную мышь Mobi Fold
12.06.2026 21:22:07 | ferra.ru

Как сделать портрет поколений с помощью Нейросетей — инструкция и готовые промпты в семейном тренде
12.06.2026 21:18:59 | Хабр

Почему тебе нужно стать нейро-панком прямо сейчас
12.06.2026 20:30:04 | Хабр

Эксперт: космонавтам на Луне придётся привыкать к световому дню в 14,7 суток
12.06.2026 20:20:00 | ferra.ru

ClustMetaLearn — автоматизация выбора кластеризации через мета-признаки и эволюционный поиск по табличным данным
12.06.2026 19:53:23 | Хабр

Впервые составлена полная карта спектра силана — для астрофизики и микроэлектроники
12.06.2026 19:35:00 | ferra.ru

Особенности культурного кода во французской мультипликации
12.06.2026 19:34:40 | Хабр

В скандал с тайной съемкой на умные очки попала и компания Rokid
12.06.2026 19:22:09 | ferra.ru

Антивирус в «песочнице»
12.06.2026 19:02:08 | Хабр

В России выяснили, что блокировка серотонина облегчает панкреатит
12.06.2026 18:50:00 | ferra.ru

У вайбкода два пути: Code-подписка и API
12.06.2026 18:07:40 | Хабр

Учёные ТГАСУ разработали плазменный генератор для защиты кирпича стеклянной коркой
12.06.2026 18:05:00 | ferra.ru

OpenWrt в Proxmox как домашний умный шлюз: DHCP, DNS, sing-box и выборочный VPN для всей сети
12.06.2026 17:50:21 | Хабр

Российские ученые нашли закон исчезновения популяций животных
12.06.2026 17:47:28 | ferra.ru

В Канаде запретят использовать соцсети детям до 16 лет
12.06.2026 17:22:11 | ferra.ru

В СГУ научились уничтожать гной в животе с помощью лазера
12.06.2026 17:20:00 | ferra.ru

Бэкап сайта на шаред-хостинге без cron CLI: bash + lftp + внешний триггер
12.06.2026 17:01:37 | Хабр

Смотреть все

НОВОСТИ

«Это крик о помощи»: Детсад в Брянске пытался заткнуть рот маме малыша после жутких травм
13.06.2026 17:32:45 | Life.ru

«Коллапс»: В Италии предупредили о катастрофе, нависшей над ЕС из-за Украины
13.06.2026 17:31:40 | Life.ru

GlobalSign начал отзыв "цифровых паспортов" российских сайтов
13.06.2026 17:30:48 | ТАСС

Раскрыты приводящие к летней бессоннице факторы
13.06.2026 17:30:25 | Lenta.ru

Corriere della Sera: Мелони может предложить Стубба на роль переговорщика от ЕС
13.06.2026 17:29:13 | Life.ru

Надёжный противовес: В МИД РФ объяснили роль тактического ядерного оружия в Белоруссии
13.06.2026 17:23:28 | Life.ru

Сборная Англии нашла часть вещей, украденных на чемпионате мира
13.06.2026 17:23:15 | ТАСС

В Подмосковье жара сменилась градом — температура упала на 10 градусов
13.06.2026 17:21:17 | Life.ru

Трамп опубликовал пост премьера Пакистана о сроке подписания сделки США и Ирана
13.06.2026 17:21:11 | ТАСС

«Душили, пока не захрипела»: Мать раскрыла жуткие детали расправы подростков над девочкой на Урале
13.06.2026 17:20:01 | Life.ru

В Лондоне прошел военный парад по случаю официального дня рождения Карла III
13.06.2026 17:19:50 | ТАСС

В Роскачестве рассказали о правилах выбора безопасной шаурмы
13.06.2026 17:19:44 | ТАСС

В Авиалесоохране назвали причины увеличения пожаров на севере Красноярского края
13.06.2026 17:19:22 | ТАСС

Риттер назвал удар ВСУ по колледжу в Старобельске целенаправленным решением
13.06.2026 17:19:20 | ТАСС

В Крыму произошла авария на химзаводе
13.06.2026 17:17:30 | Lenta.ru

В аэропортах Домодедова и Калуги сняли ограничения
13.06.2026 17:15:52 | ТАСС

В Москве IT-преступления составляют 44% от количества противоправных деяний
13.06.2026 17:14:16 | ТАСС

Рубио заявил главе МИД Индии, что США не допустят экспорта нефти Ирана
13.06.2026 17:14:02 | ТАСС

Орбана переизбрали на посту председателя ФИДЕС на съезде партии
13.06.2026 17:13:05 | ТАСС

Вандалы разрисовали памятник бойцам СВО в Орехово-Зуеве
13.06.2026 17:11:26 | Life.ru

Любовь и нож: Назван ужасающий мотив убивших девочку подростков в Краснотурьинске
13.06.2026 17:10:50 | Life.ru

В Карелии организовали проверку после исчезновения ребенка на острове
13.06.2026 17:10:42 | ТАСС

Неизвестный снаряд поразил танкер у берегов Омана
13.06.2026 17:09:04 | Life.ru

Канье Уэст показал обнаженное фото жены
13.06.2026 17:08:13 | Lenta.ru

Премьер Пакистана: США и Иран могут заключить мирную сделку в течение суток
13.06.2026 17:07:34 | Life.ru

Митрофанов оценил матч за женский Суперкубок России по футболу
13.06.2026 17:07:26 | ТАСС

В Раде раскрыли схему заработка Киева на снарядах
13.06.2026 17:05:57 | Lenta.ru

В РФС назвали присутствие флага страны главным украшением чемпионата мира
13.06.2026 17:04:32 | ТАСС

Митрофанов рассказал о переговорах по допуску футбольных сборных и клубов
13.06.2026 17:00:40 | ТАСС

РФС примет решение по месту проведения Суперкубка России на следующей неделе
13.06.2026 17:00:32 | ТАСС

Названа одна из самых высокооплачиваемых рабочих профессий в России
13.06.2026 17:00:02 | Life.ru

В МВД рассказали о вербовке подростков через «синдром пионера»
13.06.2026 16:59:50 | Коммерсантъ

В МВД рассказали о вербовке подростков через «синдром пионера» у детей
13.06.2026 16:59:50 | Коммерсантъ

Махачев рассказал, с кем бы хотел провести следующий бой в UFC
13.06.2026 16:55:55 | РБК

Вспышку Эболы в Конго назвали «генеральной репетицией» новой пандемии
13.06.2026 16:55:21 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro