Как я мерил точность ИИ в распознавании еды: бенчмарк, LLM-as-judge и баг с варёной гречкой

13.06.2026 07:49:22 | Хабр

Хабы: Искусственный интеллект, Машинное обучение, Go, Развитие стартапа, Natural Language Processing

Строю приложение для подсчёта калорий по фото. Пользователь снимает тарелку, модель определяет блюдо, считает КБЖУ. Идея не новая, но мне важно, чтобы это работало именно на русской еде — борщи, гречки, котлеты по-домашнему.

В какой-то момент стало некомфортно: я не знал, насколько модель вообще точна. «Кажется, работает нормально» — плохой ответ, если хочешь что-то улучшать. Решил померять нормально.

Расскажу, что и как мерил, что получил — и про неожиданный вывод в конце, ради которого, честно говоря, и стоило это всё делать.

Спойлер: распознавание оказалось готовым к проду (93.9%), а вот confidence от модели — почти константой, на которой нельзя строить логику. И главная ошибка в калориях пряталась совсем не там, где я её искал.

Подробнее

Читайте также

Как я построил guardrails, которые не дали моему AI-агенту пойти вразнос
13.06.2026 07:41:33 | Хабр

«Квантовое вмешательство» помогает раскрыть фундаментальные принципы природы
13.06.2026 07:29:04 | Хабр

Разбор «трампофона» Trump Mobile T1 показал, что это копия HTC U24 Pro
13.06.2026 07:13:45 | ferra.ru

ИИ против нейродегенеративных заболеваний: есть ли надежда с новым инструментом?
13.06.2026 07:10:00 | Хабр

США запретили иностранцам доступ к самым мощным моделям Anthropic
13.06.2026 07:05:32 | Хабр

Былинные приключения Антропикопитека в стране Мифов
13.06.2026 06:57:54 | Хабр

Лицензии Creative Commons в суде: реальная защита или иллюзия?
13.06.2026 06:14:41 | Хабр

[Перевод] MSX на ESP32-S3 с VGA-выходом
13.06.2026 05:40:00 | Хабр

Графы знаний в юридическом домене: эксперимент с LightRAG (продолжение)
13.06.2026 05:32:09 | Хабр

Один суффикс, чтобы взломать их всех
13.06.2026 05:01:33 | Хабр

Table-test или как помочь агенту понять как тестироваться
13.06.2026 05:00:32 | Хабр

Заметки на полях: алгебра матриц Паули
13.06.2026 04:01:27 | Хабр

EVERTY DESK — EVRT ПРОТОКОЛ, или почему я написал лучший протокол низкой задержки в мире
13.06.2026 01:28:00 | Хабр

Язык, который придумали для ИИ в 1958-м
13.06.2026 00:30:51 | Хабр

Открытие компания в Болгарии
12.06.2026 23:37:30 | Хабр

Microsoft запретила сотрудникам использовать новейшую ИИ-модель Claude Fable
12.06.2026 23:22:05 | ferra.ru

В России начнут клинические испытания вакцины от рака в 2027 году
12.06.2026 22:50:59 | ferra.ru

В МГУ создали алгоритм для устойчивого автобиддинга в рекламе
12.06.2026 22:33:24 | ferra.ru

Logitech выпустила складную мышь Mobi Fold
12.06.2026 21:22:07 | ferra.ru

Как сделать портрет поколений с помощью Нейросетей — инструкция и готовые промпты в семейном тренде
12.06.2026 21:18:59 | Хабр

Почему тебе нужно стать нейро-панком прямо сейчас
12.06.2026 20:30:04 | Хабр

Эксперт: космонавтам на Луне придётся привыкать к световому дню в 14,7 суток
12.06.2026 20:20:00 | ferra.ru

ClustMetaLearn — автоматизация выбора кластеризации через мета-признаки и эволюционный поиск по табличным данным
12.06.2026 19:53:23 | Хабр

Впервые составлена полная карта спектра силана — для астрофизики и микроэлектроники
12.06.2026 19:35:00 | ferra.ru

Особенности культурного кода во французской мультипликации
12.06.2026 19:34:40 | Хабр

В скандал с тайной съемкой на умные очки попала и компания Rokid
12.06.2026 19:22:09 | ferra.ru

Антивирус в «песочнице»
12.06.2026 19:02:08 | Хабр

В России выяснили, что блокировка серотонина облегчает панкреатит
12.06.2026 18:50:00 | ferra.ru

У вайбкода два пути: Code-подписка и API
12.06.2026 18:07:40 | Хабр

Учёные ТГАСУ разработали плазменный генератор для защиты кирпича стеклянной коркой
12.06.2026 18:05:00 | ferra.ru

OpenWrt в Proxmox как домашний умный шлюз: DHCP, DNS, sing-box и выборочный VPN для всей сети
12.06.2026 17:50:21 | Хабр

Российские ученые нашли закон исчезновения популяций животных
12.06.2026 17:47:28 | ferra.ru

В Канаде запретят использовать соцсети детям до 16 лет
12.06.2026 17:22:11 | ferra.ru

В СГУ научились уничтожать гной в животе с помощью лазера
12.06.2026 17:20:00 | ferra.ru

Бэкап сайта на шаред-хостинге без cron CLI: bash + lftp + внешний триггер
12.06.2026 17:01:37 | Хабр

Смотреть все

НОВОСТИ

В Москве у нарушавшего ПДД водителя конфисковали дорогой автомобиль
26.07.2026 14:18:19 | Lenta.ru

Подсчитан ущерб США от войны с Ираном
26.07.2026 14:15:22 | Lenta.ru

Четыре человека стали жертвами атаки дронов ВСУ в ДНР
26.07.2026 14:14:00 | Lenta.ru

Трое мужчин пострадали при атаке дрона ВСУ на Рыльск
26.07.2026 14:13:30 | Life.ru

В Кириллове ко Дню Крещения Руси открыли кубок губернатора по аквабайку и мотофестиваль
26.07.2026 14:11:21 | ТАСС

Иран пригрозил расширить географию конфликта в случае одного решения США
26.07.2026 14:07:27 | Lenta.ru

В санатории Свердловской области произошла вспышка энтеровирусной инфекции
26.07.2026 14:06:37 | ТАСС

Четыре мирных жителя погибли при ударе ВСУ по Горловке в ДНР
26.07.2026 14:05:41 | Life.ru

МИД: Россия будет добиваться выдачи отстранённого прокурора МУС Хана
26.07.2026 14:05:02 | Life.ru

Во Львове прохожие закидали камнями сотрудников ТЦК
26.07.2026 14:05:00 | Российская Газета

Нетаньяху обсудил с Рубио действия против Международного уголовного суда
26.07.2026 14:04:35 | ТАСС

Пьяный водитель без прав врезался в скорую под Миассом, пострадали пять человек
26.07.2026 14:04:10 | Life.ru

Bild: подозреваемый в наезде в Берлине уже был осужден за подготовку теракта
26.07.2026 14:03:16 | ТАСС

Иран призвал ЕС и ООН расследовать атаку ВСУ на судно на Каспии. Что известно?
26.07.2026 14:01:00 | Российская Газета

В Китае из-за паводка погибли 10 человек
26.07.2026 13:59:49 | ТАСС

В Курской области три человека ранены из-за атаки ВСУ
26.07.2026 13:59:46 | ТАСС

Высокопоставленный чиновник сбил насмерть российского туриста в Таиланде
26.07.2026 13:59:17 | Lenta.ru

Гунба поздравил Кириенко с днем рождения
26.07.2026 13:58:00 | ТАСС

Эксперт BSW выступила за депортацию исламистов после наезда в центре Берлина
26.07.2026 13:57:19 | ТАСС

FT рассказала о выгоде Китая от зеленой энергетики на фоне войны в Иране
26.07.2026 13:56:56 | РБК

В Чернигове горит объект инфраструктуры на площади 1,5 тысячи квадратов
26.07.2026 13:56:51 | Life.ru

Шевченко вернулся под контроль: Минобороны показало кадры зачистки села в ДНР
26.07.2026 13:55:52 | Life.ru

Украинцев предупредили об аномальной погоде
26.07.2026 13:54:30 | Lenta.ru

Более 40 тыс. абонентов ЛНР остаются без электроэнергии
26.07.2026 13:54:21 | ТАСС

В Россию официально приедет большой премиум-кроссовер, проезжающий 2300 км на баке бензина. Это Hongqi HS6 с силовой установкой мощностью 495 л.с.
26.07.2026 13:54:00 | iXBT.com

Иран заявил, что не оставит без ответа удар ВСУ по судну в Каспийском море
26.07.2026 13:53:29 | ТАСС

В Астраханской области загорелись восемь домов
26.07.2026 13:53:17 | РБК

Россия нанесла мощный удар по производству дронов на Украине. Киев оказался в огне после прилета баллистики. Что об этом известно?
26.07.2026 13:52:57 | Lenta.ru

Празднование Дня Военно-морского флота в России
26.07.2026 13:52:12 | РБК

Тарпищев считает, что Рублеву еще есть куда прогрессировать
26.07.2026 13:51:28 | ТАСС

Иран потребовал от Каллас расследовать атаку ВСУ на судно в Каспийском море
26.07.2026 13:50:57 | Life.ru

Многодетная россиянка обокрала отца на 1 млн ради приворота, но нагадала себе только условку
26.07.2026 13:49:42 | Life.ru

Жительница Нижегородской области обокрала спящую бабушку ради приворота, но нагадала себе только условку
26.07.2026 13:49:42 | Life.ru

В Германии начали рассматривать наезд на толпу в Берлине как исламистский теракт
26.07.2026 13:49:22 | Lenta.ru

В Иране оценили ущерб армии США от войны в $20 млрд за две недели
26.07.2026 13:49:00 | РБК

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro