Когда подписи недостаточно: как мы расчищали «серую зону» в Поиске по картинкам

10.08.2026 08:00:19 | Хабр

Хабы: Блог компании Яндекс, Поисковая оптимизация, Машинное обучение, Алгоритмы, Поисковые технологии

Исторически в Яндекс Картинках релевантность документа оценивалась по двум сигналам: насколько запросу подходит само изображение и насколько — текст, связанный с этим изображением. Такой подход позволяет учесть контент картинки и не провалиться на визуально трудноотличимых объектах, однако он же порождает проблему: в «серой зоне», когда текстовая релевантность не сонаправлена с картиночной, становится неочевидно, как именно агрегировать сигналы в финальный скор релевантности.

Привет! Я Константин Николаев, занимаюсь внедрением нейротехнологий в Поиске по картинкам. В этой статье я расскажу, как наша команда научила модели смотреть на картинку и читать текст документа одновременно: начали с тяжёлой мультимодальной VLM ради максимального качества, а затем дистиллировали её в набор лёгких моделей — по одной под каждую стадию пайплайна. Что из этого удалось довести до realtime‑поиска с десятками тысяч запросов в секунду и как совместный анализ двух модальностей добавил 5% релевантных картинок в топ выдачи — под катом.

Подробнее

Читайте также

Битрикс24 + Python: шесть функций, после которых REST становится проще
10.08.2026 08:00:18 | Хабр

Композиционный анализ проектов на C++
10.08.2026 08:00:18 | Хабр

Ошибка в расчёте скидки, которую не видно глазами: проверяем ответ API по документации, когда автотестов нет
10.08.2026 07:55:19 | Хабр

Корпоративная база знаний: какие метрики отслеживать и как использовать данные
10.08.2026 07:37:24 | Хабр

Собрать базу знаний для ИПР системных аналитиков не сложнее, чем кажется
10.08.2026 07:30:45 | Хабр

[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 4. Тренировка трансформера
10.08.2026 07:25:01 | Хабр

Недельный геймдев: #290 — 9 августа, 2026
10.08.2026 07:18:06 | Хабр

Как детектили фрод, а получили Джонни и Джулию: история одной браузерной разминки
10.08.2026 07:10:50 | Хабр

Механику на насос деньги дали, а вам на серверную — нет. Дело не в железе, а в языке
10.08.2026 07:00:13 | Хабр

HUAWEI Pura 90s Pro: долой «лопаты» и мыльные ночные фото
10.08.2026 07:00:00 | ferra.ru

Делаем видео-диски для Sega CD / Mega CD: промежуточный результаты и просьба о помощи
10.08.2026 06:53:20 | Хабр

Проекты Node.js. Создание реальных веб-приложений и API для бэкенда
10.08.2026 06:30:44 | Хабр

Сложный интерфейс нельзя вылечить минимализмом
10.08.2026 06:30:11 | Хабр

ИИ в бизнесе: почему большинство проектов не доходят до результата и что с этим делать
10.08.2026 06:30:11 | Хабр

Мидл — это не три года опыта. Грейды в DevOps как типы ответственности
10.08.2026 06:28:50 | Хабр

Два действия вместо сотен и тысяч: лечим боль смены периода в финансовой модели
10.08.2026 06:18:10 | Хабр

Как работают модели SOFROS AI/ML: от классификации до семантического поиска
10.08.2026 06:00:08 | Хабр

Joomla-дайджест. 2-й квартал 2026 года
10.08.2026 05:59:19 | Хабр

Дерево формы для построения интерфейсов: проблемы и приемы для их решения
10.08.2026 05:39:59 | Хабр

IP не валяй, или как я переобувал кластер kubernetes на ходу
10.08.2026 05:30:06 | Хабр

1500 строк красного: как обновление одного плагина на Rust-сервере съедает вечер — и почему виноват diff
10.08.2026 05:18:01 | Хабр

Claude Code History Viewer: история сессий Claude Code в браузере
10.08.2026 05:15:53 | Хабр

Kotlin? Swift? Flutter? Нет, кириллица: пишем production-приложение с картой и push-ами на 1С: Элемент
10.08.2026 05:12:04 | Хабр

Ваш UI-фреймворк уже написан. Используем возможности Playwright
10.08.2026 05:00:03 | Хабр

Шпаргалка: Structured Concurrency и отмена корутин
10.08.2026 04:39:02 | Хабр

[Перевод] Помешательство вокруг ИИ парализовало принятие решений
10.08.2026 04:02:59 | Хабр

Автоматизация в отделе дизайна: опыт перестройки процессов
10.08.2026 02:41:49 | Хабр

Кабмин поручил перевести критическую IT-инфраструктуру на российское ПО
09.08.2026 23:37:08 | ferra.ru

Мечтают ли андроиды об электроовцах?
09.08.2026 23:17:06 | Хабр

В Якутии начали формировать инфраструктуру кластера по огранке алмазов
09.08.2026 22:44:09 | ferra.ru

Ученый рассказал о влиянии мегапроектов на развитие регионов России
09.08.2026 22:22:26 | ferra.ru

Покажи мне свой харнесс — и я спрошу у Клода, кто ты
09.08.2026 22:18:34 | Хабр

День 1628: спрос на газобаллонное оборудование для транспорта в России вырос на 30% — «Коммерсантъ»
09.08.2026 22:18:20 | vc.ru

В Госдуме допустили появление пластиковых банкнот в России
09.08.2026 21:37:52 | ferra.ru

Разбор мат-модели четырехногого робота-«паука»
09.08.2026 21:26:31 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

В Москве состоялась премьера документального фильма "Под двуглавым орлом"
15.10.2026 20:53:58 | ТАСС

RMC: в протестах во Франции 17 октября могут принять участие до 140 тыс. человек
15.10.2026 20:53:35 | ТАСС

В "Ладе" вручили приз лучшего игрока матча со СКА и. о. главного тренера
15.10.2026 20:53:30 | ТАСС

Миляев предложил установить единые правила бесплатной парковки машин многодетных
15.10.2026 20:53:14 | ТАСС

В двух округах Подмосковья ввели карантин из-за узелкового дерматита скота
15.10.2026 20:51:37 | ТАСС

Handelsblatt: Volkswagen отзовет несколько тысяч электромобилей
15.10.2026 20:50:45 | ТАСС

Путин поддержал идею "инвестиций вместо штрафов" для культурных объектов
15.10.2026 20:49:51 | ТАСС

Зеленский заявил о намерении не голосовать за Ле Пен на выборах во Франции
15.10.2026 20:47:21 | Lenta.ru

Путин высказался о квазижилье
15.10.2026 20:46:15 | Lenta.ru

России не нужно ничего делать в пику Западу, заявил Песков
15.10.2026 20:45:01 | Life.ru

Засыпала солью и сожгла: Детскую удочку в бассейне с «освящённой водой»⁠⁠ приняли за атрибут чёрной магии
15.10.2026 20:43:21 | Life.ru

Трамп пошутил о серьезных проблемах со своим здоровьем
15.10.2026 20:43:09 | ТАСС

Пассажир изменил место в посадочном талоне с помощью ИИ и сорвал вылет самолета
15.10.2026 20:43:01 | Lenta.ru

Власти США продлили лицензию на сделки с зарубежными АЗС «Лукойла»
15.10.2026 20:42:49 | Lenta.ru

Путин назвал необходимым увеличивать народонаселение РФ
15.10.2026 20:40:33 | ТАСС

CNN: Трамп может применить «мать всех бомб» при новых ударах по Ирану
15.10.2026 20:40:17 | Life.ru

В России нашли кость неизвестного науке динозавра
15.10.2026 20:40:00 | Lenta.ru

Встреча Путина с бизнесом продлилась более 2,5 часа
15.10.2026 20:38:40 | ТАСС

Хегсет согласился, что казнь стрелявшего в Форт-Худе не надо транслировать
15.10.2026 20:38:09 | ТАСС

Занимавшийся расследованиями в таможне вывел из России 17 миллиардов рублей
15.10.2026 20:38:00 | Lenta.ru

В Кремле призвали Кишинёв отказаться от русофобии и освободить Гуцул
15.10.2026 20:37:44 | Life.ru

Зачем США направляют в Латинскую Америку 600 военнослужащих
15.10.2026 20:37:00 | Российская Газета

Флаги РФ и Адыгеи подняли на 40-метровых флагштоках у входа в городской парк Майкопа
15.10.2026 20:35:33 | ТАСС

Песков призвал не превращать русский язык в инструмент борьбы с русофобией
15.10.2026 20:34:19 | Life.ru

Восторг Левы из «Би-2» от молдавского паспорта высмеяли
15.10.2026 20:34:13 | Lenta.ru

«Оренбург» на выезде разгромил «Рубин» в матче Кубка России
15.10.2026 20:34:11 | Lenta.ru

Известный российский комик уехал в Европу и изменился
15.10.2026 20:33:25 | Lenta.ru

Мотострелки ЦВО отработали прикрытие техники от удара БПЛА на учениях ОДКБ
15.10.2026 20:32:49 | ТАСС

Мотострелки ЦВО отработала прикрытие техники от удара БПЛА на учениях ОДКБ
15.10.2026 20:32:49 | ТАСС

Обнаженная туристка попала в аварию в Европе и не выжила
15.10.2026 20:32:42 | Lenta.ru

Путин призвал серьезно подойти к страхованию жилья в зоне паводков
15.10.2026 20:31:42 | ТАСС

В России можно всё, что не запрещено законом, напомнил Путин
15.10.2026 20:31:05 | Life.ru

Бучневич пропустит матч НХЛ в связи с рождением ребенка
15.10.2026 20:30:24 | ТАСС

США внесли в санкционные списки по Ирану 11 юридических и 16 физических лиц
15.10.2026 20:30:06 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro