Как научить ИИ понимать графики: разбираем новый набор данных ChartNet от MIT

16.07.2026 10:41:53 | Хабр

Хабы: Блог компании МТС, Natural Language Processing, Визуализация данных, Искусственный интеллект, Машинное обучение

Привет, Хабр! Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме.

В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения и тестирования.

Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Разберемся, как он устроен и насколько эффективен.

Подробнее

Читайте также

Минцифры запланировало запретить продажу SIM-карт с предоплаченным балансом
16.07.2026 10:33:27 | vc.ru

Сможет ли DB Client от OpenIDE заменить DataGrip?
16.07.2026 10:30:45 | Хабр

[Перевод] Запросы к графам свойств SQL/PGQ в PostgreSQL 19
16.07.2026 10:25:23 | Хабр

Аукционная теория в коде: торговый бот на Volume Profile, POC и walk-forward отборе монет
16.07.2026 10:25:03 | Хабр

Из-за глобального потепления ЦОД останутся без самого дешёвого способа охлаждения
16.07.2026 10:23:52 | ferra.ru

Врачи оценили вероятность существования брекетов в XVIII веке
16.07.2026 10:22:39 | ferra.ru

False positive под небом цвета телевизора, настроенного на мертвый канал
16.07.2026 10:22:01 | Хабр

ТОП-6 систем для договорной работы в 2026 году
16.07.2026 10:18:38 | Хабр

Российские ученые выяснили причину связи стресса и эмоционального переедания
16.07.2026 10:14:09 | ferra.ru

Странные машины: как хакеры собирают процессор из данных
16.07.2026 10:13:55 | Хабр

Почему «чем проще, тем лучше» не работает на ИИ-классификаторе
16.07.2026 10:00:43 | Хабр

М. Видео открыла предзаказы ультратонкого планшета HUAWEI MatePad Pro Max
16.07.2026 10:00:41 | ferra.ru

OLED-экран, флагманская производительность и шикарная автономность
16.07.2026 10:00:27 | ferra.ru

Кто вы, «мистер интеллектуальный агент»?
16.07.2026 10:00:02 | Хабр

OSINT для ленивых. Часть 12: Отслеживаем крипту за 10 минут
16.07.2026 09:58:23 | Хабр

Менеджеры говорили, что лиды плохие. Мы проверили это с помощью ИИ
16.07.2026 09:44:56 | Хабр

Банки предложили ввести механизм подтверждения операций по снятию наличных, которые попадают под критерии подозрительных
16.07.2026 09:34:50 | vc.ru

От фичи к продукту: как мы хотели развязать себе руки, а открыли глаза заказчикам
16.07.2026 09:34:14 | Хабр

История одного отеля, или как Конрад Хилтон развивал свою международную сеть за чужой счет
16.07.2026 09:31:10 | Хабр

Optimistic UI и autosave в Next.js без гонок и ложного сохранено
16.07.2026 09:29:20 | Хабр

Inception в GitLab CI: практическая шпаргалка по вложенным пайплайнам для Middle+
16.07.2026 09:25:36 | Хабр

Коробка с нейросетями: готовая ИИ-инфраструктура, которая просто работает
16.07.2026 09:19:04 | Хабр

[Перевод] История Linux.org
16.07.2026 09:17:40 | Хабр

Как перегрев iPhone ломает UX: измеряем thermal state, FPS и отзывчивость приложения
16.07.2026 09:00:38 | Хабр

Ресурс SSD: сколько на самом деле живёт диск и на что смотреть
16.07.2026 08:43:37 | Хабр

Собрала AI-пайплайн для Reels один раз — дальше просто меняю картинки
16.07.2026 08:39:55 | Хабр

День 1604: индекс Мосбиржи упал ниже 2100 пунктов впервые с декабря 2022 года
16.07.2026 08:33:01 | vc.ru

Есть ли жизнь после дисков, или когда игры перестали быть «вещью»
16.07.2026 08:28:17 | Хабр

Почему команды сопротивляются AI — и что с этим делать
16.07.2026 08:23:59 | Хабр

Издатели подали в суд на Google за «кражу» книг ради обучения ИИ
16.07.2026 08:23:53 | ferra.ru

Shadow IT: инфраструктура, которой нет в реестре
16.07.2026 08:23:39 | Хабр

4 ошибки в A/B‑тестах, из‑за которых случайный шум выглядит как эффект
16.07.2026 08:20:35 | Хабр

Два фейла и одна идея за месяцПривет
16.07.2026 08:18:21 | Хабр

Книга: «Думай как аналитик. Статистика и данные с примерами на Python. 3-е изд.»
16.07.2026 08:13:19 | Хабр

Моделирование угроз безопасности информации объектов КИИ
16.07.2026 08:07:06 | Хабр

Смотреть все

НОВОСТИ

Зеленский объяснил молчание о протестах из-за Фёдорова «секретами от русских»
16.07.2026 15:47:29 | Life.ru

Российский студент выслушал приговор за теракт
16.07.2026 15:46:37 | Lenta.ru

«Мечтать не вредно»: Экс-депутат бундестага жёстко ответил Берлину на угрозы Калининграду
16.07.2026 15:45:46 | Life.ru

«Картонная революция» или борьба элит? Политологи раскрыли изнанку «бунта» в поддержку Фёдорова
16.07.2026 15:45:31 | Life.ru

Зеленского уличили в приказе о ликвидации украинского олигарха в Монако
16.07.2026 15:43:51 | Lenta.ru

Жителям столичного региона пообещали почти 30-градусную жару
16.07.2026 15:43:45 | Lenta.ru

Киевское шоу в бомбоубежище: Глава ЕК показала западной публике спектакль со спуском под землю
16.07.2026 15:42:18 | Life.ru

На Украине в полку "Скала" избивают новобранцев
16.07.2026 15:41:21 | ТАСС

«Радиостанция Судного дня» передала слова «суходелие» и «фиатоплот»
16.07.2026 15:41:00 | Life.ru

Правительство выделит ЕАО средства на модернизацию сферы ЖКХ
16.07.2026 15:40:56 | ТАСС

В России назвали причастных к началу перестановок во власти на Украине
16.07.2026 15:40:00 | Lenta.ru

Певица Кеша попросила фанатов присылать ей свои зубы
16.07.2026 15:39:21 | Lenta.ru

РФ и КНР подписали соглашение о создании Всемирной организации сотрудничества в области ИИ
16.07.2026 15:39:13 | ТАСС

После взрыва склада в Вишневом задержали гендиректора оборонного предприятия
16.07.2026 15:38:23 | ТАСС

Пугачевой пришлось сделать большую скидку на квартиру в Москве
16.07.2026 15:37:59 | Lenta.ru

Малайзия немедленно высылает всех граждан Израиля
16.07.2026 15:37:00 | Российская Газета

Латвия по рекомендации США передала Литве радары SENTINEL
16.07.2026 15:36:42 | ТАСС

VK сообщил о штатной работе своих сервисов на Android
16.07.2026 15:36:24 | Life.ru

Пером решила не писать: Женщина вырубила топором десяток автомобилей под Калугой
16.07.2026 15:36:16 | Life.ru

Николаев: кабмин принимает меры для стабилизации топливного рынка
16.07.2026 15:35:54 | ТАСС

Россиянка примерила одежду дочери и вызвала ажиотаж в сети
16.07.2026 15:35:44 | Lenta.ru

Британия выделит €300 млн Украине для приобретения истребителей Gripen
16.07.2026 15:34:51 | ТАСС

Участница «Флотилии свободы» обвинила израильских тюремщиц в изнасиловании
16.07.2026 15:34:20 | Коммерсантъ

Защиту Царукяна не уведомили о решении передать "Араратцемент" в госуправление
16.07.2026 15:34:01 | ТАСС

Экс-глава Минобороны Украины Федоров призвал Раду раскрыть правду о ВСУ
16.07.2026 15:34:00 | Российская Газета

В Карелии задержали водителя после ДТП, в котором погибли два подростка
16.07.2026 15:33:41 | ТАСС

Россиян решили склонить к благотворительности
16.07.2026 15:32:32 | Lenta.ru

«Идеальный вариант»: Названы три цели, которые парализуют ВСУ на корню
16.07.2026 15:32:31 | Life.ru

На ЗАЭС увековечат память убитого ВСУ главного инженера Яковлева
16.07.2026 15:32:24 | ТАСС

«Плёл интриги и ставил ультиматумы»: Фёдоров подтвердил, что предлагал Зеленскому уволить Сырского
16.07.2026 15:31:53 | Life.ru

Коллектив ЗАЭС продолжает контролировать работу и безопасность объекта
16.07.2026 15:31:22 | ТАСС

Раскрыты планы Гитлера на Украину
16.07.2026 15:31:08 | Lenta.ru

Иноагенту Борису Надеждину* запретили выезд из России
16.07.2026 15:31:07 | Life.ru

В Вологодской области с 17 июля полностью восстановят поставки топлива
16.07.2026 15:30:42 | ТАСС

В Челябинской области за семь лет отремонтировали и построили 400 учреждений культуры
16.07.2026 15:30:20 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro