Исследование MIT: не обращающие внимание на отрицание при диагностике ИИ-модели угрожают пациентам. Но решение существует

16.05.2025 22:08:00 | iXBT.com

Исследователи Массачусетского технологического института (MIT) выявили критический недостаток в популярных моделях, связывающих обработку изображений с текстом (VLM — Vision-Language Models). Эти системы, используемые в медицине для анализа снимков, некорректно интерпретируют слова отрицания, такие как «нет» или «не». Например, при поиске рентгеновских изображений с отёком тканей, но без увеличения сердца, модель может предложить случаи, где оба признака присутствуют. Это чревато ошибками в диагностике: сочетание отёка и увеличенного сердца указывает на сердечное заболевание, а их разделение — на другие причины. Кумайл Альхамуд, аспирант MIT и ведущий автор работы, отметил: «Игнорирование отрицаний может привести к катастрофическим последствиям, если модели внедряются без проверки».

Иллюстрация: Leonardo

Для решения проблемы учёные создали специальный набор данных с 10 миллионами пар «изображение-подпись», включающих отрицания. После переобучения на этих данных точность моделей возросла, особенно в задачах поиска изображений без определённых объектов. Однако профессор Марзиех Гассеми предупредила: «Ошибки в столь базовых элементах, как отрицание, сигнализируют — внедрять VLM в критически важные сферы сейчас рискованно». Причина уязвимости — в обучающих данных: классические VLM обучаются на наборах с утвердительными описаниями, почти не содержащими отрицаний.

Параллельно другое исследование предложило прорывную модель для нейронных сетей — сеть Хопфилда с пластичностью, управляемой входными данными (IDP). Классическая модель Хопфилда, описывающая память как переход к ближайшему «устойчивому состоянию», не учитывала динамическое влияние внешних сигналов. Новая модель IDP позволяет входным данным напрямую менять синаптические связи, перестраивая энергетический ландшафт сети. Это делает её устойчивой к шуму: помехи не мешают, а помогают системе выходить из локальных минимумов, находя более релевантные воспоминания. Например, при сбоях во входных сигналах IDP-модель сохраняет стабильность, интегрируя прошлую информацию с текущей.

Учёные также обнаружили, что извлечение памяти в IDP зависит от «коэффициентов заметности» — меры соответствия входных данных сохранённым шаблонам. Если эти коэффициенты ниже порога, то сеть переходит в «состояние замешательства», не выдавая результатов. Однако при достаточной заметности модель эффективно классифицирует даже смешанные сигналы. Это открытие важно для разработки систем непрерывного обучения, где ИИ адаптируется к новым данным без потери предыдущих навыков.

Оба исследования указывают на необходимость переосмысления подходов в ИИ. Уязвимости VLM требуют более внимательного применения в медицине и промышленности, а модель IDP открывает путь к созданию адаптивных систем, имитирующих биологические механизмы памяти. «Связь IDP с архитектурой трансформеров и механизмами внимания — ключ к будущим прорывам в машинном обучении», — заключили авторы.

Подробнее