Новый метод устранения ложных корреляций в ИИ повышает точность моделей без идентификации проблемных признаков

11.03.2025 21:32:00 | iXBT.com

Искусственный интеллект часто принимает решения на основе «ложных корреляций» — несущественных и потенциально вводящих в заблуждение связей между данными. Исследователи из Университета штата Северная Каролина обнаружили, что такие корреляции могут возникать из-за крайне малой части обучающих данных, и предложили метод, который решает проблему даже без понимания конкретных причин её возникновения.

«Эта техника уникальна тем, что её можно применять, даже если вы не знаете, какие именно ложные признаки использует модель», — заявил Чон Ын Ким, доцент компьютерных наук и соавтор исследования. Метод, описанный в работе, позволяет устранять нежелательные зависимости как в случаях, когда проблема уже выявлена, так и при отсутствии чёткого понимания её источника.

Ложные корреляции возникают из-за «предвзятости» (simplicity bias) в процессе обучения ИИ-моделей. Например, при обучении распознавать собак на фотографиях система может фиксироваться на ошейниках, если те присутствуют у большинства животных в обучающей выборке. Это упрощает задачу, но приводит к ошибкам: модель начинает классифицировать кошек в ошейниках как собак.

Традиционные методы борьбы с такой проблемой требуют от разработчиков заранее выявить ложные признаки (например, ошейники) и скорректировать набор данных, увеличив вес «чистых» примеров (собак без ошейников). Однако на практике идентифицировать такие признаки удаётся не всегда.

Иллюстрация: нейросеть DALL-E

«Наша цель — разорвать ложные связи, даже если мы ничего не знаем о них», — пояснил Ким. Новый подход основан на удалении небольшой части данных (менее 5%) из обучающего набора.

Учёные предположили, что самые «сложные» для модели образцы — те, в которых неоднозначность заставляет ИИ опираться на ложные признаки. Такие данные определялись через анализ поведения модели во время тренировки: если образец вызывал длительные колебания в точности предсказаний, то он считался «шумным».

«Исключая даже крошечную долю проблемных данных, мы устраняем ключевой источник ложных корреляций, не снижая общую эффективность модели», — отметил Ким. Тесты показали, что метод превосходит существующие решения, включая те, где проблема была заранее известна. Например, в задачах классификации изображений точность моделей повысилась на 12% – 15% по сравнению с предыдущими подходами.

По словам команды, метод особенно полезен в сценариях, где наборы данных содержат скрытые искажения — от медицинской диагностики до автономного вождения.

Это открытие не только улучшает надёжность ИИ, но и сокращает затраты на переобучение моделей, поскольку не требует масштабной переработки данных. Следующим шагом станет интеграция подхода в промышленные системы, где проблема ложных корреляций остаётся одним из главных барьеров для внедрения ИИ.

Подробнее