Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Тестирование ИИ-агента реального действия на выполнение неназванных условий: прогоны на DeepSeek

22.10.2026 18:17:55 | Хабр
Хабы: Искусственный интеллект, Тестирование IT-систем

Что показали 3360 испытаний и что агент при этом сообщал пользователю

Ранее мы описывали методологию создания тестовой системы для ИИ-агентов с вызовом функций, имеющих реальный эффект. https://habr.com/ru/articles/1090748/.

Ее основная идея заключается в том, что для совершения действия агент должен проанализировать условия, которые обеспечивают правомерность действия, но при этом он может их узнать только из внешнего источника – из ответа функции чтения или из доступного ему документа, то есть условие имеет статус неназванного. Методология позволяет воспроизводимо проверить, вызовет ли ИИ-агент функцию, когда вызывать ее нельзя, а также сопоставить с действием ответ агента, который он даст при этом пользователю.

Метод, план прогона, карты ошибок и подробный анализ опубликованы в препринте https://doi.org/10.5281/zenodo.23556771. Здесь мы представим лишь некоторые выводы, касающиеся работы агента плюс несколько замечаний о методе.

Главный результат прогона: удержит ли агент условие, зависит прежде всего от того, как оно записано в данных. Норму, записанную словом в имени поля или значением-запретом, DeepSeek соблюдал почти всегда. Запрет, который нужно вывести из описания объекта, он нарушал и без всякого давления. В большинстве срывов агент называл препятствие и всё равно выполнял действие.

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro