Под микроскопом: AI Product Hack

info@vsetut.pro

Стать автором

Вернуться

29.10.2024 19:57:08 | Хабр

Хабы: Искусственный интеллект, Машинное обучение

Сколько раз вы были свидетелями судейства на хакатонах, которое, на первый взгляд, казалось неверным? Думаем, таких случаев было много.

Сегодня мы, участники AI Security Lab из магистратуры Talent Hub, посмотрим на результаты AI Product Hack и постараемся разобраться в том, кто после присуждения мест оказался прав: раздосадованные поражением участники команд или судьи.

В частности мы будем рассматривать кейс компании Raft - “Мониторинг токсичного контента в AI-продуктах”.

Первый справедливый вопрос, почему токсичный контент? Все просто. Для тебя, дорогой читатель, не секрет, что LLM на пике популярности. И когда ты захочешь внедрить умного ассистента или RAG систему в прод, тебе вряд ли будет приятно увидеть галлюцинирующие ответы модели, представляющие потенциальную опасность. Например, представим команду интеграции LLM пайплайнов которые сидят у себя в кабинете и радуются тому, что смог сэкономить после замены кучи операторов поддержки одним чат ботом. Но вдруг, внезапно оказывается, что на любую блажь приходят недоброжелатели, которым не терпится послать 100500 атак на бота, содержащих джейлбрейки, промпт-инъекции и пр. После этого никто уже не радуется, ведь его инновационное решение продает товары за минимальную стоимость, сливает пользователям конфиденциальную информацию, ведет себя как гигачад с форчана и выдает опасные инструкции. Все это ведет к огромным финансовым потерям и опускает рейтинг доверия к компании в самый низ.

Думаем, теперь мы готовы посмотреть на решения этой проблемы, чтобы дать объективную оценку всем командам хакатона. (финальный питч)

Подробнее