Мониторинг токсичного контента в AI продуктах

info@vsetut.pro

О проекте

Вернуться

14.09.2024 11:51:17 | Хабр

Хабы: Машинное обучение, Искусственный интеллект

С ростом популярности LLM (больших языковых моделей) начинает подниматься вопрос о внедрении систем мониторинга LLM, которые будут проверять промпт пользователей на наличие токсичного контента, среди которого можно выделить промпт-инъекции и джейлбрейки (jailbreaks), а также ответ LLM, среди которого может быть сгенерированный неэтичный контент, утечки данных (пароли, промпт-инструкции и другая тайная от пользователя информация).

У таких моделей как GPT-4 на текущий момент времени достаточно сильный слой защиты, который не так просто поломать и достать нужную информацию, поэтому о ней речи не пойдет. В некоторых случаях, если речь идет о корпоративной тайне и прочих тонкостях работы с данными в бизнесе, может возникнуть потребность в локальной интеграции небольшой модели для внутренних нужд компании. Тогда и задача бизнеса в интеграции условного чат бота для общения с клиентами будет решена, а все данные останутся в компании, или нет?

Проблема таких моделей в том, что они подвержены атакам и генерации токсичного контента, что в свою очередь ведет к возможным PR рискам для бизнеса и финансовым потерям, а также может противоречить локальным требованиям к безопасности.

Подробнее