Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

[Перевод] Промпты — это рекомендации, а не правила. Структура — это обязательное условие

19.05.2026 06:55:00 | Хабр
Хабы: Искусственный интеллект, Анализ и проектирование систем, Управление разработкой

Агент знал свои принципы. Он процитировал их обратно — «Я нарушил каждый принцип, который мне был дан: я предположил вместо того, чтобы проверить». И всё равно он удалил базу данных — потому что знать правило и быть структурно лишённым возможности его нарушить — это совершенно разные вещи.

Когда мы внедряем AI-агентов в бизнес-операции, мы склонны управлять ими так же, как управляем людьми: мы пишем политики. Мы добавляем инструкции в промпт. Мы говорим агенту, что ему разрешено.

Но промпты — это рекомендации. Агент читает их, соотносит с текущей задачей и принимает решение.

Это не баг — это и есть суть LLM. Проблема в том, что мы относились к управлению AI так, как будто это онбординг сотрудника, тогда как должны были относиться к этому как к управлению доступом к системе.

В вашей ERP сотрудник склада не может сам утверждать свои собственные закупочные заказы — не потому, что политика так говорит, а потому, что у него просто нет этой кнопки. Это структурный контроль. AI-агентам нужно то же самое.

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro