Операция выполнена!
Закрыть
Хабы: Блог компании МТС, Искусственный интеллект, Машинное обучение, Программирование, Natural Language Processing

Замечали ли вы, что одна и та же модель в одном ИИ-помощнике для написания кода прекрасно чинит баги, а в другом не вывозит простую задачу? Кажется, что в этом виновата сама модель. Но это не совсем так. Мне захотелось поделиться с вами исследованием, в котором была рассмотрена программная оболочка вокруг модели, так называемая обвязка, или харнесс (по-английски — harness). Это рабочее место агента, где решается, как он составляет план, какие использует инструменты для работы с файлами и терминалом и что делает, когда переписка становится слишком длинной и перестает помещаться в контекстное окно.

Обычно для сравнения обвязок берут готовые инструменты, прогоняют их на одних и тех же задачах и оценивают результаты. Но на них влияют сразу несколько факторов, и практически невозможно понять, какой из них сыграл главную роль. К тому же одна и та же обвязка с разными моделями ведет себя по-разному. А тут исследователи собрали простую обвязку и поочередно меняли в ней планирование, набор действий и управление контекстом. Результаты оказались довольно неожиданными. То, что нужно слабой модели, сильной либо не нужно, либо мешает, а некоторые умные механизмы вообще почти никем не используются. Ниже расскажу об этом подробнее.

Для начала посмотрим, из чего состоит обвязка.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro