Операция выполнена!
Закрыть
Хабы: Блог компании OTUS, Машинное обучение

LLM уже умеют многое, но качество их ответов по-прежнему упирается в тонкую настройку под человеческие предпочтения. Direct Preference Optimization стал стандартом де-факто для алайнмента, но у него есть фундаментальный изъян: все токены в ответе считаются равнозначными. Для человека же очевидно, что слово «Париж» в ответе на вопрос о столице важнее любого предлога или союза. В этой статье мы разбираем свежий метод OTPO, который предлагает решение через оптимальный транспорт и учится поднимать вес смысловых токенов, оставляя служебные на заднем плане.

Читать далее
Читайте также
СТАТЬ АВТОРОМ
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro