Операция выполнена!
Закрыть
Хабы: Машинное обучение

Код: https://github.com/fanat503/Induction-Heads-Tinystories

GPT-2 Small обучена с нуля на TinyStories (473М токенов). Эксперимент показал, что Previous Token Heads формируются стабильно (score 0.20), а Induction Heads практически не формируются (score 0.05) из-за простоты датасета. Результаты верифицированы через Sparse Autoencoder на Layer 6.

Induction Heads на TinyStories: результаты
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro