ChatGPT подсел на гоблинов после того, как OpenAI попыталась сделать его «занудным»
Как «занудная» личность ChatGPT породила эпидемию гоблинов
После выхода GPT-5.5 на прошлой неделе пользователи заметили кое-что забавное в новейшей модели OpenAI. В приложении для кодинга Codex компания оставила системный промпт, который предписывает GPT-5.5 избегать упоминаний гоблинов, гремлинов и прочих существ. Да, вы не ослышались. «Никогда не говорите о гоблинах, гремлинах, енотах, троллях, огров, голубях или других животных и существах, если это не абсолютно и однозначно уместно по запросу пользователя», — гласит инструкция.
Похоже, достаточно много людей начали обсуждать одержимость ChatGPT существами, и OpenAI почувствовала необходимость объяснить, откуда взялись гоблины. В блоге, опубликованном в среду, компания рассказывает, что заметила изменение в поведении ChatGPT после выхода GPT-5.1 в ноябре. После того как один из исследователей безопасности попросил OpenAI включить слова «гоблин» и «гремлин» в исследование речевых особенностей чат-бота, компания обнаружила, что использование слова «гоблин» в ChatGPT выросло на 175% после выпуска GPT-5.1. А использование «гремлина» за тот же период увеличилось на 52%.
«Один "маленький гоблин" в ответе может быть безобидным, даже очаровательным. Но между поколениями моделей привычка стала заметной: гоблины продолжали размножаться, и нам нужно было выяснить, откуда они взялись», — пишет OpenAI. После выхода GPT-5.4 компания (и некоторые пользователи) заметили ещё больший скачок упоминаний гоблинов. Тогда расследование смогло выявить то, что OpenAI называет «первой связью с первопричиной».
Виновата «занудная» личность
Некоторое время назад в ChatGPT появилась функция персонализации, позволяющая пользователям настраивать стиль и тон ответов чат-бота. До марта этого года одной из опций была личность «nerdy» («занудная» или «ботанистая»). Часть системного промпта для этой личности гласила: «Мир сложен и странен, и его странность должна быть признана, проанализирована и оценена. Беритесь за серьёзные темы, не впадая в самосерьёзность».
Когда OpenAI сопоставила упоминания гоблинов с разными личностями ChatGPT, выяснилось, что «занудная» личность непропорционально часто использует это слово. Несмотря на то, что на неё приходится всего 2,5% всех ответов ChatGPT, она генерировала 66,7% всех упоминаний гоблинов. Дальнейшее расследование показало, что виновато обучение с подкреплением. Конкретный механизм вознаграждения научил «занудную» личность последовательно отдавать предпочтению «существам».
«Во всех наборах данных аудита система вознаграждения Nerdy-личности явно демонстрировала тенденцию оценивать ответы с "гоблином" или "гремлином" выше, чем ответы без них, с положительным приростом в 76,2% наборов данных», — объясняет компания.
Как любовь к гоблинам распространилась на остальные модели
Затем OpenAI обнаружила, что из-за особенностей обучения с подкреплением любовь «занудной» личности к гоблинам передалась и другим частям моделей. «Награды применялись только в условии "Nerdy", но обучение с подкреплением не гарантирует, что изученное поведение останется строго в рамках породившего его условия, — поясняет компания. — Как только речевой тик получает награду, последующее обучение может распространить или усилить его в других местах, особенно если эти выходные данные повторно используются в контролируемой тонкой настройке или данных предпочтений».
OpenAI начала обучение GPT-5.5 до того, как выявила причину привязанности ChatGPT к гоблинам, поэтому в Codex появился промпт, запрещающий «существ». «Кодекс, в конце концов, довольно занудный», — отмечает OpenAI. В ходе охоты на гоблинов ChatGPT компания разработала новые инструменты для аудита и исправления поведения моделей. Если бы это было моё решение, я бы эти инструменты не использовал. Пусть ИИ остаётся странным, говорю я.
Ключевые факты
- Модель: GPT-5.5 (выпущена на прошлой неделе)
- Проблема: чат-бот начал чрезмерно часто упоминать гоблинов, гремлинов и других существ
- Причина: «занудная» (nerdy) личность с системным промптом о «странности мира»
- Цифры: nerdy-личность = 2,5% ответов, но 66,7% всех упоминаний гоблинов
- Рост после GPT-5.1: «гоблин» +175%, «гремлин» +52%
- Обучение с подкреплением: система награждения оценивала ответы с гоблинами выше в 76,2% случаев
- Решение: в Codex (приложение для кодинга) добавили промпт, запрещающий упоминания существ
Хронология гоблиньего апокалипсиса
| Событие | Что произошло |
|---|---|
| Ноябрь (GPT-5.1) | OpenAI замечает первые изменения, исследователь просит включить «гоблина» и «гремлина» в исследование |
| После GPT-5.1 | Использование «гоблин» +175%, «гремлин» +52% |
| После GPT-5.4 | Ещё больший скачок упоминаний гоблинов, начало расследования |
| До марта | Существовала «занудная» личность (nerdy) с промптом о «странности мира» |
| В ходе аудита | OpenAI обнаружила, что nerdy-личность = 2,5% ответов, но 66,7% гоблинов |
| Выявленная причина | Механизм вознаграждения в обучении с подкреплением (76,2% положительного прироста) |
| Выпуск GPT-5.5 | Промпт в Codex запрещает упоминания существ («Кодекс довольно занудный») |
Ирония судьбы: OpenAI пыталась сделать ChatGPT умнее и «зануднее», а получила чат-бота, который одержим гоблинами. Теперь компании приходится изобретать инструменты, чтобы отучить ИИ от сказочных существ. Но, возможно, странность — это не баг, а фича.
ДРУГИЕ СТАТЬИ
23.09.2026
Не все работники ИИ-индустрии верят, что технология убьёт человечество
Не все сотрудники крупных компаний, работающих над искусственным интеллектом, считают, что технология несёт гибель человечеству. В переписках и разговорах несколько человек, работавших в таких компаниях, как OpenAI, Meta и DeepMind, выразили скептицизм по поводу идеи, что неконтролируемое развитие ИИ приведёт к созданию инструментов, способных убивать людей массово. «Лол», «Ха-ха-ха» и «Принесите смехуёчки» — среди реакций, которые BBC получила на недавнюю волну громких предупре
21.09.2026
Виртуальные миры, в которых обучают роботов: как стартап из Кембриджа ускоряет обучение
Робот Фреддо идёт по офису и берёт пластиковую бутылку, предложенную сотрудником. Учитывая, что недавно робот побил рекорд Усэйна Болта на 100 метров, это не самое поразительное достижение. Но скорость, с которой Фреддо научился ходить, распознавать бутылку и хватать её, впечатляет. На освоение этих навыков ушло всего несколько минут. Разработчики утверждают, что конкурирующим системам могут потребоваться дни.
Я нахожусь в Vsim — британском стартапе из Ке
16.09.2026
Реклама ИИ-приложений для «создания откровенного контента» запрещена британским регулятором
Серия рекламных объявлений ИИ-приложений в социальных сетях была запрещена британским надзорным органом за продвижение «создания сексуально откровенного контента и объективации женщин». Управление по стандартам рекламы (ASA) заявило, что пять объявлений, загруженных на платформы Meta для приложений-компаньонов и генераторов видео, объективировали и сексуализировали женщин, в том числе через вредные гендерные стереотипы.
В одном из объявлений ис
14.09.2026
Британия отказалась от «рубильника» для опасного ИИ: почему правительство против
Правительство Великобритании отклонило идею создания так называемого «рубильника» (kill switch) для остановки опасной атаки со стороны вышедшего из-под контроля ИИ. Предложение создать правовой механизм для экстренного отключения ИИ-модели было внесено в парламент лордами и депутатами в последние недели на фоне растущих опасений по поводу угроз, которые несёт технология. Однако Канцелярия Кабинета министров, отвечающая за безопасность ИИ, заявила, что Великоб
ПИШИТЕ
Техническая поддержка проекта ВсеТут