В течение многих лет в индустрии ИИ сохранялся оптимизм по поводу непрерывного улучшения больших языковых моделей (LLM), стимулируемого растущими вычислительными мощностями и объемом данных. Однако недавние отчеты указывают на то, что ИИ может достичь «плато» в производительности. Ожидаемая модель OpenAI, Orion, демонстрирует меньший прогресс по сравнению с переходом от GPT-3 к GPT-4, а некоторые задачи вообще не показывают явных улучшений.