ОЦЕНКА ПОТРЕБНОСТЕЙ В GPU ДЛЯ AGI МАСШТАБА МОЗГА

info@vsetut.pro

О проекте

Вернуться

28.01.2025 15:47:05 | Хабр

Хабы: Искусственный интеллект, Исследования и прогнозы в IT, Будущее здесь

Определение того, на сколько GPU может приблизиться к вычислительной мощности человеческого мозга, связано с серьёзными техническими, теоретическими и архитектурными сложностями. Современные системы на базе GPU фундаментально отличаются от биологических нейронных сетей, поэтому любые разговоры о «GPU-эквивалентах» стоит воспринимать как приблизительные. Ниже приводится анализ и синтез ключевых идей и имеющихся неопределённостей.

1. ВЫЧИСЛИТЕЛЬНЫЕ ПОТРЕБНОСТИ ЧЕЛОВЕЧЕСКОГО МОЗГА

Часто указывается, что человеческий мозг совершает порядка 10¹⁴ синаптических спайков в секунду, потребляя лишь около 20 ватт энергии. Однако это число может варьироваться (некоторые оценки доходят до 10¹⁵ спайков/с). Перевод этих спайков в FLOP/s на GPU сталкивается с двумя основными сложностями:

• Разреженность против плотности. Биологическая нейронная активность высокоразрежена, и в каждый момент времени срабатывает лишь часть синапсов. GPU отлично работают с плотными операциями над матрицами, что вносит избыточные затраты при моделировании разреженных, событийно-ориентированных вычислений. В результате для достижения работы в реальном времени на уровне масштабов мозга может потребоваться порядка 10¹⁷ FLOP/s или даже больше — хотя это во многом зависит от того, как именно моделируются операции нейронов и синапсов.

• Архитектурное несоответствие. GPU на базе фон Неймана не оптимизированы под динамические вычисления на базе спайков. По ранним оценкам, для моделирования синаптической активности мозга (при благоприятных предпосылках) может потребоваться около 100 современных высокопроизводительных GPU (например, RTX 4090) только для обработки синаптических обновлений. На практике ещё более критичными, чем вычислительные ресурсы, часто оказываются пропускная способность памяти и пропускная способность сетевых соединений.

Подробнее