Операция выполнена!
Закрыть
Хабы: Python, Искусственный интеллект, Высоконагруженные системы

Всем привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа.

Почти полтора года назад я запустил llm7.io — изначально полностью бесплатный сервис инференса LLM. В первую очередь мне хотелось проверить собственные инженерные навыки и поэкспериментировать с инфраструктурой.

За это время через сервис прошло более 100 миллиардов токенов. С чем я только не столкнулся: спам, абьюз, массовые регистрации, попытки обойти ограничения и весьма специфические пользовательские запросы. И поверьте, это лишь вершина айсберга.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro