Keystone 1.0: LLM-шлюз, который не хардкодит модели, держит свои GPU и не теряет ключи

27.10.2026 08:31:02 | Хабр

Хабы: Open source, Go, DevOps, Искусственный интеллект, Высоконагруженные системы

Имя модели в коде устаревает в день выхода следующей модели. Если у вас десять сервисов, вы перепишете его десять раз и десять раз разнесёте по конфигам ключи вендоров.

Keystone. The Model Switchboard. (KTMS) убирает это из кода. Сервис говорит, насколько сложна задача, а шлюз решает, какую модель позвать, с каким ключом и не отдать ли запрос вашей собственной GPU. В простое он занимает 7 МиБ памяти, а с версии 1.0 его API в пределах 1.x не ломается.

Вместе со шлюзом 1.0 вышли веб-консоль ktms-admin и учёт расходов light-tokenmeter, все три на Go и под Apache 2.0. Возможности ниже описаны по актуальной версии 1.3.

Подробнее

Читайте также

Я просто хотел тёмную тему
27.10.2026 08:25:28 | Хабр

Очередь на Postgres: масштабирование, inbox и сравнение с Kafka и RabbitMq
27.10.2026 08:20:24 | Хабр

Приоритеты и прогнозные даты нескольких целей: что я бы не стал строить второй раз
27.10.2026 08:20:05 | Хабр

День 1707: бизнес попросил не давать ФНС права нормотворчества
27.10.2026 08:12:53 | vc.ru

Выбираем кодинг-агента для Дельфи
27.10.2026 07:42:58 | Хабр

Зачем на Луне зеркала?
27.10.2026 07:39:49 | Хабр

Мой опыт разработки Python библиотек: от тысяч установок до бана на GitHub
27.10.2026 07:39:36 | Хабр

Как дерзкий рейд за 4 000 километров спас заложников в Энтеббе
27.10.2026 07:33:43 | Хабр

ИИ завалил разработчиков работой: что происходит с обновлениями для Ubuntu
27.10.2026 07:27:54 | Хабр

К бабушке с пирожками — за край карты
27.10.2026 07:24:00 | Хабр

Как нейросети оживляют фото: большой разбор. Часть 2
27.10.2026 07:17:58 | Хабр

Автоматизация тестирования: возьми от IT всё
27.10.2026 07:12:15 | Хабр

AI-менеджер для WB, Ozon и Маркета: почему мы начали с регулярок, а не с агента
27.10.2026 07:11:53 | Хабр

Как мы перешли на 1С и превратили внутреннюю ERP в рыночный продукт
27.10.2026 07:08:30 | Хабр

Я пришёл автоматизировать маркетплейсы из кровавого энтерпрайза, и вот что меня сильно удивило
27.10.2026 07:00:52 | Хабр

58 рекламных роликов, которые я не снимал, а закоммитил
27.10.2026 07:00:51 | Хабр

iPhone 18 Pro Max vs iPhone 17 Pro Max: менять нельзя оставить
27.10.2026 07:00:51 | Хабр

От Стирлинга до Теслы: примечательные патенты на двигатели разных лет
27.10.2026 07:00:43 | Хабр

Калькулятор сметы и фильтр каталога. Что теряется между макетом и кодом
27.10.2026 06:58:24 | Хабр

Валидация JSON во входящих REST-запросах DATAREON Platform
27.10.2026 06:48:32 | Хабр

Разобрал сейв Skyrim VR ИИ-агентами и сделал из него словарь для английского
27.10.2026 06:45:50 | Хабр

Робот с LLM, который меня подстрелил. Часть 3
27.10.2026 06:41:17 | Хабр

Как я делаю защищенное файловое хранилище — 5: Безальтернативный SQLite
27.10.2026 06:30:47 | Хабр

LLM-беседы: эпистемный класс элементов и форм в исследованиях пространств активаций
27.10.2026 06:23:06 | Хабр

Вино вернуло 502 Bad Gateway: как писать баг-репорт на бутылку
27.10.2026 06:00:44 | Хабр

Spark Cluster 2: как я создал приложение для автоматического развёртывания Apache Spark
27.10.2026 06:00:44 | Хабр

ИИ-сериал из одной идеи, черновой монтаж видео в Premiere Pro за минуты и ещё 8 российских стартапов
27.10.2026 05:46:43 | Хабр

Few-shot: пристрелочная для ИИ-агента
27.10.2026 04:30:38 | Хабр

[Перевод] Какая самая старая программа с GUI запускается на Windows 11 без эмуляции
27.10.2026 04:08:02 | Хабр

Делаем энергоэффективную систему визуального контроля морской акватории
27.10.2026 01:36:54 | Хабр

Автотюн по кусочкам: как Auto-Tune и Nectar пересобирают голос
27.10.2026 00:15:13 | Хабр

Пыталась заработать на миллионах пользователей и испортила продукт: платформа с ИИ-персонажами Character AI и её путь к банкротству
26.10.2026 21:34:31 | vc.ru

Просто сделать игру недостаточно
26.10.2026 21:15:17 | Хабр

Минцифры предупредило о возможных ограничениях мобильного интернета в центре Москвы 27-29 октября 2026 года
26.10.2026 21:06:35 | vc.ru

Microsoft запустила новую программу увольнений. Она рассчитана на 60 тыс. сотрудников
26.10.2026 21:05:20 | it-world

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

В Geely раскрыли будущее бензиновых двигателей
04.12.2026 05:45:00 | За рулем

В ДР Конго около 5 тысяч человек скончались от лихорадки Эбола
27.10.2026 12:46:00 | Российская Газета

Главком ВС Нидерландов призвал страну готовиться к масштабной войне
27.10.2026 12:42:58 | Life.ru

Президент Финляндии и премьер Норвегии созвонились с Путиным
27.10.2026 12:42:47 | Life.ru

Не трогайте чужие головы и прячьте пятки: Пять безобидных привычек, за которые вас возненавидят в Азии
27.10.2026 12:41:38 | Life.ru

Дело пытавшегося сбежать с костылями из золота чиновника передали в суд
27.10.2026 12:41:16 | Lenta.ru

Песков: Путин и Трамп не обсуждали кандидатуру Орбана на пост генсека ООН
27.10.2026 12:41:00 | Российская Газета

Москвичам рассказали о темпах сокращения светового дня
27.10.2026 12:40:55 | Lenta.ru

«Похож на страшного гомункула»: Проблемы Долиной доставляет не порча, а «подселенец», считает экстрасенс
27.10.2026 12:40:50 | Life.ru

ВВС Иордании нанесли удары по Сирии в ответ на бойню в православном храме
27.10.2026 12:38:45 | Life.ru

Президент Финляндии назвал телефонный разговор с Путиным откровенным и содержательным
27.10.2026 12:38:30 | ТАСС

Мирошник: ВСУ атаковали Алешки, несмотря на договоренности о гуманитарном коридоре
27.10.2026 12:37:46 | ТАСС

В Северной Осетии украинца осудили за шпионаж
27.10.2026 12:36:57 | ТАСС

В Москве ловят рыбку, а на Дальнем Востоке работа не волк: Какие пословицы любят россияне
27.10.2026 12:36:36 | Life.ru

Президент Финляндии и премьер Норвегии провели телефонный разговор с Путиным
27.10.2026 12:36:20 | ТАСС

Песков не подтвердил и не опроверг сообщения о переговорах Путина со Стуббом
27.10.2026 12:36:00 | Российская Газета

«Вот это и есть нацизм»: Захарова ответила на слова Ивановской о русскоязычных пациентах
27.10.2026 12:35:45 | Life.ru

Россиян предупредили о новой схеме мошенничества при оформлении зарубежных карт
27.10.2026 12:35:16 | Lenta.ru

ТАСС публикует видео последствий атаки БПЛА на больницу в Донецке
27.10.2026 12:35:08 | ТАСС

Ночной жор вышел из-под контроля: Медведи захватили ягодный куст на Камчатке
27.10.2026 12:35:01 | Life.ru

Лукашенко предложил закрепить за страной ряд регионов СГ
27.10.2026 12:35:00 | Российская Газета

Мирошник: ВСУ на неделе до 1,2 тыс. раз в сутки били по гражданским объектам РФ
27.10.2026 12:34:46 | ТАСС

Минтруд объяснил, в каких случаях самозанятым оплатят больничный
27.10.2026 12:34:22 | Life.ru

В Кремле сделали заявление о прекращении огня в Алешках
27.10.2026 12:34:00 | Lenta.ru

Двукратный олимпийский чемпион обвинил клубы КХЛ в облизывании иностранцев
27.10.2026 12:33:56 | Lenta.ru

В России разработали алгоритмы для повышения качества беспроводной связи
27.10.2026 12:33:52 | ТАСС

«В Москву не поедут»: Киев решил бойкотировать ЧМ-2030 по тяжёлой атлетике
27.10.2026 12:33:35 | Life.ru

В Кремле высказались о возможных переговорах Путина с лидерами Европы
27.10.2026 12:33:23 | Lenta.ru

Названо главное правило сбора аптечки в путешествие
27.10.2026 12:33:00 | Lenta.ru

Мирошник: ВСУ с начала года атаковали 328 автобусов в регионах РФ
27.10.2026 12:32:29 | ТАСС

Свыше 70 единиц оборудования для диагностики беременных получили медики Подмосковья
27.10.2026 12:32:10 | ТАСС

Из души, душевно, в никуда: Стас Михайлов вспомнил самый обидный эпизод своей карьеры
27.10.2026 12:32:01 | Life.ru

Президент Литвы устроил истерику из-за переговоров с Россией
27.10.2026 12:32:00 | Российская Газета

В центре Москвы временно ограничили интернет
27.10.2026 12:31:17 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro