Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту

04.07.2026 18:53:13 | Хабр

Хабы: Машинное обучение, Natural Language Processing, Open source, Искусственный интеллект

TL;DR. Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русских документов лучше готовых чанкеров.

Я взял идею датской context-aware-splitter, пересобрал её под русский на базе T-lite-it-2.1 и изменил главное: модель возвращает индексы границ, а не переписанный текст. Хост потом режет оригинал по этим индексам.

У index‑output оказалось три практических плюса:

Читать далее

Подробнее

Читайте также

Почему в 2026 году Sega Saturn все-таки победила PlayStation (или внесите огнетушитель)
04.07.2026 18:30:27 | Хабр

Опыт Москвы с цифровым двойником в строительстве внедрят в регионах РФ
04.07.2026 18:12:25 | ferra.ru

Apple заказала 10 миллионов складных iPhone Ultra — СМИ
04.07.2026 18:10:34 | ferra.ru

Игра проигравшего
04.07.2026 18:05:22 | Хабр

Студентка МАИ создала камеру, которая голосом называет номер автобуса слабовидящим
04.07.2026 17:55:00 | ferra.ru

Разработчик, покажи мне свой skill.md! Рефакторинг легаси
04.07.2026 17:43:09 | Хабр

Геостатистика в QGIS без SAGA: кригинг на чистом NumPy
04.07.2026 17:38:31 | Хабр

Используем старый Mikrotik как сигнализацию
04.07.2026 17:37:20 | Хабр

GitHub стал однообразнее после появления ChatGPT?
04.07.2026 17:36:23 | Хабр

Физики создали новую экзотическую форму материи: «море Ферми»
04.07.2026 17:33:11 | Хабр

Иллюзия безопасности, или как ваши сотрудники прямо сейчас обучают конкурентов
04.07.2026 17:04:40 | Хабр

Переоценённый король
04.07.2026 16:52:47 | Хабр

По следам Тёмного Мессии. Подборка слэшеров от первого лица
04.07.2026 16:16:45 | Хабр

Оптимизация потребления памяти в ML-библиотеке LANCETNIC
04.07.2026 16:16:28 | Хабр

Цукерберг признал, что ИИ-агенты развиваются хуже, чем он рассчитывал
04.07.2026 16:10:36 | ferra.ru

Ваш ИИ‑агент ведёт на вас досье. Я превратил его в RPG‑лист персонажа
04.07.2026 16:07:53 | Хабр

В России создадут единую цифровую платформу для здоровья космонавтов
04.07.2026 16:05:20 | ferra.ru

Считаем пакеты на Rust
04.07.2026 15:58:09 | Хабр

Alibaba запретила сотрудникам использовать Claude Code на работе
04.07.2026 15:35:24 | ferra.ru

В России введут добровольную маркировку ИИ-контента
04.07.2026 15:34:17 | ferra.ru

Midjourney в суде потребовала от Disney, Universal и Warner Bros. раскрыть сведения об использовании ИИ — компания считает, что студии допускают те же нарушения, в которых обвиняют её
04.07.2026 15:14:50 | vc.ru

В России появились менеджеры по продвижению в нейросетях
04.07.2026 14:35:56 | ferra.ru

Фанаты Playstation создали петицию, чтобы Sony продолжила печатать диски с играми
04.07.2026 14:10:45 | ferra.ru

[Перевод] «Уэбб» обнаружил новый сюрприз в ранней Вселенной: зрелое скопление галактик
04.07.2026 14:07:02 | Хабр

ИИ для учителей: Как педагогам использовать нейросети для подготовки и проверки уроков
04.07.2026 13:41:10 | Хабр

Носители данных — «игра на выбывание» (2026.07)
04.07.2026 13:19:51 | Хабр

В России испытали фотобиореактор для получения кислорода из микроводорослей
04.07.2026 13:15:04 | ferra.ru

Подземный гигант: зачем Швейцария строит самую мощную батарею в мире
04.07.2026 13:05:03 | Хабр

Самодельная электрогитара: тонируем деку и подгоняем к ней гриф
04.07.2026 13:02:02 | Хабр

[Перевод] Различие между научной гипотезой, теорией и законом
04.07.2026 12:55:18 | Хабр

Спекулятивный материализм Мейясу против объективного идеализма Гегеля. Чей абсолют абсолютнее?
04.07.2026 12:38:06 | Хабр

В России появятся VR-программы для снижения стресса
04.07.2026 12:30:40 | ferra.ru

База по системному дизайну для начинающих разработчиков ПО на примере. Часть 1. Анализ задачи, декомпозиция, модули
04.07.2026 12:20:46 | Хабр

OS Personium. Часть 5: Биопрограмма 3. Эволюционное предназначение религии и искусства
04.07.2026 12:14:33 | Хабр

Как я хакнул рынок труда: пишем свой ИИ-комбайн для автооткликов на HH.ru
04.07.2026 12:13:16 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

ФБР расследует сообщения о взломе своих компьютерных систем
23.09.2026 22:38:55 | ТАСС

Сенатор назвал условие для завершения СВО
23.09.2026 22:37:00 | Lenta.ru

Британский активист Робинсон заявил, что его вновь задержали
23.09.2026 22:36:38 | ТАСС

В Чечне полностью восстановили разрушенный паводком мост через Аргун
23.09.2026 22:36:13 | ТАСС

Глава OpenAI предупредил об ускорении развития ИИ и потере контроля над ним
23.09.2026 22:34:46 | ТАСС

Эксперт Снайдер: Запад при заключении мира сразу отвернется от Украины
23.09.2026 22:33:44 | ТАСС

Хакеры на сутки остановили работу фондовой биржи Непала
23.09.2026 22:33:00 | Российская Газета

Мать Соседова прокомментировала смерть сына
23.09.2026 22:32:13 | Lenta.ru

Глава Volvo предрек европейскому автопрому участь Детройта
23.09.2026 22:32:00 | Российская Газета

Сын посла Израиля в США получил тяжёлые ранения при атаке на блокпост
23.09.2026 22:30:13 | Life.ru

Bild: работу аэропорта Берлина приостановили из-за неизвестного беспилотника
23.09.2026 22:29:37 | ТАСС

В Софии в Русском доме ярко отметили Международный день музыки
23.09.2026 22:29:08 | ТАСС

Захарова высказалась о покупке дорогих сумок
23.09.2026 22:27:00 | Lenta.ru

Карапетян: Армения останется беззащитной в случае вывода российской базы
23.09.2026 22:26:49 | ТАСС

Одна из крупнейших криптобирж прекратит операции с украинской валютой
23.09.2026 22:25:17 | Lenta.ru

Рубио в беседе с главой МИД Индии напомнил о возможных санкциях за торговлю с РФ
23.09.2026 22:23:04 | ТАСС

LRT: страны Балтии запросили у Еврокомиссии €500 млн на борьбу с БПЛА
23.09.2026 22:21:32 | ТАСС

В реке под Астраханью утонул мальчик
23.09.2026 22:19:13 | ТАСС

«Нефтехимик» одержал крупнейшую победу в сезоне, разгромив «Ладу» со счётом 7:3
23.09.2026 22:18:00 | Life.ru

Участие европейских лидеров не вызвало ажиотажа вокруг Совбеза ООН по Украине
23.09.2026 22:17:41 | ТАСС

На Запорожье выходной по случаю Дня воссоединения перенесли на 2 октября
23.09.2026 22:17:24 | ТАСС

Регулятор предупредил о перебоях со связью на Украине
23.09.2026 22:16:16 | ТАСС

В ЛНР зафиксировали около 30 атак ВСУ на коммунальные объекты
23.09.2026 22:15:12 | ТАСС

«Мы все в шоке». Умер музыкальный критик Сергей Соседов. Ему было 58 лет
23.09.2026 22:11:46 | Lenta.ru

Президент Хорватии назвал нереальной стратегическую автономию ЕС
23.09.2026 22:11:22 | ТАСС

Педагоги из пяти городов Азербайджана стали участниками летней мастерской в Чечне
23.09.2026 22:09:31 | ТАСС

США создали портал для сбора данных о визовом мошенничестве
23.09.2026 22:09:12 | ТАСС

Раскрыта причина падения Соседова с лестницы
23.09.2026 22:08:27 | Lenta.ru

Двухмерная метроидвания Fallen Tear: The Ascension вышла из раннего доступа в Steam
23.09.2026 22:07:45 | PlayGround.ru

Критик Сергей Соседов умер после падения с лестницы в Нерюнгри
23.09.2026 22:07:43 | Life.ru

Трамп собрался нарушить дипломатический протокол ради встречи Си Цзиньпина
23.09.2026 22:07:27 | Lenta.ru

Каллас перепутала Монако и Марокко во время выступления в ООН
23.09.2026 22:07:00 | ТАСС

В Ярославле на первой части нового моста через Волгу установили все сваи
23.09.2026 22:06:29 | ТАСС

Binance прекратит операции с гривной
23.09.2026 22:06:17 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro