Как гуманитарий за 2 месяца с нуля RAG систему построил, или Парсинг PDF по-хардкору

13.02.2026 09:15:48 | Хабр

Хабы: Data Engineering, PDF, Python, Искусственный интеллект, Машинное обучение

Добрый день. Сегодня я расскажу о том, как я за 2 месяца с полного нуля создал доменную RAG систему с корпусом в 20+ книг.

В статье затрону проблемы парсинга данных (особенно PDF документов, с которыми приходилось иметь дело), чанкинга, создания и индексации эмбеддингов, а также самого интересного – ретривера. Расскажу о latency, трейд-оффах, и сложностях реализации подобных систем локально на ноутбуке (хоть и «игровом») без использования API LLM.

Вся система делалась мной самостоятельно без использования LangChain – это чистый пайплайн от Tesseract, Pillow, MuPDF/Fitz до e5-multilingual, FAISS (+bm25, который я затрону в статье) и Qwen3:8B в качестве LLM.

Подробнее

Читайте также

Новые роботы-пылесосы Anker уже в РФ: до 68 дней работы без помощи человека
13.02.2026 09:13:25 | ferra.ru

Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench
13.02.2026 09:10:42 | Хабр

Как HR убивают интерес кандидатов ещё до интервью
13.02.2026 09:08:35 | Хабр

Как создать программно-определяемое хранилище в SpaceVM
13.02.2026 09:07:46 | Хабр

Ozon уравняет цены по карте Ozon банка с картами конкурентов
13.02.2026 09:00:39 | ferra.ru

Telegram ограничивают. Куда переходить командам?
13.02.2026 08:59:53 | Хабр

Тотальная КАНБАНизация, или Для чего вашему отделу цифровые доски
13.02.2026 08:47:25 | Хабр

Как сделать простую систему первичные/вторичные часы
13.02.2026 08:46:54 | Хабр

Мипромторг предложил ввести полный утильсбор для машин, ввозимых физлицами из ЕАЭС для личного пользования
13.02.2026 08:46:42 | vc.ru

Минпромторг предложил ввести полный утильсбор для машин, ввозимых физлицами из ЕАЭС для личного пользования
13.02.2026 08:46:42 | vc.ru

Обвал на Уолл-стрит: кто потерял доверие, и что ждёт сектор ИИ и ИТ в РФ
13.02.2026 08:24:40 | Хабр

Почему ваши dbt-тесты врут, или Зачем дата-инженеру статистика
13.02.2026 08:21:19 | Хабр

Редизайн Telegram: как Павел Дуров вновь разозлил пользователей
13.02.2026 08:20:32 | Хабр

Розовый шум, беруши и нарушение сна
13.02.2026 08:10:39 | Хабр

Знакомство с ретро-ПК. Оживляем раритетный Pentium-200
13.02.2026 08:06:04 | Хабр

GenAI против реальности: что охотнее смотрят люди на примере контента о камчатских снегопадах
13.02.2026 08:05:54 | Хабр

Что нужно, чтобы начать регистрацию товарного знака в 2026 году, не потерять деньги, месяцы и само обозначение?
13.02.2026 08:02:14 | Хабр

«Потрачено», или как мы полюбили игры с кривым переводом
13.02.2026 08:00:58 | Хабр

Естественные преобразования. Часть 2
13.02.2026 07:51:28 | Хабр

API под прицелом: Три типа «трупов» (Shadow, Orphan, Zombie) и одна новая надежда
13.02.2026 07:49:52 | Хабр

День 1451: внешний долг России впервые за 20 лет превысил $60 млрд, саудовская Midad подписала договор о покупке зарубежных активов «Лукойла»
13.02.2026 07:46:29 | vc.ru

Мертвые не кусаются, но светятся: как работает приложение Локатор в iOS в 2026 году
13.02.2026 07:45:49 | Хабр

3D-мозаики и скульптуры из кубиков Рубика
13.02.2026 07:29:12 | Хабр

Хочу учиться: где и как получить ИБ-образование и знания
13.02.2026 07:22:08 | Хабр

Паттерн Transactional Outbox — обеспечиваем консистентность между микросервисами на примере Java
13.02.2026 07:15:38 | Хабр

Управляем облаком, не привлекая внимания пользователей: разбор примеров из жизни One-cloud
13.02.2026 07:12:32 | Хабр

О промышленных скоростных методах пайки печатных плат и не только
13.02.2026 07:05:33 | Хабр

Практическое применение eBPF: serverless-платформа с поддержкой TCP-приложений
13.02.2026 07:02:30 | Хабр

Как материя становится антиматерией: тайна формулы Эйлера
13.02.2026 06:56:33 | Хабр

Почему Code Review тормозит разработку и что с этим делать
13.02.2026 06:52:10 | Хабр

Как защитить ключи LUKS с помощью Рутокен ЭЦП 3.0 и алгоритмов ГОСТ Р 34.10-2012. Часть 3
13.02.2026 06:43:24 | Хабр

[Перевод] Самая большая ложь об ИИ
13.02.2026 06:42:47 | Хабр

Почему выгорание у ИТ-специалистов не лечится отпуском и сменой работы
13.02.2026 06:16:14 | Хабр

Как я написал AI-генератор коротких видео (Shorts/Reels) на Python с Clean Architecture
13.02.2026 06:03:47 | Хабр

«Я слишком стар для этого… джуна». Карьерный переход 2026: как сменить профессию и не сломаться
13.02.2026 06:00:03 | Хабр

Смотреть все

НОВОСТИ

Ночной концерт у капота: чем опасна «чуткая» сигнализация
02.05.2026 03:28:42 | За рулем

Путин заявил о необходимости выработать модель регулирования ИИ в России
27.04.2026 14:58:09 | Life.ru

В СБ РФ заявили, что дроны ВСУ свободно пролетают через небо Прибалтики и Польши
27.04.2026 14:58:00 | Российская Газета

Путин поздравил законодателей с Днем российского парламентаризма
27.04.2026 14:56:13 | ТАСС

В Москве оштрафовали Google на 19 млн рублей
27.04.2026 14:56:01 | ТАСС

Путин попросил парламентариев внести предложения по стимулированию экономики
27.04.2026 14:55:30 | ТАСС

«Власть — это бремя»: Путин дал напутствие Совету законодателей словами Солженицына
27.04.2026 14:55:19 | Life.ru

Путин заявил о влиянии революции и гражданской войны на судьбу России
27.04.2026 14:54:36 | Life.ru

Психолог Нилова указала на риски бесконтрольного использования мессенджеров детьми
27.04.2026 14:54:26 | ТАСС

Минфин хочет уточнить бюджет до 2028 года без весенних поправок в закон
27.04.2026 14:54:03 | Life.ru

В Московском регионе диаметр мокрого снега на проводах и деревьях достиг 33 мм
27.04.2026 14:53:57 | ТАСС

В России ответили на возможность запрета советской символики в Берлине
27.04.2026 14:53:52 | Lenta.ru

«Обещаю воспитать»: Погодина сквозь слёзы раскрыла главную тайну семьи Пимановых
27.04.2026 14:53:47 | Life.ru

В Тольятти на женщину упала остановка
27.04.2026 14:53:38 | ТАСС

Чиновник Ирана: Тегеран может удовлетворить свои торговые нужды вопреки санкциям
27.04.2026 14:53:00 | Российская Газета

Путин назвал радикально изменившие судьбу России события
27.04.2026 14:52:49 | Lenta.ru

Глобальные расходы на оборону выросли до рекордных $2,89 трлн за счет Европы
27.04.2026 14:52:00 | Российская Газета

В ЦТАК рассказали о мероприятиях в Пхеньяне с участием представителей РФ
27.04.2026 14:52:00 | Российская Газета

Минфин и ЦБ рекомендовали компаниям заранее готовиться к IPO
27.04.2026 14:51:30 | ТАСС

Эксперт Уваров назвал удар украинского БПЛА по ЗАЭС попыткой запугать персонал
27.04.2026 14:51:15 | ТАСС

30 человек пострадали в Москве и области из-за падения 110 деревьев в снегопад
27.04.2026 14:49:45 | Life.ru

Памфилова заявила, что ЦИК усилит работу с ДЭГ из-за проблем с интернетом
27.04.2026 14:49:28 | ТАСС

Путин встретился с Валентиной Матвиенко в Санкт-Петербурге
27.04.2026 14:49:14 | Life.ru

Путин исключил "Озон банк" из перечня банков, с акциями которых запрещены сделки
27.04.2026 14:48:08 | ТАСС

В российском регионе ураган перевернул движущийся грузовик
27.04.2026 14:47:35 | Lenta.ru

Российская делегация рассказала об инициативе Путина по евразийской безопасности
27.04.2026 14:47:01 | Lenta.ru

Лукашенко считает важным возрождать земли, пострадавшие при аварии на ЧАЭС
27.04.2026 14:46:57 | ТАСС

Шторм на Волге унёс жизнь топ-менеджера «Яндекса» и трёх его друзей, тело одного ещё ищут
27.04.2026 14:46:34 | Life.ru

Путин разрешил покупку АО "Аурум" акций золоторудной компании "Павлик"
27.04.2026 14:46:14 | ТАСС

Путин: Нельзя зацикливаться на запретах, они тормозят развитие
27.04.2026 14:45:20 | Life.ru

Отрезавшая клиентке длинные волосы парикмахер разгневала пользователей сети
27.04.2026 14:45:04 | Lenta.ru

В России назвали цели самолета-разведчика США у границ Калининградской области
27.04.2026 14:44:23 | Lenta.ru

Книги Сорокина и Хемингуэя исключили из перечня подлежащих маркировке
27.04.2026 14:44:16 | ТАСС

Путин: Итоги выборов в Госдуму-2026 должны полностью отражать волю народа
27.04.2026 14:43:21 | Life.ru

Shaman считает, что ему не нужно исполнять песни Пугачевой
27.04.2026 14:42:58 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro