Основы парсинга сайтов: от HTML до готового датасета для NLP

07.05.2026 06:51:00 | Хабр

Хабы: Блог компании OTUS, Машинное обучение, Python, Natural Language Processing

Даже сильная NLP‑модель быстро упирается в банальную проблему: ей нужны данные, причём не абстрактные «готовые датасеты», а тексты под конкретную задачу, домен и гипотезу.

В статье разберём базовый путь от HTML‑страницы до пригодного корпуса: как получать данные через HTTP‑запросы, доставать нужные элементы с помощью BeautifulSoup, работать с CSS‑селекторами, подключать Playwright для динамических сайтов и очищать сырой веб‑текст так, чтобы его уже можно было использовать в NLP‑пайплайне.

Подробнее

Читайте также

LEGO Education 2026: Новые наборы? Новая электроника? Новая образовательная парадигма
07.05.2026 06:43:57 | Хабр

Самая криминальная команда в ИИ: кто стоит за Perplexity. Досье SpeShu.AI
07.05.2026 06:37:58 | Хабр

Техническая архитектура систем сбора, обработки и передачи биометрических ПДн
07.05.2026 06:31:34 | Хабр

[Перевод] 7. Проектирование с помощью типов: Нестроковые типы
07.05.2026 06:30:50 | Хабр

Пиратство в эпоху VHS: как Universal судилась с Sony и почему последствия этого спора мы ощущаем и в наши дни
07.05.2026 06:12:45 | Хабр

Документальное обеспечение взыскания дебиторской задолженности в арбитражном суде: требования 2024–2026 годов
07.05.2026 06:00:42 | Хабр

Невидимый syntax error в PostgreSQL: как одна строка SQL съела полтора дня дебага
07.05.2026 05:53:08 | Хабр

Двусторонний монтаж печатных плат
07.05.2026 05:42:47 | Хабр

Оземпик: что изменилось в 2026 и почему таблетки не отменяют систему
07.05.2026 02:59:22 | Хабр

В России создали эталон порошка для 3D-печати
06.05.2026 23:58:51 | ferra.ru

Я пошутил, что разработчики больше не нужны — и мне поверили. Давайте теперь серьезно
06.05.2026 23:40:36 | Хабр

В России разработали ИИ для генерации музыки и аудио
06.05.2026 23:34:19 | ferra.ru

В НГУ создали программу для анализа углеродных материалов
06.05.2026 23:32:17 | ferra.ru

Новгородский инженер создал простую формулу расчета осадки свай
06.05.2026 22:57:45 | ferra.ru

Ученые ПНИПУ создали программу для проектирования реакторов метанола
06.05.2026 22:46:57 | ferra.ru

Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем
06.05.2026 22:43:41 | Хабр

Правильная агентская архитектура в 2026 г. Часть 2. Durable state: approvals, session context и background jobs
06.05.2026 22:20:12 | Хабр

[Перевод] Как ИИ потерял доверие общества в США
06.05.2026 22:14:05 | Хабр

Huawei показала тизер ультратонкого планшета MatePad Pro Max
06.05.2026 22:09:38 | ferra.ru

На Дальнем Востоке создадут систему быстрого обнаружения пожаров
06.05.2026 22:08:18 | ferra.ru

В Сибири обнаружили новый вид древних одноклеточных
06.05.2026 21:18:49 | ferra.ru

Вологодская область перейдет на платформу «МЭШ» с сентября
06.05.2026 21:06:59 | ferra.ru

Передача и прием данных по лазерному лучу (SDR декодирование BPSK в реальном времени)
06.05.2026 20:48:12 | Хабр

Передача данных по лазерному лучу (BPSK)
06.05.2026 20:48:12 | Хабр

В «Максе» появилась расшифровка видеосообщений
06.05.2026 20:33:56 | ferra.ru

SmileLadder. Цикл «Память и мозг». Как формируется память
06.05.2026 20:32:57 | Хабр

ИИ-компания Anthropic вложит $200 млрд в Google
06.05.2026 20:09:37 | ferra.ru

Пет-проект и персональные данные: как соблюсти минимальные необходимые требования и не попасть на штрафы
06.05.2026 20:07:46 | Хабр

TeachTrack: NestJS + Telegram-бот напоминаний + РКН — как я в одиночку собрал CRM для частных репетиторов
06.05.2026 19:58:10 | Хабр

В России создали собственную референсная последовательность генома
06.05.2026 19:54:48 | ferra.ru

Ledger — прохождение сложной машины от Tryhackme
06.05.2026 19:32:07 | Хабр

Samsung Electronics объявила партнёрам о планах уйти с китайского рынка телевизоров и бытовой техники после 34 лет работы — СМИ
06.05.2026 19:27:52 | vc.ru

Крупные книжные издательства подали в суд на Meta* за «кражу» книг для обучения ИИ
06.05.2026 19:26:51 | ferra.ru

Нейросеть для создания песни ИИ бесплатно: лучшие нейросети для музыки
06.05.2026 19:20:08 | Хабр

Штампы LLM. Разбираю с новой точки зрения
06.05.2026 19:07:12 | Хабр

Смотреть все

НОВОСТИ

ВС России поразили сухогрузы с военной техникой в порту Николаев и в Чёрном море
08.08.2026 17:38:54 | Life.ru

Турция начала работу по шести критериям для безвиза с ЕС
08.08.2026 17:37:02 | Life.ru

Глава Генштаба Британии назвал жуткой систему E-bal для операторов дронов ВСУ
08.08.2026 17:35:41 | Life.ru

Армия России нанесла удар по складам с аппаратурой связи и РЭБ в порту Одессы
08.08.2026 17:34:51 | Life.ru

Врач опровергла главный миф о семечках
08.08.2026 17:31:09 | Lenta.ru

Тревел-блогерша составила топ самых распространенных фраз россиян на отдыхе в Турции
08.08.2026 17:30:20 | Lenta.ru

В Финляндии утверждён обязательный экзамен для всех претендентов на гражданство
08.08.2026 17:29:27 | Life.ru

Российский диджей пропал после проблем с документами в Таиланде
08.08.2026 17:27:56 | Lenta.ru

ВС РФ поразили сухогрузы с военной техникой в порту Николаев и в акватории Черного моря
08.08.2026 17:27:43 | ТАСС

У берегов Сицилии нашли римское судно с богатым грузом
08.08.2026 17:26:57 | Lenta.ru

ВС РФ поразили военные склады с аппаратурой связи и средствами РЭБ в порту Одесса
08.08.2026 17:26:29 | ТАСС

Европа, ау! Зеленский снова трясёт Германию и Польшу на ракеты для Patriot
08.08.2026 17:26:13 | Life.ru

Дочь прокурора с душой зверя: как «Мама» заливала Москву кровью ради денег
08.08.2026 17:25:39 | Life.ru

Ночной удар по предприятию Fire Point ослабил украинский ВПК
08.08.2026 17:25:00 | Lenta.ru

В Херсонской области мужчина подорвался на мине
08.08.2026 17:24:59 | ТАСС

Фермеры Франции оценили ущерб от жары в несколько миллиардов евро
08.08.2026 17:23:45 | ТАСС

Эксперт Шпиг заявил об угрозе дефицита воды Украине
08.08.2026 17:22:55 | ТАСС

В трех точках Энгельса превышены нормы загрязняющих веществ в воздухе
08.08.2026 17:22:40 | ТАСС

В Донецке при атаке БПЛА ВСУ пострадала женщина
08.08.2026 17:20:48 | ТАСС

Ирина Безрукова пропустит минимум 15 спектаклей из-за перелома ноги
08.08.2026 17:20:31 | Life.ru

Дегтярев назвал Спартакиаду ключевым российским соревнованием
08.08.2026 17:20:20 | ТАСС

«В диапазоне недели»: Кушнер и Уиткофф готовятся к визиту в Россию и на Украину
08.08.2026 17:18:23 | Life.ru

Пашинян и Трамп считают, что Вашингтонский саммит привел к миру Еревана и Баку
08.08.2026 17:18:06 | ТАСС

В Мытищах к осени завершат второй этап благоустройства набережной Яузы
08.08.2026 17:18:03 | ТАСС

В Белграде прошёл митинг против визита Зеленского с флагами России и Сербии
08.08.2026 17:17:11 | Life.ru

Российские беспилотники поразили суда обслуживавщей гитлеровскую Германию компании
08.08.2026 17:16:01 | Lenta.ru

Российские беспилотники поразили суда обслуживавшей гитлеровскую Германию компании
08.08.2026 17:16:00 | Lenta.ru

Уральца арестовали по делу о финансировании террористической организации
08.08.2026 17:14:39 | ТАСС

Baza: В Таиланде пропал известный диджей из России
08.08.2026 17:14:00 | Российская Газета

Овечкин заявил, что после завершения карьеры вернётся жить в Москву
08.08.2026 17:13:08 | Life.ru

Во Внуково отменили несколько рейсов в Шарм-эш-Шейх
08.08.2026 17:12:00 | Российская Газета

Американцев в РФ предупредили о запрете снимать видео последствий атак БПЛА
08.08.2026 17:11:39 | ТАСС

В Геленджике пляжи возобновили работу после временного закрытия
08.08.2026 17:11:06 | ТАСС

Румынские радары не зарегистрировали летевший в сторону Болгарии БПЛА
08.08.2026 17:08:32 | ТАСС

NY Post: визит Нетаньяху в Нью-Йорк станет кошмаром для полиции
08.08.2026 17:08:15 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro