Основы парсинга сайтов: от HTML до готового датасета для NLP

07.05.2026 06:51:00 | Хабр

Хабы: Блог компании OTUS, Машинное обучение, Python, Natural Language Processing

Даже сильная NLP‑модель быстро упирается в банальную проблему: ей нужны данные, причём не абстрактные «готовые датасеты», а тексты под конкретную задачу, домен и гипотезу.

В статье разберём базовый путь от HTML‑страницы до пригодного корпуса: как получать данные через HTTP‑запросы, доставать нужные элементы с помощью BeautifulSoup, работать с CSS‑селекторами, подключать Playwright для динамических сайтов и очищать сырой веб‑текст так, чтобы его уже можно было использовать в NLP‑пайплайне.

Подробнее

Читайте также

LEGO Education 2026: Новые наборы? Новая электроника? Новая образовательная парадигма
07.05.2026 06:43:57 | Хабр

Самая криминальная команда в ИИ: кто стоит за Perplexity. Досье SpeShu.AI
07.05.2026 06:37:58 | Хабр

Техническая архитектура систем сбора, обработки и передачи биометрических ПДн
07.05.2026 06:31:34 | Хабр

[Перевод] 7. Проектирование с помощью типов: Нестроковые типы
07.05.2026 06:30:50 | Хабр

Пиратство в эпоху VHS: как Universal судилась с Sony и почему последствия этого спора мы ощущаем и в наши дни
07.05.2026 06:12:45 | Хабр

Документальное обеспечение взыскания дебиторской задолженности в арбитражном суде: требования 2024–2026 годов
07.05.2026 06:00:42 | Хабр

Невидимый syntax error в PostgreSQL: как одна строка SQL съела полтора дня дебага
07.05.2026 05:53:08 | Хабр

Двусторонний монтаж печатных плат
07.05.2026 05:42:47 | Хабр

Оземпик: что изменилось в 2026 и почему таблетки не отменяют систему
07.05.2026 02:59:22 | Хабр

В России создали эталон порошка для 3D-печати
06.05.2026 23:58:51 | ferra.ru

Я пошутил, что разработчики больше не нужны — и мне поверили. Давайте теперь серьезно
06.05.2026 23:40:36 | Хабр

В России разработали ИИ для генерации музыки и аудио
06.05.2026 23:34:19 | ferra.ru

В НГУ создали программу для анализа углеродных материалов
06.05.2026 23:32:17 | ferra.ru

Новгородский инженер создал простую формулу расчета осадки свай
06.05.2026 22:57:45 | ferra.ru

Ученые ПНИПУ создали программу для проектирования реакторов метанола
06.05.2026 22:46:57 | ferra.ru

Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем
06.05.2026 22:43:41 | Хабр

Правильная агентская архитектура в 2026 г. Часть 2. Durable state: approvals, session context и background jobs
06.05.2026 22:20:12 | Хабр

[Перевод] Как ИИ потерял доверие общества в США
06.05.2026 22:14:05 | Хабр

Huawei показала тизер ультратонкого планшета MatePad Pro Max
06.05.2026 22:09:38 | ferra.ru

На Дальнем Востоке создадут систему быстрого обнаружения пожаров
06.05.2026 22:08:18 | ferra.ru

В Сибири обнаружили новый вид древних одноклеточных
06.05.2026 21:18:49 | ferra.ru

Вологодская область перейдет на платформу «МЭШ» с сентября
06.05.2026 21:06:59 | ferra.ru

Передача и прием данных по лазерному лучу (SDR декодирование BPSK в реальном времени)
06.05.2026 20:48:12 | Хабр

Передача данных по лазерному лучу (BPSK)
06.05.2026 20:48:12 | Хабр

В «Максе» появилась расшифровка видеосообщений
06.05.2026 20:33:56 | ferra.ru

SmileLadder. Цикл «Память и мозг». Как формируется память
06.05.2026 20:32:57 | Хабр

ИИ-компания Anthropic вложит $200 млрд в Google
06.05.2026 20:09:37 | ferra.ru

Пет-проект и персональные данные: как соблюсти минимальные необходимые требования и не попасть на штрафы
06.05.2026 20:07:46 | Хабр

TeachTrack: NestJS + Telegram-бот напоминаний + РКН — как я в одиночку собрал CRM для частных репетиторов
06.05.2026 19:58:10 | Хабр

В России создали собственную референсная последовательность генома
06.05.2026 19:54:48 | ferra.ru

Ledger — прохождение сложной машины от Tryhackme
06.05.2026 19:32:07 | Хабр

Samsung Electronics объявила партнёрам о планах уйти с китайского рынка телевизоров и бытовой техники после 34 лет работы — СМИ
06.05.2026 19:27:52 | vc.ru

Крупные книжные издательства подали в суд на Meta* за «кражу» книг для обучения ИИ
06.05.2026 19:26:51 | ferra.ru

Нейросеть для создания песни ИИ бесплатно: лучшие нейросети для музыки
06.05.2026 19:20:08 | Хабр

Штампы LLM. Разбираю с новой точки зрения
06.05.2026 19:07:12 | Хабр

Смотреть все

НОВОСТИ

В США неожиданно сменили генерала, отвечавшего за помощь Киеву
08.08.2026 03:49:00 | Life.ru

В Сербии 100 общественных деятелей выступили против визита Зеленского
08.08.2026 03:39:00 | Life.ru

Сальдо рассказал, на чем держится украинская система власти
08.08.2026 03:36:29 | ТАСС

Юрист назвала способ распознать плохой товар в магазине за 30 секунд
08.08.2026 03:36:00 | Lenta.ru

Украина попросила Илона Маска разрешить использование Starlink для ударов вглубь России. Что он ответил?
08.08.2026 03:34:19 | Lenta.ru

NYT узнала о поиске США кандидата на пост главы Кубы по венесуэльскому сценарию
08.08.2026 03:32:40 | ТАСС

NYT узнала, что США ищут способы сменить руководство Кубы по сценарию Венесуэлы
08.08.2026 03:32:40 | ТАСС

В ЛДПР предложили выделять детям участников СВО дополнительные места в вузах
08.08.2026 03:26:50 | ТАСС

Онколог Олькин напомнил о бесплатной химиотерапии по ОМС
08.08.2026 03:25:25 | ТАСС

Российского теннисиста Карловского дисквалифицировали на три года из-за допинга
08.08.2026 03:24:19 | Life.ru

Пентагон снял с должности генерала, отвечавшего за военную помощь Украине
08.08.2026 03:21:00 | Российская Газета

Пентагон снял с должности генерала Костанзу, отвечавшего за военную помощь Киеву
08.08.2026 03:21:00 | Российская Газета

В словах президента Польши увидели скрытую насмешку над Украиной
08.08.2026 03:20:47 | Lenta.ru

Диетолог Гречинская посоветовала, какие продукты лучше есть в жару
08.08.2026 03:19:26 | ТАСС

Моряки нашли храпящего морского льва в каюте своего судна
08.08.2026 03:17:58 | Life.ru

Аэропорты Казани и Чебоксар приостановили прием и выпуск рейсов
08.08.2026 03:17:36 | ТАСС

Сын Усольцевой рассчитывает, что его пропавшие в тайге родные живы
08.08.2026 03:13:30 | ТАСС

Дефицит бюджета Украины в 2026 году составит рекордные 35% ВВП
08.08.2026 03:12:01 | ТАСС

У Сахалина из-за разлива ГСМ загрязнено почти 60 тыс. кв. м акватории
08.08.2026 03:07:26 | ТАСС

У Сахалина из-за разлива ГСМ загрязнено почти 60 тыс. кв. м
08.08.2026 03:07:26 | ТАСС

Марочко сообщил о зачистке ВС РФ местности у Иволжанского
08.08.2026 03:05:11 | ТАСС

Ноги моей там не будет: Главные грибковые места в отпуске, которые лучше обходить стороной
08.08.2026 03:05:00 | Life.ru

Мирошник: Киев и Запад "ушли на каникулы" по теме якобы похищенных РФ детей
08.08.2026 03:00:48 | ТАСС

В Сахалинской области произошло землетрясение магнитудой 5,3
08.08.2026 03:00:25 | ТАСС

В Сахалинской области зафиксировали землетрясение магнитудой 5,3
08.08.2026 03:00:25 | ТАСС

В США произошло крушение пожарного вертолета с двумя членами экипажа
08.08.2026 02:58:13 | РБК

Скандал в УЕФА: Любовнице Инфантино выплатили шестизначную сумму
08.08.2026 02:56:00 | Life.ru

Экс-министра ВВС США лишили доступа к секретным данным
08.08.2026 02:45:13 | ТАСС

Фёдоров выдвинул Зеленскому ультиматум из-за поста министра обороны Украины
08.08.2026 02:43:28 | Life.ru

В Подмосковье и семи областях объявили ракетную опасность
08.08.2026 02:35:00 | Lenta.ru

Хуснуллин сообщил о значительном улучшении ситуации на трассе "Новороссия"
08.08.2026 02:30:53 | ТАСС

В Германии призвали ЕС и НАТО отреагировать на инцидент с БПЛА в Лейпциге
08.08.2026 02:29:30 | Lenta.ru

В Германии призвали ЕС и НАТО отреагировать на инцидент с дроном в аэропорту
08.08.2026 02:29:00 | Lenta.ru

США заявили о перенаправлении 51 коммерческого судна в рамках блокады Ирана
08.08.2026 02:28:00 | Life.ru

Временные ограничения ввели в аэропорту Краснодара
08.08.2026 02:26:01 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro