Основы парсинга сайтов: от HTML до готового датасета для NLP

07.05.2026 06:51:00 | Хабр

Хабы: Блог компании OTUS, Машинное обучение, Python, Natural Language Processing

Даже сильная NLP‑модель быстро упирается в банальную проблему: ей нужны данные, причём не абстрактные «готовые датасеты», а тексты под конкретную задачу, домен и гипотезу.

В статье разберём базовый путь от HTML‑страницы до пригодного корпуса: как получать данные через HTTP‑запросы, доставать нужные элементы с помощью BeautifulSoup, работать с CSS‑селекторами, подключать Playwright для динамических сайтов и очищать сырой веб‑текст так, чтобы его уже можно было использовать в NLP‑пайплайне.

Подробнее

Читайте также

LEGO Education 2026: Новые наборы? Новая электроника? Новая образовательная парадигма
07.05.2026 06:43:57 | Хабр

Самая криминальная команда в ИИ: кто стоит за Perplexity. Досье SpeShu.AI
07.05.2026 06:37:58 | Хабр

Техническая архитектура систем сбора, обработки и передачи биометрических ПДн
07.05.2026 06:31:34 | Хабр

[Перевод] 7. Проектирование с помощью типов: Нестроковые типы
07.05.2026 06:30:50 | Хабр

Пиратство в эпоху VHS: как Universal судилась с Sony и почему последствия этого спора мы ощущаем и в наши дни
07.05.2026 06:12:45 | Хабр

Документальное обеспечение взыскания дебиторской задолженности в арбитражном суде: требования 2024–2026 годов
07.05.2026 06:00:42 | Хабр

Невидимый syntax error в PostgreSQL: как одна строка SQL съела полтора дня дебага
07.05.2026 05:53:08 | Хабр

Двусторонний монтаж печатных плат
07.05.2026 05:42:47 | Хабр

Оземпик: что изменилось в 2026 и почему таблетки не отменяют систему
07.05.2026 02:59:22 | Хабр

В России создали эталон порошка для 3D-печати
06.05.2026 23:58:51 | ferra.ru

Я пошутил, что разработчики больше не нужны — и мне поверили. Давайте теперь серьезно
06.05.2026 23:40:36 | Хабр

В России разработали ИИ для генерации музыки и аудио
06.05.2026 23:34:19 | ferra.ru

В НГУ создали программу для анализа углеродных материалов
06.05.2026 23:32:17 | ferra.ru

Новгородский инженер создал простую формулу расчета осадки свай
06.05.2026 22:57:45 | ferra.ru

Ученые ПНИПУ создали программу для проектирования реакторов метанола
06.05.2026 22:46:57 | ferra.ru

Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем
06.05.2026 22:43:41 | Хабр

Правильная агентская архитектура в 2026 г. Часть 2. Durable state: approvals, session context и background jobs
06.05.2026 22:20:12 | Хабр

[Перевод] Как ИИ потерял доверие общества в США
06.05.2026 22:14:05 | Хабр

Huawei показала тизер ультратонкого планшета MatePad Pro Max
06.05.2026 22:09:38 | ferra.ru

На Дальнем Востоке создадут систему быстрого обнаружения пожаров
06.05.2026 22:08:18 | ferra.ru

В Сибири обнаружили новый вид древних одноклеточных
06.05.2026 21:18:49 | ferra.ru

Вологодская область перейдет на платформу «МЭШ» с сентября
06.05.2026 21:06:59 | ferra.ru

Передача и прием данных по лазерному лучу (SDR декодирование BPSK в реальном времени)
06.05.2026 20:48:12 | Хабр

Передача данных по лазерному лучу (BPSK)
06.05.2026 20:48:12 | Хабр

В «Максе» появилась расшифровка видеосообщений
06.05.2026 20:33:56 | ferra.ru

SmileLadder. Цикл «Память и мозг». Как формируется память
06.05.2026 20:32:57 | Хабр

ИИ-компания Anthropic вложит $200 млрд в Google
06.05.2026 20:09:37 | ferra.ru

Пет-проект и персональные данные: как соблюсти минимальные необходимые требования и не попасть на штрафы
06.05.2026 20:07:46 | Хабр

TeachTrack: NestJS + Telegram-бот напоминаний + РКН — как я в одиночку собрал CRM для частных репетиторов
06.05.2026 19:58:10 | Хабр

В России создали собственную референсная последовательность генома
06.05.2026 19:54:48 | ferra.ru

Ledger — прохождение сложной машины от Tryhackme
06.05.2026 19:32:07 | Хабр

Samsung Electronics объявила партнёрам о планах уйти с китайского рынка телевизоров и бытовой техники после 34 лет работы — СМИ
06.05.2026 19:27:52 | vc.ru

Крупные книжные издательства подали в суд на Meta* за «кражу» книг для обучения ИИ
06.05.2026 19:26:51 | ferra.ru

Нейросеть для создания песни ИИ бесплатно: лучшие нейросети для музыки
06.05.2026 19:20:08 | Хабр

Штампы LLM. Разбираю с новой точки зрения
06.05.2026 19:07:12 | Хабр

Смотреть все

НОВОСТИ

Трамп заявил о полной и абсолютной катастрофе в Голливуде
01.09.2026 03:51:00 | Российская Газета

МЧС: Число погибших на Эльбрусе в 2026 году выросло вдвое
01.09.2026 03:46:26 | Life.ru

Британия пошла на новые меры против России
01.09.2026 03:46:00 | Lenta.ru

«Что-нибудь получится». Трамп ответил на критику из-за визита главы Минфина России Силуанова в США. Что он сказал?
01.09.2026 03:45:07 | Lenta.ru

Вэнс заявил об одной способности США
01.09.2026 03:42:03 | Lenta.ru

Названа самая укрепившаяся валюта в августе
01.09.2026 03:40:32 | Lenta.ru

Боуз: Зеленский сделал для Украины то, чего хотел для России
01.09.2026 03:39:00 | Life.ru

Соскин посоветовал Зеленскому вместо эскалации поехать на переговоры в Москву
01.09.2026 03:35:00 | Российская Газета

К Зеленскому обратились с резким призывом после ударов по России
01.09.2026 03:34:48 | Lenta.ru

Силы ПВО сбили 12 летевших на Москву БПЛА ночью 1 сентября
01.09.2026 03:31:04 | Life.ru

Мужчина заклеил пенис суперклеем
01.09.2026 03:30:40 | Lenta.ru

Россиянин описал жизнь иммигрантов в США фразой «впадают в депрессию»
01.09.2026 03:30:27 | Lenta.ru

Раскрыто количество атак дронов на загранучреждения России в Швеции
01.09.2026 03:28:52 | Lenta.ru

Американский певец Лайонел Ричи попал в реанимацию после концерта
01.09.2026 03:25:32 | Life.ru

На подлете к Москве сбили 12 БПЛА
01.09.2026 03:23:56 | Коммерсантъ

В МИД заявили о наигранном возмущении Зеленского размещением складов ВСУ в домах
01.09.2026 03:22:00 | Российская Газета

В МИД разоблачили Зеленского
01.09.2026 03:19:38 | Lenta.ru

В МИД России разоблачили Зеленского
01.09.2026 03:19:00 | Lenta.ru

Четыре министерства поддержали онлайн-продажу вина через Почту России
01.09.2026 03:15:00 | Life.ru

Первые участники прибыли на Восточный экономический форум
01.09.2026 03:10:41 | Lenta.ru

Как правильно молиться за хворающих питомцев и не согрешить: инструкция для россиян
01.09.2026 03:05:00 | Life.ru

Женщинам рассказали о разрушительных последствиях секса из жалости
01.09.2026 03:02:53 | Lenta.ru

Международная канатная дорога между Россией и Китаем готовится к пуску
01.09.2026 03:00:00 | Российская Газета

В США полицейские случайно встретили разыскиваемого преступника во время обеда
01.09.2026 02:58:00 | Life.ru

Путин поздравил учеников и преподавателей с 1 сентября
01.09.2026 02:55:27 | РБК

Появились детали массированного удара по Киеву
01.09.2026 02:54:41 | Lenta.ru

В Китае раскрыли редкий случай шпионажа на две страны
01.09.2026 02:53:02 | РБК

Полиция застрелила убившую прохожего женщину с ножами в центре Нью-Йорка
01.09.2026 02:51:12 | Life.ru

Полиция застрелила ранившую прохожего женщину с ножами в центре Нью-Йорка
01.09.2026 02:51:12 | Life.ru

В России запустили эксперимент по продаже лекарств в передвижных аптеках
01.09.2026 02:46:10 | РБК

Взрывы начались в Киеве, на столицу Украины идет атака ракет и "Гераней"
01.09.2026 02:46:00 | Российская Газета

В Пулково и ещё 11 аэропортах России ограничили полёты
01.09.2026 02:42:14 | Life.ru

В Киеве раздалась серия взрывов
01.09.2026 02:40:09 | Lenta.ru

Кровавая разборка в Германии: Семейные кланы устроили бойню с оружием и ранеными
01.09.2026 02:37:00 | Life.ru

Порыв нежности обернулся для молодого человека ощущением «жалящих его за пенис муравьев»
01.09.2026 02:30:56 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro