Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Как мы загрузили историю 287 валютных пар с лимитом 8 запросов в минуту

05.01.2026 15:27:59 | Хабр

Хабы: Python, Data Engineering, Базы данных, Big Data, GitHub

Попробуйте найти исторические курсы для пар вроде «доллар к афгани» или «евро к таджикскому сомони». Данные либо платные, либо их просто нет в виде готового датасета. Мы решили эту проблему в рамках своего проекта, хотя единственный подходящий API диктовал суровые условия: 8 запросов в минуту и 5000 дней за раз.

Получилось! Наш Python-скрипт аккуратно, чанк за чанком, собрал историю всех 287 пар за 4.5 часа, ни разу не превысив лимит. Теперь все эти данные — более миллиона строк — лежат в открытом доступе на GitHub. В статье делюсь техническими деталями, как выстроить такую загрузку, и уроками, которые мы извлекли.

Читать далее

Подробнее

Читайте также

Почему конфликт «бизнес — человек» неизбежен и как его регулировать
05.01.2026 15:17:24 | Хабр

LG представила «беспроводной» OLED-телевизор с толщиной корпуса 9 мм
05.01.2026 15:08:46 | vc.ru

Планшет Honor MagicPad 3 Pro 13.3 возглавил мировой рейтинг AnTuTu
05.01.2026 15:00:23 | ferra.ru

Антипаттерн LLM-приложений: когда модель игнорирует контекст. Часть 2
05.01.2026 14:42:03 | Хабр

River: учим модель по одной строчке данных
05.01.2026 14:17:42 | Хабр

Мы построили 80 домов, зарабатываем 13 млн в год, но вам не советую
05.01.2026 14:14:50 | Хабр

Проблема катастрофического забывания в ИИ
05.01.2026 13:51:35 | it-world

Радары и то как от них прячутся. Часть 1
05.01.2026 13:28:34 | Хабр

Ученые впервые “трансплантировали” поведение ухаживания между видами
05.01.2026 13:26:08 | Хабр

Гайд по офлайн-конверсиям в Яндекс Директ
05.01.2026 13:25:41 | Хабр

Недельный геймдев: #259 — 04 января, 2026
05.01.2026 13:24:59 | Хабр

Цифровые технологии как поле битвы между США и ЕС
05.01.2026 13:21:00 | it-world

LG показала самый тонкий в мире телевизор — всего 9 мм и без проводов
05.01.2026 13:10:39 | ferra.ru

Лучшие практики для бизнеса из профессионального спорта. Часть 4: Жертва становится хищником
05.01.2026 13:09:09 | Хабр

CRTP должен умереть? АйТир Лист идиом и фичей C++: от худших к лучшим
05.01.2026 13:06:27 | Хабр

Что меня беспокоит в агентской разработке: заметки инженера в 2026
05.01.2026 12:59:15 | Хабр

День 1411: продажи новых легковых автомобилей в России снизились в 2025 году на 15% год к году
05.01.2026 12:27:59 | vc.ru

Борьба с пожарами, облысением и дипфейками: главные изобретения 2025 года по версии Time
05.01.2026 12:25:17 | Хабр

Capacitor: от веба к мобильным приложениям. Часть 0. Зачем нужен Capacitor
05.01.2026 12:14:55 | Хабр

Почему «Зелёным» руководителям надо «покраснеть» и «посинеть»
05.01.2026 12:14:32 | Хабр

Звук на 2-х и более устройств в Ubuntu одновременно
05.01.2026 12:14:05 | Хабр

Как заставить китайскую механическую клавиатуру работать в Linux
05.01.2026 12:02:33 | Хабр

Обработчики событий в JavaScript
05.01.2026 12:00:25 | Хабр

ИТ — это не центр затрат. Это центр неоправданных ожиданий
05.01.2026 11:31:43 | Хабр

ПРОГРАММА КОНТРОЛЛЕРА СЕТИ CAN
05.01.2026 11:06:14 | Хабр

Лучшие системы управления проектами и задачами в 2026 году. Полный обзор российских сервисов
05.01.2026 10:51:11 | Хабр

IBM 5150 и разработка под самый первый PC
05.01.2026 10:45:32 | Хабр

[Перевод] Алан Кей об отправке сообщений
05.01.2026 10:31:15 | Хабр

Синдром цифрового некроза. Как изобилие знаний и идей приводит к зависанию автора над чистым листом
05.01.2026 09:10:06 | Хабр

Что будет, когда ИИ-пузырь лопнет
05.01.2026 09:01:12 | Хабр

Похоже, 2026 год останется без новых смартфонов Asus
05.01.2026 09:00:26 | ferra.ru

[Перевод] Agentic AI, токенизация и CBDC: 2025 год как точка сборки новой финансовой системы
05.01.2026 09:00:12 | Хабр

Выгорание от однообразия: синдром долгосрочного проекта
05.01.2026 09:00:10 | Хабр

Как я пытался создать «конструктор налоговых проверок» для повышения эффективности работы ФНС
05.01.2026 08:55:47 | Хабр

Инженеры Google решали задачу год. Claude Code за час показал им направление
05.01.2026 08:42:39 | Хабр

Смотреть все

НОВОСТИ

Ночной концерт у капота: чем опасна «чуткая» сигнализация
02.05.2026 03:28:42 | За рулем

Пользователи идут в обход // Загрузки VPN-приложений в России выросли в 14 раз
28.04.2026 08:00:00 | Коммерсантъ

В Приморье провели обыски у членов преступного сообщества БИМС
28.04.2026 07:23:24 | ТАСС

Крым обогнал Краснодарский край по развитию отельной инфраструктуры
28.04.2026 07:22:42 | ТАСС

Актер Николас Муавад заявил о желании продолжить работу с режиссерами РФ
28.04.2026 07:21:57 | ТАСС

"Алроса" планирует объединить Удачнинский и Айхальский ГОКи
28.04.2026 07:21:08 | ТАСС

Российский Красный Крест направил Ирану пять тонн гуманитарной помощи
28.04.2026 07:21:04 | ТАСС

Дрон-камикадзе ВСУ атаковал автомобиль в Брянской области, ранен мужчина
28.04.2026 07:19:43 | Life.ru

В Туапсе двоих пострадавших при атаках ВСУ выписали из больницы
28.04.2026 07:18:35 | ТАСС

Альтернативные "Дружбе" поставки нефти из Казахстана в мае планируются через РФ
28.04.2026 07:18:35 | ТАСС

В "Склифе" пересадка рук ведется на базе отделения трансплантации почки
28.04.2026 07:17:17 | ТАСС

«Их отправляют на бойню»: Французский военкор раскрыл шокирующие потери среди наёмников ВСУ
28.04.2026 07:17:00 | Life.ru

"Питтсбург" выиграл второй матч в серии плей-офф НХЛ с "Филадельфией"
28.04.2026 07:16:18 | ТАСС

В США нашли лучший вариант действий в войне с Ираном
28.04.2026 07:15:49 | Lenta.ru

Внешность 24-летнего охранника переполошила россиянок
28.04.2026 07:15:17 | Lenta.ru

Макрона назвали позором Франции
28.04.2026 07:14:40 | Lenta.ru

В Сумской области Украины произошли взрывы
28.04.2026 07:13:37 | ТАСС

НКО Донбасса и Новороссии стали активно подавать проекты на гранты
28.04.2026 07:12:08 | ТАСС

Дептранс предупредил о локальных ограничениях движения в Москве 28 апреля
28.04.2026 07:11:10 | ТАСС

Скрытый финал. ПСЖ с Сафоновым сыграет с "Баварией" в Лиге чемпионов
28.04.2026 07:10:15 | ТАСС

Боец Дрост рассказал, как ВС РФ сбивают немецкие дроны Vector за 200 тысяч евро
28.04.2026 07:09:00 | Российская Газета

Казахстан перенаправит 260 тыс. тонн нефти из-за невозможности прокачки по "Дружбе"
28.04.2026 07:08:22 | ТАСС

Запрет на публикацию данных об ударах БПЛА ввели в 64 регионах России
28.04.2026 07:07:45 | ТАСС

WSJ: США могут лишиться бюджетных иномарок без соглашения с Канадой и Мексикой
28.04.2026 07:07:12 | ТАСС

Военкор Брайар оценил безвозвратные потери наемников ВСУ в пять тысяч человек
28.04.2026 07:07:00 | Российская Газета

Юрист Минов: можно не давать паспорт для ксерокопии при заселении в гостиницу
28.04.2026 07:05:49 | ТАСС

Адвокат Минов: можно не давать паспорт для ксерокопии при заселении в гостиницу
28.04.2026 07:05:49 | ТАСС

Мирошник: более 92 тыс. жителей Херсонщины остались без света от удара ВСУ
28.04.2026 07:04:39 | ТАСС

ТАСС: ВСУ минируют детские игрушки в селе Землянки
28.04.2026 07:04:22 | ТАСС

ТАСС: ВСУ минируют детские игрушки в селе Землянки, покидая позиции
28.04.2026 07:04:22 | ТАСС

Кандидат в президенты Колумбии сообщила о подготовке покушения на нее
28.04.2026 07:03:50 | ТАСС

Мирошник: Севастополь подвергся одной из самых масштабных в РФ атак БПЛА
28.04.2026 07:03:40 | ТАСС

Командир МКС показал подлетающий к станции "Прогресс МС-34"
28.04.2026 07:02:41 | ТАСС

Командир МКС показал подлетающий к станции "Прогресс МС-34" с расстояния 200 м
28.04.2026 07:02:41 | ТАСС

Мирошник: 24 жителя России погибли на неделе от ударов ВСУ
28.04.2026 07:02:29 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro