Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Как мы загрузили историю 287 валютных пар с лимитом 8 запросов в минуту

05.01.2026 15:27:59 | Хабр

Хабы: Python, Data Engineering, Базы данных, Big Data, GitHub

Попробуйте найти исторические курсы для пар вроде «доллар к афгани» или «евро к таджикскому сомони». Данные либо платные, либо их просто нет в виде готового датасета. Мы решили эту проблему в рамках своего проекта, хотя единственный подходящий API диктовал суровые условия: 8 запросов в минуту и 5000 дней за раз.

Получилось! Наш Python-скрипт аккуратно, чанк за чанком, собрал историю всех 287 пар за 4.5 часа, ни разу не превысив лимит. Теперь все эти данные — более миллиона строк — лежат в открытом доступе на GitHub. В статье делюсь техническими деталями, как выстроить такую загрузку, и уроками, которые мы извлекли.

Читать далее

Подробнее

Читайте также

Почему конфликт «бизнес — человек» неизбежен и как его регулировать
05.01.2026 15:17:24 | Хабр

LG представила «беспроводной» OLED-телевизор с толщиной корпуса 9 мм
05.01.2026 15:08:46 | vc.ru

Планшет Honor MagicPad 3 Pro 13.3 возглавил мировой рейтинг AnTuTu
05.01.2026 15:00:23 | ferra.ru

Антипаттерн LLM-приложений: когда модель игнорирует контекст. Часть 2
05.01.2026 14:42:03 | Хабр

River: учим модель по одной строчке данных
05.01.2026 14:17:42 | Хабр

Мы построили 80 домов, зарабатываем 13 млн в год, но вам не советую
05.01.2026 14:14:50 | Хабр

Проблема катастрофического забывания в ИИ
05.01.2026 13:51:35 | it-world

Радары и то как от них прячутся. Часть 1
05.01.2026 13:28:34 | Хабр

Ученые впервые “трансплантировали” поведение ухаживания между видами
05.01.2026 13:26:08 | Хабр

Гайд по офлайн-конверсиям в Яндекс Директ
05.01.2026 13:25:41 | Хабр

Недельный геймдев: #259 — 04 января, 2026
05.01.2026 13:24:59 | Хабр

Цифровые технологии как поле битвы между США и ЕС
05.01.2026 13:21:00 | it-world

LG показала самый тонкий в мире телевизор — всего 9 мм и без проводов
05.01.2026 13:10:39 | ferra.ru

Лучшие практики для бизнеса из профессионального спорта. Часть 4: Жертва становится хищником
05.01.2026 13:09:09 | Хабр

CRTP должен умереть? АйТир Лист идиом и фичей C++: от худших к лучшим
05.01.2026 13:06:27 | Хабр

Что меня беспокоит в агентской разработке: заметки инженера в 2026
05.01.2026 12:59:15 | Хабр

День 1411: продажи новых легковых автомобилей в России снизились в 2025 году на 15% год к году
05.01.2026 12:27:59 | vc.ru

Борьба с пожарами, облысением и дипфейками: главные изобретения 2025 года по версии Time
05.01.2026 12:25:17 | Хабр

Capacitor: от веба к мобильным приложениям. Часть 0. Зачем нужен Capacitor
05.01.2026 12:14:55 | Хабр

Почему «Зелёным» руководителям надо «покраснеть» и «посинеть»
05.01.2026 12:14:32 | Хабр

Звук на 2-х и более устройств в Ubuntu одновременно
05.01.2026 12:14:05 | Хабр

Как заставить китайскую механическую клавиатуру работать в Linux
05.01.2026 12:02:33 | Хабр

Обработчики событий в JavaScript
05.01.2026 12:00:25 | Хабр

ИТ — это не центр затрат. Это центр неоправданных ожиданий
05.01.2026 11:31:43 | Хабр

ПРОГРАММА КОНТРОЛЛЕРА СЕТИ CAN
05.01.2026 11:06:14 | Хабр

Лучшие системы управления проектами и задачами в 2026 году. Полный обзор российских сервисов
05.01.2026 10:51:11 | Хабр

IBM 5150 и разработка под самый первый PC
05.01.2026 10:45:32 | Хабр

[Перевод] Алан Кей об отправке сообщений
05.01.2026 10:31:15 | Хабр

Синдром цифрового некроза. Как изобилие знаний и идей приводит к зависанию автора над чистым листом
05.01.2026 09:10:06 | Хабр

Что будет, когда ИИ-пузырь лопнет
05.01.2026 09:01:12 | Хабр

Похоже, 2026 год останется без новых смартфонов Asus
05.01.2026 09:00:26 | ferra.ru

[Перевод] Agentic AI, токенизация и CBDC: 2025 год как точка сборки новой финансовой системы
05.01.2026 09:00:12 | Хабр

Выгорание от однообразия: синдром долгосрочного проекта
05.01.2026 09:00:10 | Хабр

Как я пытался создать «конструктор налоговых проверок» для повышения эффективности работы ФНС
05.01.2026 08:55:47 | Хабр

Инженеры Google решали задачу год. Claude Code за час показал им направление
05.01.2026 08:42:39 | Хабр

Смотреть все

НОВОСТИ

Борцовский поединок Чимаева и Дэниса завершился пинком и массовой потасовкой
14.06.2026 08:06:02 | Life.ru

В МВД назвали восемь оснований для аннулирования водительских прав
14.06.2026 08:02:32 | ТАСС

Бразилия и Марокко сыграли вничью в матче чемпионата мира
14.06.2026 08:01:59 | Lenta.ru

"Калашников": страны Азии и Африки интересуются скоростной "БК-10" и катером "БК-16"
14.06.2026 08:01:17 | ТАСС

Это решение сделает багажник намного практичнее
14.06.2026 08:00:00 | За рулем

Минобороны сообщило об уничтожении 249 украинских беспилотников за ночь
14.06.2026 07:58:45 | Life.ru

На подлете к Москве сбили 4 БПЛА
14.06.2026 07:57:20 | РБК

Эксперт Дудчак: Варшава из-за ссоры с Киевом может урезать расходы на Украину
14.06.2026 07:56:47 | ТАСС

В аэропорту Костромы ввели временные ограничения на полеты
14.06.2026 07:54:56 | РБК

«Кино направляет, манипулирует»: перипетии судьбы и фильмы Александра Сокурова
14.06.2026 07:54:30 | Ведомости

Силами ПВО сбиты четыре БПЛА, летевших на Москву
14.06.2026 07:52:58 | ТАСС

В России уточнят требования к технической безопасности автомобилей старше 30 лет
14.06.2026 07:51:13 | ТАСС

Связь из космоса — прямо в эпицентр беды: Государственный департамент США и Starlink подписали новый договор
14.06.2026 07:51:00 | iXBT.com

За ночь над территорией России сбиты 249 беспилотников
14.06.2026 07:48:13 | Коммерсантъ

Тезка Барака Обамы подал заявку на участие в президентской гонке США
14.06.2026 07:48:04 | РБК

Никас Сафронов отказался когда-либо писать портрет одного человека
14.06.2026 07:46:51 | Lenta.ru

На "Флоте-2026" показали кровоостанавливающий жгут с зацепом-фиксатором
14.06.2026 07:46:24 | ТАСС

На "Флот-2026" показали кровоостанавливающий жгут с зацепом-фиксатором
14.06.2026 07:46:24 | ТАСС

КНДР заявила, что вопрос о ее денуклеаризации окончательно закрыт
14.06.2026 07:45:46 | ТАСС

Azimut загнали на новый вибростенд — вот как это происходит
14.06.2026 07:45:00 | За рулем

Титов заявил о скором решении вопроса по газопроводу «Сила Сибири – 2»
14.06.2026 07:43:00 | Life.ru

В аэропорту Костромы ввели временные ограничения
14.06.2026 07:38:54 | ТАСС

Ограничения на прием и выпуск воздушных судов введены в аэропорту Костромы
14.06.2026 07:38:54 | ТАСС

Силы ПВО за ночь сбили 249 украинских беспилотников
14.06.2026 07:38:18 | РБК

Командир Якут: дроны "Севера" уничтожили два робототехнических комплекса ВСУ
14.06.2026 07:35:30 | ТАСС

Командир Черепаха: группировка "Север" уничтожила 10 солдат ВСУ под Харьковом
14.06.2026 07:33:45 | ТАСС

Ассоциация гидов Азербайджана назвала самые посещаемые города страны после Баку
14.06.2026 07:33:10 | ТАСС

Габала и Шеки стали самыми посещаемыми городами в Азербайджане после Баку
14.06.2026 07:33:10 | ТАСС

Премьер Латвии Кулбергс заявил секретном решении по украинским дронам
14.06.2026 07:33:00 | Life.ru

«Результат внутриведомственных распрей». Фон дер Ляйен заподозрили в причастности к возможной отставке Каллас
14.06.2026 07:32:53 | Lenta.ru

Над регионами России сбили 249 украинских БПЛА
14.06.2026 07:32:35 | ТАСС

Германия против экс-тренера сборной России. Чего ждать от дня ЧМ-2026
14.06.2026 07:32:08 | РБК

Intel Core 7 150U, 8 ГБ ОЗУ, 128 ГБ SSD, большой набор портов и до 8 мест для накопителей. Представлены NAS Ugreen DXP6800 Ultra и DXP8800 Ultra
14.06.2026 07:32:00 | iXBT.com

«Результат распрей». Фон дер Ляйен заподозрили в причастности к возможной отставке Каллас
14.06.2026 07:32:00 | Lenta.ru

Машину Волка из «Ну, погоди!» выпустили в виде игрушки: как она выглядит?
14.06.2026 07:30:00 | За рулем

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro