Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Особенности Schema Evolution в Hadoop: как сделать alter table

20.02.2026 06:00:32 | Хабр

Хабы: Блог компании ИТ-холдинг Т1, IT-инфраструктура, Hadoop, Хранение данных

Привет, Хабр! Меня зовут Ольга Косарева, я инженер данных команды «Прогнозирование финансового результата» Центра разработки решений ALM в ИТ‑холдинге Т1, мы занимаемся созданием современной ALM‑системы (подробнее тут ).

Полтора года назад я пришла в команду и получила задачу дописать и внедрить инструмент для DDL‑операций над данными в экосистеме Hadoop. Моя первая реакция была: «А зачем так сложно? Какой инструмент? Почему нельзя просто выполнить команду ALTER TABLE через Hive?»

В этой статье мы с коллегами Никитой Королёвым и Алексеем Пожар расскажем, в каких случаях целесообразно именно так и сделать, а в каких это приведёт к различным проблемам с данными, что такое Schema Evolution и как мы решаем задачу периодического изменения структур таблиц с нашими отчётами.

Читать далее

Подробнее

Читайте также

[Перевод] Андрей Карпаты только что создал полноценный GPT на 243 строках Python
20.02.2026 05:56:38 | Хабр

System Design для QA: о чём вас спросят на собеседовании
20.02.2026 05:22:06 | Хабр

Почему IT-проекты жирные (опять)
20.02.2026 05:17:27 | Хабр

Prompt injection для смелых духом: от zero-click атаки на 1.4B устройств до философского джейлбрейка
20.02.2026 05:16:26 | Хабр

Рассуждения о страхах перед ИИ и какие причины могут лежать в их основе
20.02.2026 05:10:09 | Хабр

Технический разбор Greenwich: когда «полезное» расширение начинает видеть слишком много
20.02.2026 05:07:36 | Хабр

От гаданий к математике: Как PG_EXPECTO v.7 и DeepSeek превращают DBA-анализ из искусства в науку
20.02.2026 05:06:28 | Хабр

Как можно упростить исправление конфликтов в «git rebase»
20.02.2026 04:23:19 | Хабр

RAG Testing: как не сломать retrieval
20.02.2026 04:15:08 | Хабр

Доктор Джао
20.02.2026 04:06:56 | Хабр

Параллельная обработка Kafka сообщений с гарантией at-least-once в условиях медленного внешнего сервиса
20.02.2026 04:04:05 | Хабр

Лимит доверия: как ИИ решает, сколько денег вам можно дать (и почему это часто несправедливо)
20.02.2026 02:13:47 | Хабр

Строковые константы в MS SQL
19.02.2026 23:43:13 | Хабр

Концепт «Больцмановский Мозг» на квантово— волновой логике (QWL). Нейросеть. Численное моделирование
19.02.2026 23:12:34 | Хабр

Что жужжит над головой, куда исчезнут МФО и идеальный пинг Дмитрия Пескова
19.02.2026 22:45:18 | it-world

ИП и ООО за границей — налоги в РФ
19.02.2026 21:53:18 | Хабр

ИИ Google научился создавать музыку по текстовому описанию, но лишь на 30 секунд
19.02.2026 21:39:44 | ferra.ru

В Китае при поддержке правительства развивают конкурента Neuralink: компания NeuroXess провела 50 операций по имплантации нейроинтерфейсов
19.02.2026 21:38:58 | vc.ru

Пользователи рассказали, что Mail вводит плату за использование сторонних почтовых клиентов — в компании говорят, что это «эксперимент», который затронул менее 1%
19.02.2026 21:33:58 | vc.ru

Правительство отправляет дроны на замену инспекторам
19.02.2026 20:41:09 | it-world

Как скринридер «видит» сайт: DOM, accessibility tree и API простыми словами
19.02.2026 20:25:51 | Хабр

Распознавание изображений локальными LLM
19.02.2026 20:25:37 | Хабр

Kawai-Focus 2.3: логика приложения на TypeScript
19.02.2026 20:10:17 | Хабр

Научитесь слушать не жопой
19.02.2026 20:04:52 | Хабр

Без руля и педалей: Tesla собрала первый экземпляр Cybercab
19.02.2026 19:39:47 | ferra.ru

Охота за красным fps
19.02.2026 19:10:00 | Хабр

ФНС подала заявление о банкротстве майнинговой компании Bitriver
19.02.2026 19:03:34 | vc.ru

HackTheBox. Прохождение CrimeStoppers. Уровень — Сложный
19.02.2026 18:51:12 | Хабр

Очень большой аккумулятор в очень тонком смартфоне: Infinix Note Edge и его 6500 мАч
19.02.2026 18:38:04 | ferra.ru

Запуск модели gpt-oss на 20 и 120 миллиардов параметров, на процессоре Core I9 для решения непростой задачи без GPU
19.02.2026 18:36:28 | Хабр

Производитель Volga начнёт выпускать машины во втором квартале 2026 года, продавать — в третьем
19.02.2026 18:28:00 | vc.ru

[Перевод] Дрейф данных в машинном обучении
19.02.2026 17:49:24 | Хабр

Невышедший складной смартфон Honor Magic V6 заметили у олимпийской чемпионки
19.02.2026 17:39:45 | ferra.ru

Гайд-лонгрид: Как правильно читать User-Agent
19.02.2026 17:36:04 | Хабр

Объем тендеров на продукты с искусственным интеллектом достиг рекордных значений
19.02.2026 17:29:30 | it-world

Смотреть все

НОВОСТИ

Врач Нестеров назвал ошибки при оказании первой помощи при тепловом ударе
13.06.2026 07:09:15 | ТАСС

Движение автомобилей по Крымскому мосту временно перекрыто
13.06.2026 07:08:39 | Life.ru

ТАСС: выведенный из-под Константиновки батальон ВСУ несет потери у Чернигова
13.06.2026 07:07:56 | ТАСС

Мэтт Ривз объявил о старте съёмок "Бэтмена 2" - премьера 1 октября 2027 года
13.06.2026 07:07:47 | PlayGround.ru

МВД: "синдром пионера" помогает мошенникам вовлекать подростков в преступления
13.06.2026 07:07:27 | ТАСС

Боец Песок: группировка "Север" уничтожила САУ "Богдана" ВСУ в Сумской области
13.06.2026 07:04:37 | ТАСС

Посол Гармонин заявил об исчезновении посылок россиян по пути из Европы в Россию
13.06.2026 07:02:57 | ТАСС

"Ак Барс" надеется на расширение по Волге проекта межрегиональных перевозок
13.06.2026 07:01:18 | ТАСС

Расчеты "Торнадо-Г" "Севера" уничтожили 10 пунктов управления БПЛА ВСУ под Харьковом
13.06.2026 07:01:17 | ТАСС

Онищенко: нутрициологию необходимо контролировать, чтобы "не потерять" профессию
13.06.2026 07:00:44 | ТАСС

Потери американского бизнеса от ухода из России подсчитали
13.06.2026 07:00:07 | Lenta.ru

Шлейка-жилет и никакой рулетки: Как безопасно приучить кошку к прогулкам на улице
13.06.2026 07:00:00 | Life.ru

Один погиб и трое пострадали при атаке ВСУ на морской терминал в Темрюке
13.06.2026 06:58:08 | Life.ru

На Западе заявили об отчаянии Каллас
13.06.2026 06:58:00 | Lenta.ru

Reuters раскрыл содержание проекта мирной сделки США и Ирана
13.06.2026 06:51:40 | РБК

Как простой сварщик SpaceX стал миллионером: реальная история Хуана Эрнандеса из Мексики
13.06.2026 06:50:00 | iXBT.com

«Можно закончить в этом году». Лукашенко заявил, что положить конец конфликтам на Украине и в Иране должны несколько человек
13.06.2026 06:48:41 | Lenta.ru

Нищенские зарплаты, мобилизация и коррупция: Что скрывает Зеленский за пиаром
13.06.2026 06:47:54 | Life.ru

Сборная США одержала разгромную победу на ЧМ по футболу впервые за 96 лет
13.06.2026 06:46:26 | ТАСС

Один человек погиб при ночной атаке дронов на Кубань
13.06.2026 06:46:12 | РБК

Ученые назвали скрытую причину старения клеток
13.06.2026 06:46:00 | Lenta.ru

Россиян предупредили о фиктивной семейной выплате от мошенников
13.06.2026 06:45:06 | Lenta.ru

Один человек погиб при атаке БПЛА на морской терминал в Краснодарском крае
13.06.2026 06:44:55 | Коммерсантъ

LSM: умер сыгравший в "Семнадцати мгновениях весны" актер Буткевич
13.06.2026 06:44:26 | ТАСС

«Аналог инвестиций в железные дороги во времена промышленной революции»/ SpaceX подорожала до $2,1 трлн, обогнав Broadcom и Tesla, а Илон Маск стал первым в истории триллионером после IPO
13.06.2026 06:43:00 | iXBT.com

Директор парка: у медведицы Майки из Приморья может быть нарушена психика
13.06.2026 06:42:56 | ТАСС

У содержавшейся в клетке медведицы Майки из Приморья может быть нарушена психика
13.06.2026 06:42:56 | ТАСС

Европейская страна заблокировала счет в банке российскому ребенку из-за места рождения
13.06.2026 06:41:00 | Lenta.ru

В Краснодарском крае при атаке БПЛА погиб человек
13.06.2026 06:39:37 | ТАСС

Возгорание началось на морском терминале на Кубани после атаки дронов
13.06.2026 06:38:50 | РБК

Огонь угрожает поселению староверов в лесах Красноярского края
13.06.2026 06:36:34 | ТАСС

Посольство предупредило об участившихся ограблениях россиян в Чили
13.06.2026 06:36:00 | Life.ru

Космонавт Юрчихин назвал дизайнерские костюмы для астронавтов вульгарностью
13.06.2026 06:34:11 | ТАСС

ФНПР поддержала стремление получать первый трудовой опыт еще в школе и вузе
13.06.2026 06:33:13 | ТАСС

Российские компании работают почти во всех секторах экономики Узбекистана
13.06.2026 06:33:12 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro