LiveInternet

Два месяца в формате рабочей команды: собираешь реальные data pipelines, работаешь с современным стеком и готовишься к выходу на рынок.

Соберёшь пайплайн от API до ClickHouse — загрузишь данные из API в S3, обработаешь их в Spark и настроишь регулярный запуск через Airflow. Проверишь логи, количество строк, корректность загрузки и отсутствие дубликатов.
Превратишь сырые данные в витрину — возьмёшь результаты опроса, уберёшь дубликаты, приведёшь даты и никнеймы к нужному формату, загрузишь витрину в ClickHouse и настроишь ежедневное обновление в 10:00.
Построишь хранилище на dbt — создашь слои исходных данных, обработки и витрин в Greenplum, свяжешь их моделями dbt и настроишь сборку через Airflow.
Настроишь проверки качества данных — добавишь проверки на пропуски, дубликаты, типы данных и корректность бизнес-логики, чтобы находить ошибки до того, как данные попадут в отчёты.

Урок 1. Онбординг (01:37:14)
Урок 2. Настройка VSCode и работа с ИИ (01:21:34)
Урок 3. Python API (01:22:06)
Урок 4. Дейлик, 6 сентября (00:31:46)
Урок 5. Дейлик, 13 сентября (00:38:15)
Урок 6. DWH, слои и нормализация (01:36:32)
Урок 7. Дейлик, 20 сентября (00:32:08)
Урок 8. Пайплайн API > S3 > Spark > ClickHouse (02:15:48)
Урок 9. Дейлик, 27 сентября (00:38:53)
Урок 10. Мок-собес, Евгений (01:13:24)
Урок 11. S3-CH, S3-GP, GP-CH (01:33:29)
Урок 12. Iceberg (01:41:20)
Урок 13. Дейлик, 4 октября (00:28:44)
Урок 14. S3. Форматы хранения данных (01:36:58)
Урок 15. Hadoop HDFS (01:02:45)
Урок 16. Дейлик, 11 октября (00:28:13)
Урок 17. Trino (02:03:37)
Урок 18. Пайплайн Trino > ClickHouse (02:51:27)
Урок 19. Архитектура компаний и разбор вакансий (01:34:04)
Урок 20. Составление резюме (02:14:27)
Урок 21. Мок-собес, Владимир Багров (00:59:28)
Урок 22. Мок-собес, Дмитрий Зацев (01:08:58)
Урок 23. Мок-собес, Илья Ерохин (01:09:20)
Урок 24. Мок-собес, Сергей Кириллов (01:08:35)
Урок 25. Мок-собес, Константин Мальцев (00:59:09)
Урок 26. Мок-собес, Тамерлан (00:44:43)
Урок 27. (продолжение материалов)
Урок 28. (продолжение материалов)
Урок 29. (продолжение материалов)
Урок 30. (продолжение материалов)
Урок 31. (продолжение материалов)

Информация о видео
Название: Практический BootCamp для Data Engineer
Автор: Евгений Виндюков, Владимир Шустиков
Год выхода: 2026
Жанр: Видеокурс
Язык: Русский
Выпущено: Россия
Продолжительность: 42:33:11

Файл
Формат: MP4
Видео: AVC, 1920x1080, ~550 Kbps
Аудио: AAC, 128 Kbps, 48.0 KHz
Размер файла: 5.99 Gb