Проектирование и внедрение платформы данных - DAMA DMBOK на практике
| Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
|---|---|---|---|---|
| DAMA | 02 сентября 2025 |
48 000 руб. | 22 ак.часов | Дистанционный |
Цель курса:
Аудитория:
Предварительный уровень подготовки:
Опыт работы менеджером или аналитиком в ИТ-проектах
Формат занятий
Командная работа в малых группах (3-4 человека). Даже в онлайн с вами работает живой преподаватель в режиме интерактивного семинара. Каждая тема подкрепляется практическим примером, индивидуальными и групповыми заданиями и самостоятельной работой с последующей проверкой и обратной связью от преподавателя. Обучение построено на реальных примерах (case studies).
Результат обучения
Вы приобретете базовые знания об архитектуре и принципах работы современных платформ данных, познакомитесь с популярными технологиями для автоматизации процессов управления данными, а также получите навыки проектирования и решения типовых инженерных задач. После курса вы сможете:
- провести предпроектное обследование перед проектированием и внедрением платформы данных
- разработать требования к платформе данных
- выполнить эскизное проектирование архитектуры платформы данных
- сформулировать критерии выбора технологий для реализации платформы данных
- определить пути развития своей платформы данных с учетом современных трендов
- сформировать команду для внедрения платформы данных и цифровой трансформации
Программа курса
- Что такое платформа данных и зачем она нужна: цели, задачи, польза для бизнеса. Цифровая трансформация и управление на основе данных
- Функции и структура платформы данных: ключевые компоненты и их взаимосвязи, категории используемого программного обеспечения (ПО)
- Процессы жизненного цикла платформы данных от проектирования до эксплуатации, их участники и документационное обеспечение: бизнес-глоссарий, каталог данных, технический паспорт ИС, бизнес-требования к составу и процессам работы с данными, архитектура наборов данных
- Обзор свода знаний по управлению данными DAMA DMBOK2
- Планирование проекта по внедрению платформы данных: основные этапы, участники, типовые ошибки и как их избежать. Формирование команды для проекта внедрения платформы данных
- Компоненты и инструменты платформы данных: DWH, ETL/ELT, BI, средства обеспечения качества и наблюдаемости данных
- Практика — разработка требований к платформе данных
- Технологическая основа процессов сбора и анализа данных: пакетная и потоковая обработка, CDC
- Практика — разработка эскизного проекта архитектуры платформы данных
- Моделирование данных: подходы к архитектуре корпоративного хранилища данных (DWH): разница между OLAP и OLTP, слои DWH, витрины данных, звездные схемы (модели Кимбалла и Инмона), SDC, Data Vault, якорное моделирование (Anchor Modeling)
- Практика — выбор подхода к построению модели данных в DWH
- Практика — построение модели данных DDS-слоя DWH
- Практика — определение перечня витрин данных и построение для них моделей данных
- Популярные технологии реализации компонентов платформы данных: Greenplum, ClickHouse, HDFS, S3, AirFlow, dbt, Trino, Spark, Flink, Kafka, Debezium, BI-системы и пр.
- Практика — разработка технического проекта архитектуры платформы данных с выбором технологий, заполнение реестра технологических решений
- Задачи управления данными и метаданными. Рекомендации DAMA DMBOK
- Качество данных и технологии его обеспечения
- Практика — разработка требований к качеству данных, определение плановых показателей качества данных
- Практика — разбор инцидентов с качеством данных, планирование корректирующих мероприятий, обновления регламентов по работе с данными и архитектуры данных
- Управление метаданными. Каталог данных
- Практика — автоматизированное заполнение каталога данных (реестр метаданных) из операционных БД (PostgreSQL, MySQL) и Google-таблиц и Excel-файлов
- Мониторинг жизненного цикла данных. Data Lineage. Спецификация Open Lineage
- Практика — разработка спецификации OpenLineage и ее визуализация
- Практика — изменение технического проекта архитектуры платформы данных для обеспечения качества данных: добавление мониторинга и каталогизации
- Когда данных становится слишком много: облачные объектные и файловые хранилища, Data Lake, LakeHouse. Форматы таблиц для работы с большим объемом данных: Parquet, Arrow, Iceberg
- Практика — запросы к Data LakeHouse с помощью библиотеки PyIceberg
- Практика — изменение технического проекта архитектуры платформы данных для масштабирования объемов данных, взаимодействия с Data Lake и LakeHouse
- Эластичность ETL/ELT-приложений: контейнеризация и эффективная утилизация ресурсов. Технологии (Docker, Kubernetes). Открывающиеся возможности и риски, типовые проблемы и способы их решения
- Практика — изменение технического проекта архитектуры платформы данных для эластичного масштабирования приложений
- Проблемы общего доступа к одному ресурсу в платформе данных. Изоляция и мультиарендность, нарушения безопасности и способы их предупреждения.
- Практика — определение конфликтов доступа к общим ресурсам и их разрешение через разработку правил аннотирования и эксплуатации. Обновление реестров ИС и наборов данных, изменение регламентов по работе с данными
- Искусственный интеллект в платформе данных. LLM, RAG, ИИ-агенты, MCP-протокол. Возможности внедрения ИИ в архитектуру платформы данных
- Практика — изменение технического проекта архитектуры платформы данных для применения ИИ
Кто проводит курс
Анна Вичугова
Автор и преподаватель курсов
- кандидат технических наук (Системный анализ, управление и обработка информации, 2013)
- сертифицированный бизнес-аналитик (CBAP 2020, международная сертификация IIBA)
- сертифицированный специалист Business Studio (2010, 2012, 2013, 2018)
- сертифицированный специалист и администратор СЭД Directum (2011)
Опыт практической работы в ИТ с 2009 года в качестве системного аналитика, разработчика, бизнес-аналитика, проектировщика ИС, консультанта и технического писателя в проектах разработки и внедрения информационных систем, а также оптимизации деятельности государственных и частных предприятий.
Клиенты: ОАО «Информационные спутниковые системы», российское отделение компании «Solagran Limited», ООО «Газпром Трансгаз Томск», Томский политехнический университет, ПАО “Ростелеком”, ООО «Нойтэк Лоджистикс Рус», ГК Иннотех, Школа Больших Данных, УЦ “Коммерсант”, Школа системного анализа и проектирования, ООО «Алрино», Благотворительный Фонд Константина Хабенского.
Профессиональные интересы: системный анализ, архитектурное проектирование ИС, разработка на Python, управление данными, бизнес-анализ, разработка и поддержка СМК, ССП (KPI), анализ и формализация бизнес-процессов (UML, IDEF, BPMN), Data Science, технологии Big Data, разработка технической документации (ТЗ по ГОСТ 19 и 34, SRS, руководства пользователя и администратора, описание программных продуктов), управление продуктами и проектами, Agile-практики.
Оставьте заявку на обучение
Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам? Оставьте номер телефона или e-mail и мы оперативно проконсультируем вас в течение дня.
Условия обучения
Работаем напрямую без посредников. Все наши программы учебных курсов являются авторской разработкой наших преподавателей и специалистов.
Стоимость обучения
Предлагаем гибкие условия оплаты: предоплата; оплата по факту проведения занятий; счет-оферта; заключение рамочного договора; пост-оплата под гарантийное письмо.
Минимальная группа
Минимальный размер группы для проведения корпоративного или выездного обучения — 6 человек. Стоимость обучения в день составляет 18.000 рублей (НДС не предусмотрен).
Остались вопросы?
Звоните нам +7 (495) 108-70-38