Apache Kafka для дата-инженера и системного аналитика

Как спроектировать и описать потоковый конвейер обработки данных на Apache Kafka для асинхронной интеграции информационных систем: практический тренинг по применению популярного брокера сообщений с разработкой формальной спецификации AsyncAPI

Код курса	Даты начала курса	Стоимость обучения	Длительность обучения	Формат обучения
KAF	11 сентября 2026	10 000 руб.	6 ак.часов	Дистанционный

Цель курса:

Познакомиться с архитектурой и принципами работы Apache Kafka и компонентов экосистемы, включая реестр схем, коннекторы и ksqlDB, чтобы научиться проектировать масштабируемые и отказоустойчивые потоковые конвейеры обработки данных на основе этого брокера сообщений, а также описывать их в спецификации AsyncAPI.

Аудитория:

Системные аналитики, архитекторы, дата-инженеры и разработчики, которые хотят научиться работать с Apache Kafka, чтобы использовать его для асинхронной интеграции приложений, а также разрабатывать и читать спецификации AsyncAPI для потокового конвейера на основе этого брокера сообщений.

Предварительный уровень подготовки:

Понимание принципов асинхронной интеграции приложений с использованием брокеров сообщений
Понимание назначения спецификации AsyncAPI или OpenAPI
Возможность подключиться к облачному развертыванию среды на нашем сервере или развернуть Docker-контейнер локально в WSL или аналогичных Linux-подобных средах
Возможность интерактивной работы в Google Colab или наличие локального редактора исходного кода VSCode со средой Python и расширением asyncapi-preview

Формат занятий

Командная работа в малых группах (3-4 человека) на практическом кейсе. Даже в онлайн с вами работает живой преподаватель в режиме интерактивного семинара. Теория моментально закрепляется на практике, каждая тема подкрепляется примером, индивидуальными и групповыми заданиями и самостоятельной работой с последующей проверкой и обратной связью от преподавателя. Обучение построено на реальных примерах (case studies).

Результат обучения

В результате обучения вы приобретете базовые знания об архитектуре и принципах работы Apache Kafka, а также навыки проектирования масштабируемых и отказоустойчивых потоковых конвейеров обработки данных с использованием этого брокера сообщений и описания их в виде формальных спецификаций AsyncAPI. После тренинга вы сможете самостоятельно:

спроектировать топологию потокового конвейера на Apache Kafka, определив оптимальный набор и конфигурации топиков;
описать спроектированную топологию в виде формальной спецификации AsyncAPI;
получить автосгенерированную спецификацию AsyncAPI с помощью Python-библиотеки FastStream;
использовать возможности локального редактора исходного кода VSCode для разработки Python-скриптов и визуализации структур данных.

Программа курса

Часть 1. Зачем нужна Kafka, как и когда ее (не) использовать – 1 час

Назначение Apache Kafka
Хорошие и плохие примеры использования

Часть 2. Архитектура и принципы работы Kafka – 2 часа

Компоненты кластера Apache Kafka и их взаимодействие
Топики и разделы
Репликация и балансировка
Публикация и потребление сообщений
Классические группы потребителей и группы общего доступа
Экосистема Kafka: реестр схем, коннекторы, ksqlDB
Практика — табличное и визуальное проектирование потокового конвейера по своему кейсу с определением полезной нагрузки и метаданных сообщений

Часть 3. Построение масштабируемых и отказоустойчивых конвейеров на Kafka – 1,5 часа

Наиболее важные конфигурации для настройки брокеров, продюсеров и потребителей
Практика — определить параметры конфигурации для брокеров, продюсеров и потребителей по кейсу для обеспечения нефункциональных требований
Типовые отказы потоковой системы на Apache Kafka и как их предупредить
Практика — отработка отказов брокеров и потребителей, обработка случаев повышения пропускной способности продюсера и изменения схемы данных публикуемых сообщений, модернизация своего потокового конвейера в соответствии с изменением нефункциональных требований для обеспечения масштабируемости и отказоустойчивости
Расчет емкости и пропускной способности кластера Kafka
Практика — расчет емкости и пропускной способности кластера Kafka для своего кейса

Часть 4. AsyncAPI - спецификация описания асинхронных API – 1,5 час

Назначение, форма и содержание, сходства и отличия от OpenAPI
Базовые понятия AsyncAPI и связи между ними
Автоматизированная разработка спецификации AsyncAPI с помощью Python-библиотеки FastStream
Практика — разработка спецификации AsyncAPI для своего потокового конвейера на Kafka по кейсу

Скачать программу в формате PDF171 КБ

По завершении курса вы получите

Документ об окончании курса: удостоверение учебного центра. Благодаря наличию государственной лицензии на образовательную деятельность (№040892 от 07.08.2020) сертификаты и свидетельства о повышении квалификации, выданные нашим Учебным центром засчитываются в качестве официального свидетельства вашего профессионального развития.

Кто проводит курс

Анна Вичугова

Автор и преподаватель курса

основатель и CPO Школы прикладного бизнес-анализа и проектирования ИС
аналитик в ИТ-проектах с 2009 года
разработчик и проектировщик ИС
автор и преподаватель ИТ-курсов
кандидат технических наук (Системный анализ, управление и обработка информации, 2013)
сертифицированный бизнес-аналитик (CBAP 2020, международная сертификация IIBA)

Подробнее о преподавателе

Зоя Степчева

Преподаватель курса

Работает в ИТ с 2005 года как аналитик, разработчик, архитектор ИС
Бэкенд-разработчик с 10-летним опытом
Ведущий системный аналитик в ТБанке
Автор и преподаватель ИТ-курсов
Кандидат технических наук, доцент

Подробнее о преподавателе

Оставьте заявку на обучение

Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам? Оставьте номер телефона или e-mail и мы оперативно проконсультируем вас в течение дня.

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Условия обучения

Работаем напрямую без посредников. Все наши программы учебных курсов являются авторской разработкой наших преподавателей и специалистов.

Стоимость обучения

Предлагаем гибкие условия оплаты: предоплата; оплата по факту проведения занятий; счет-оферта; заключение рамочного договора; пост-оплата под гарантийное письмо.

Минимальная группа

Минимальный размер группы для проведения корпоративного или выездного обучения — 6 человек. Стоимость обучения в день составляет 18.000 рублей (НДС не предусмотрен).

Остались вопросы?

Звоните нам +7 (495) 108-70-38