Асинхронная интеграция и стриминг: брокеры и key-value БД

Как спроектировать и описать потоковый конвейер обработки данных на Apache Kafka для асинхронной интеграции информационных систем: практический тренинг по применению популярного брокера сообщений с разработкой формальной спецификации AsyncAPI
Код курса Даты начала курса Стоимость обучения Длительность обучения Формат обучения
ASYN
17 ноября 2026
38 400 руб.
от 3 200 руб. в месяц
16 ак.часов Дистанционный

Цель курса:

Курс «Асинхронная интеграция и стриминг: брокеры и key-value БД» посвящён способам асинхронной интеграции приложений и потоковой передаче данных (стримингу) с помощью брокеров сообщений Apache Kafka и RabbitMQ, а также NoSQL-СУБД типа ключ-значение (key-value). Курс сочетает необходимую теорию с практическими упражнениями на реальных инструментах и примерах. Программа обучения ориентирована на аналитиков, архитекторов, разработчиков и дата-инженеров, которые хотят познакомиться с этими технологиями, узнать особенности их работы и сценарии использования, чтобы проектировать масштабируемые и отказоустойчивые потоковые конвейеры обработки данных, а также описывать их в спецификации AsyncAPI.

Аудитория:

Системные аналитики, архитекторы, разработчики и дата-инженеры, которые хотят проектировать масштабируемые и отказоустойчивые конвейеры асинхронной интеграции приложений и потоковой обработки данных, а также описывать их в спецификации AsyncAPI.

Предварительный уровень подготовки:

желательно иметь опыт работы системным аналитиком, ИТ-архитектором, разработчиком или дата-инженером

Стоимость курса зависит от модели онлайн-обучения

  • по записям, когда самостоятельно смотрите видеоуроки, читаете учебник и выполняете задачи. Каждая тема подкрепляется практическим примером, тестами и индивидуальными заданиями. При обучении по видеозаписям без фактического присутствия в группе стоимость курса дешевле на 30%
  • дистанционно, когда с вами всегда в реальном времени работает живой преподаватель. На онлайн-занятиях вы как будто находитесь в классе и учитесь в режиме интерактивного семинара. Также предусмотрена самостоятельная работа с последующей проверкой и обратной связью от преподавателя.

О тренинге

Тренинг «Apache Kafka для дата-инженера и системного аналитика» ориентирован на системных аналитиков, дата-инженеров, архитекторов и разработчиков, которые хотят разобраться с архитектурой и принципами работы самого популярного брокера сообщений, а также разобрать лучшие практики и типовые проблемы распределенной системы потоковой передачи событий Apache Kafka

Эта краткосрочная программа обучения не претендует на то, чтобы в совершенстве освоить все особенности Kafka, однако, рассмотренные в курсе темы помогут вам чувствовать себя увереннее в эскизном проектировании асинхронных интеграций ИС через Kafka, а также разработке требований к таким проектам

Особое внимание уделено прикладным вопросам системного анализа и проектирования ИС: программа обучения построена на реальных примерах использования эффективных паттернов и технологий (case studies) в российских и зарубежных компаниях. Каждый раздел курса, помимо теоретического материала, включает командное или индивидуальное практическое задание и самостоятельную работу.

Практическая работа на заранее подготовленном стенде: все темы курса наглядно иллюстрируются на демо-стенде, специально разработанном автором курса для выполнения практических заданий. Каждый студент получает уникальный ключ API для доступа к стенду на месяц для самостоятельной работы.

Результат обучения

В результате обучения вы приобретете базовые знания об архитектуре и принципах работы популярных брокеров сообщений RabbitMQ и Apache Kafka, а также применения key-value хранилищ для асинхронной интеграции приложений и потоковой обработки данных. Вы получите навыки проектирования масштабируемых и отказоустойчивых потоковых конвейеров обработки данных с использованием этих технологий и описания их в виде формальных спецификаций AsyncAPI. После курса ««Асинхронная интеграция приложений и стриминг данных через брокеры сообщений и key-value хранилища» вы сможете:

  • выбрать наиболее оптимальный подход и инструмент для организации асинхронной интеграции приложений и стриминга данных с учетом требований и ограничений;
  • спроектировать топологию потокового конвейера на Apache Kafka или RabbitMQ, определив оптимальный набор и конфигурации топиков или обменников и очередей с их привязками;
  • повысить надежность и масштабируемость системы с помощью архитектурных паттернов и приемов;
  • описать спроектированную топологию в виде формальной спецификации AsyncAPI;
  • получить автосгенерированную спецификацию AsyncAPI с помощью Python-библиотеки FastStream;
  • использовать возможности локального редактора исходного кода VSCode для разработки Python-скриптов и визуализации структур данных.

Программа курса

  • Отличия асинхронного взаимодействия от синхронного, особенности архитектуры и сценарии использования
  • Паттерны асинхронного обмена сообщениями: Точка-Точка (Point-to-Point) и Издатель-Подписчик (Publish-Subscribe)
  • Очередь и AO-лог. Отличия классического брокера сообщений от платформы потоковой передачи событий
  • Потоковая обработка данных (Streaming), отличия от пакетной (Batching), особенности реализации (оконные функции, время события и время обработки), роль быстрых Key-Value хранилищ в сохранении промежуточных состояний потока
  • Что использовать в качестве узла для асинхронной интеграции и стриминга данных: сравнение классических брокеров сообщений с AO-логами и Key-Value хранилищами
  • Компромиссы архитектурных подходов: пропускная способность (High-throughput) против минимальной задержки (Low-latency)
    • Практика – проектирование интеграционной схемы для сквозного бизнес-процесса
  • Архитектура и принципы работы key-value хранилищ на примере Redis и Valkey
    • Практика – работа с Redis
  • Типовые отказы в архитектуре асинхронной интеграции и стриминга данных, паттерны их предупреждения
    • Практика – повышение надежности асинхронной интеграции приложений и стриминга данных с помощью архитектурных паттернов
  • Назначение, форма и содержание, сходства и отличия от OpenAPI
  • Базовые понятия AsyncAPI и связи между ними
  • Автоматизированная разработка спецификации AsyncAPI с помощью Python-библиотеки FastStream

 

  • Назначение Apache Kafka, хорошие и плохие примеры использования
  • Архитектура и принципы работы: компоненты кластера и их взаимодействие, топики и разделы, репликация и балансировка, публикация и потребление сообщений
  • Экосистема Kafka: реестр схем, коннекторы, ksqlDB
  • Классические группы потребителей и группы общего доступа
    • Практика – табличное и визуальное проектирование потокового конвейера по своему кейсу с определением полезной нагрузки и метаданных сообщений
  • Наиболее важные конфигурации для настройки брокеров, продюсеров и потребителей
    • Практика – определить параметры конфигурации для брокеров, продюсеров и потребителей по кейсу для обеспечения нефункциональных требований
  • Типовые отказы потоковой системы на Apache Kafka и как их предупредить
    • Практика – отработка отказов брокеров и потребителей, обработка случаев повышения пропускной способности продюсера и изменения схемы данных публикуемых сообщений, модернизация своего потокового конвейера в соответствии с изменением нефункциональных требований для обеспечения масштабируемости и отказоустойчивости
  • Расчет емкости и пропускной способности кластера Kafka
    • Практика – расчет емкости и пропускной способности кластера Kafka для своего кейса
  • Описание интеграционного конвейера на Kafka в спецификации AsyncAPI
    • Практика – разработка спецификации AsyncAPI для своего потокового конвейера на Kafka по кейсу

 

  • Архитектура и принципы работы RabbitMQ, , хорошие и плохие примеры использования
  • Обменники, очереди и привязки: базовые настройки
    • Практика — табличное и визуальное проектирование потокового конвейера по своему кейсу с определением полезной нагрузки и метаданных сообщений
  • Масштабирование и отказоустойчивость RabbitMQ. Продвинутые настройки очередей. Приоритизация обработки сообщений. Гарантии доставки сообщений, ack и nack. Альтернативные обменники и очереди недоставленных сообщений
  • Потоковые очереди с репликацией и долговременным хранением данных
  • Обратное давление на приложениях-потребителях с prefetch count
    • Практика – модернизация своего потокового конвейера в соответствии с изменением нефункциональных требований для обеспечения масштабируемости и отказоустойчивости
  • Описание интеграционного конвейера на Kafka в спецификации AsyncAPI
    • Практика – разработка спецификации AsyncAPI для своего потокового конвейера на RabbitMQ по кейсу

Для практической работы каждый студент курса получает от преподавателя описание кейса с вводными данными для выполнения каждого практического задания. Практика выполняется на специально разработанном авторском стенде https://apps.babok-school.ru/.

Кто проводит курс

Анна Вичугова
Анна Вичугова
Автор и преподаватель курса
  • основатель и CPO Школы анализа и проектирования информационных систем
  • аналитик в ИТ-проектах с 2009 года
  • разработчик и проектировщик ИС
  • автор и преподаватель ИТ-курсов
  • кандидат технических наук (Системный анализ, управление и обработка информации, 2013)
  • сертифицированный бизнес-аналитик (CBAP 2020, международная сертификация IIBA)

Подробнее о преподавателе

Зоя Маттис (Степчева)
Преподаватель курса
  • Работает в ИТ с 2005 года как аналитик, разработчик, архитектор ИС
  • Бэкенд-разработчик с 10-летним опытом
  • Ведущий системный аналитик в ТБанке
  • Автор и преподаватель ИТ-курсов
  • Кандидат технических наук, доцент

Подробнее о преподавателе

Оставьте заявку на обучение

Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам? Оставьте номер телефона или e-mail и мы оперативно проконсультируем вас в течение дня.

    Условия обучения

    Работаем напрямую без посредников. Все наши программы учебных курсов являются авторской разработкой наших преподавателей и специалистов.

    Стоимость обучения

    Предлагаем гибкие условия оплаты: предоплата; оплата по факту проведения занятий; счет-оферта; заключение рамочного договора; пост-оплата под гарантийное письмо.

    Минимальная группа

    Минимальный размер группы для проведения корпоративного или выездного обучения — 6 человек. Стоимость составляет 2400р за один час обучения одного человека, в том числе НДС 5%.

    Остались вопросы?

    Звоните нам +7 (495) 108-70-38

    Или напишите нам в соц.сетях