🧪 Лаборатория

Сергей Булатов 20 июн 2026 · 16 мин 🧪 Лаборатория

Лабораторная работа «Apache Kafka: первые шаги в event-driven архитектуру»¶

■ Зачем аналитикам эта лабораторная?

Kafka сегодня — стандарт де‑факто для событийных и потоковых интеграций: от заказов и платежей до телеметрии и логистики. На лабораторной вы разберётесь, как решения по ключам, числу партиций и политике хранения напрямую влияют на масштабируемость, порядок событий и SLA. Вы научитесь говорить с разработчиками «на одном языке» и принимать зрелые архитектурные решения без написания кода.

■ Что такое Kafka (вкратце)?

Apache Kafka — распределённая шина сообщений и потоковая платформа. Ключевые понятия: topic, partition, producer/consumer, consumer group, offset, retention. Порядок сообщений гарантируется только внутри партиции; распределение по партициям определяется ключом (key‑based routing).

■ Для кого

• Системным аналитикам — чтобы уверенно описывать события/контракты, понимать ограничения порядка и «куда девается сообщение».
• Архитекторам/тимлидам — для принятия решений по партиционированию, ретеншену, масштабированию и выбору потребительских паттернов.
• PM/PO — чтобы реалистично оценивать риски и сроки интеграций в событийной архитектуре.

■ Практика за 4 часа (на кейсе Shop&Ship)

1. Поднимем стенд в один клик: Kafka (KRaft, без ZooKeeper) + Kafka UI + kcat (CLI) в Docker Compose.
2. Спроектируем два топика — orders_raw и orders_cdc — и зададим 3 партиции под горизонтальный масштаб.
3. Прогоним поток событий с ключом order_id и наглядно увидим, как ключ закрепляет порядок внутри партиции.
4. Масштабируем чтение: запустим двух потребителей в одной группе и посмотрим ребаланс (шардинг партиций).
5. Поиграем политиками хранения (retention.ms) и обсудим влияние на стоимость, лаг и повторное потребление.
6. Диагностика «на практике»: offsets, lag, describe‑конфиги, «куда делись сообщения?» и как это правильно интерпретировать.

■ Вы уйдёте с результатами

• Понимаете, как выбирать ключи и число партиций под нужный RPS и требования к порядку.
• Умеете читать и объяснять метрики потребления (lag/offset) и риски потерь при неверных настройках.
• Имеете готовые артефакты: docker-compose.yml, скрипты создания топиков/проверок, схема «ключ → партиция → порядок».

■ Чем эта лабораторная отличается

• Инженерный фокус без программирования: все эксперименты — конфигурацией и командной строкой.
• Актуальная архитектура: KRaft‑кластер без ZooKeeper, современный UI и best‑practices.
• Промышленный кейс: Shop&Ship (заказы/CDC/обогащение), а не абстрактные примеры.

■ Предпосылки и формат

Базовые знания Docker/Compose и HTTP/JSON. Формат — онлайн. Среда преднастроена; поднимается одной командой в Docker Compose (локально или на удалённой ВМ).

■ Дальнейший маршрут

Продолжайте: Kafka Connect (интеграции без кода) → Debezium (CDC) → ksqlDB/Flink SQL (потоковые витрины) → Prometheus+Grafana (наблюдаемость Kafka и lag).

👤 Ведущий: Сергей Булатов

Стоимость и подписка¶

📅 Ближайшая дата: 2026-06-20, 09:00-13:00 МСК · все мероприятия