Please enable JavaScript.
Coggle requires JavaScript to display documents.
Потоковая обработка данных (Log-based message broker (Consumer offsets…
Потоковая обработка данных
AMQP-style message broker
Удаляют сообщение после
получения подтверждения
Множество консюмеров
Fan-out
Load balancing
Нарушается порядок
Log-based message broker
Kafka, Kinesis Stream, DistributedLog
fan-out messaging
Consumer offsets
Per partition
Обработка сообщений
Последовательно
Масштабирование
Больше размер пачки
Больше партиций
Кольцевой буфер
Можно перепроигрывать сообщения
Streams and databases
Отслеживание измененных данных (CDC)
Log-compaction
Сторонние: Debezium, etc
Встроенные (API)
Начальный слепок
WAL
Replication log
Таблицы и индексы - проекции над логом
Event Sourcing
Иммутабельность
Ограничения
Реальное удаление данных
Производительность
Работа со стримами
Синхронизация зависимых данных
Пуш-нотификация для человека
Машинная обработка
CEP
Аналитика стрима
Материализация
Поиск по стриму
Пара слов о времени
Время возникновения vs время обработки
ВременнЫе окна
Tumbling
Hopping
Sliding
Session
Join
Stream-Stream
Stream-Table
Table-Table
Устойчивость к ошибкам
Microbatching и checkpointing
Атомарный коммит
Идемпотентность
Rebuilding state