Please enable JavaScript.
Coggle requires JavaScript to display documents.
KAFKA - Coggle Diagram
KAFKA
Модель обработки данных
-
-
-
Партиции и топики - абстракции, которые показывают модель классификации поступающих данных
-
Сообщения могут храниться в течении длительного времени независимо от того, были они прочитаны потребителями или нет
-
Компоненты
-
Партиции
-
-
-
Каждая партиция может быть распределена по брокерам в кластере - как следствие получаем балансировку нагрузки и распределение данных между брокерами
Производитель записывает сообщение в определенную партицию, соответствующую ключу записи или используют алгоритмы вычисления хэша для распределения сообщений по партициям
Каждая партиция внутри топика имеет уникальное смещение - оффсет. Оно используется для идентификации позиции в сообщениях внутри партиции
-
Потребители
-
Могут обрабатывать сообщения параллельно, с помощью группы потребителей
-
Могут читать сообщения с смещением и могут сохранять смещение для продолжения с определенной точки после перезапуска
-
Zookeeper
Координационный сервис, используется для управления состоянием брокеров, хранения метаданных и обеспечения отказоустойчивости кластера
-
Гарантии доставки
-
-
-
Доставка сообщений необходимо для систем и процессов, где требуется повышенная надежность обработки данных
-
-
Хранение сообщений
-
AVRO
Schema-Registry
-
При работе с сериализованными данными, особенно в распределенных системах, очень важно иметь точное представление о структуре
В рамках Avro схемыопределяют структуру данных, которые со временем могут меняться
-
-
-
-
Каждое сообщение, отправляемое через Кафку будет содержать Ид схемы
-