Please enable JavaScript.

Coggle requires JavaScript to display documents.

Apache Kafka - Coggle Diagram

- - - - От эпохи
    - - Набор key\value
    - - 0 (at most once, попробовать один раз) - не ждёт подтверждения отправки сообщения (могут теряться сообщения)
      - 1 (at least once, Хотя-б одно дойдёт) - ждёт подтверждения от лидера (могут потеряться сообщения если упадёт лидер после отправки подтверждения, не успев отправить на фоловеры)
      - all (exacly once, idempotence, Именно один раз) - ждёт подтверждения от лидера и ISR-реплик
        
        min.insync.replicas задает число реплик, которые должны быть синхронизированы
  - - - Клиенты узнают кто лидер через метаданные от брокера
    - - Периодически опрашивает лидеров на наличие обновлений
      - in-sync реплика (ISR) - folover-реплика, в которую данные из лидера пишутся синхронно
        
        Нужно для того, чтобы не возникла рассинхронизация после падения лидера из-за не успевания реплицирования новых сообщений
    - - segment.ms - период роллапа сегмента после его открытия, 1 неделя по умолчанию
      - segment.bytes — максимальный размер сегмента, 1 ГБ по умолчанию.
  - - - Auto commit
        
        Автоматом при передаче сообщения коммитится
        
        Есть риск потерять сообщения
      - Manual commit
        
        Есть риск получить дубликаты
      - Свой offset management
- - - - current-offset из предыдущей команды становится 3
- - - - Топик N
        
        Partition N
        
        Сегмент N
        
        Сообщение N
- - - - Файл X.log, где X - название сегмента, равно offset первого сообщения. Новый сегмент появляется, когда размер файла достигает 1GB
        
        Содержит данные сообщений
      - X.index
        
        Содержит связку позиции сообщения в партиции с отступом в файле X.log. С помощью этого файла можно найти расположение сообщения в логе по его порядку
      - X.timeindex
        
        Связь offset со временем