Please enable JavaScript.

Coggle requires JavaScript to display documents.

kafka客户端 - Coggle Diagram

- - - - 组成员数发生变更。
        
        分区发生变更即加了分区或者减了分区
        
        Consumer使用正则匹配主题，匹配到了新主题
      - 如何避免
        
        控制组成员不要变化，即控制不要下线
        
        session.timeout.ms ：协调节点盘旋下线的时间
        
        heartbeat.interval.ms 控制心跳发送频率
        
        max.poll.interval.ms 两次poll之间的间隔
        
        max.poll.records 控制不要太大导致处理慢
      - 问题
        
        阻塞，慢成员多时，会重新分配实例和分区
    - - earliest: 把位移调整到当前最早位移处
        
        lastest 移到最新的地方
        
        Current 当前提交处
        
        Specified-Offset: 指定位移
        
        Shift-By-N: 指定跳过N 负数往回跳
        
        DateTime: 指定时间
        
        Duration: 指定时间间隔
  - - - consumer group消息：<Group ID，主题名，分区号 >
      - 删除删除 Group 过期位移甚至是删除 Group 的消息。tombstone 消息，
  - - - :当前分区offset - consumerOffset
      - Lag越小说明处理越及时，越大说明消费慢
      - 消费慢会导致数据从页缓存中移出，
        导致zerocopy失效。要从磁盘取信息。导致消费越来越慢
    - - JMX
        
        records-lag-max 和 records-lead-min