Please enable JavaScript.

Coggle requires JavaScript to display documents.

数据分发 (背景 (场景 (离线数据同步数据源为文件高危车主管控离线生成 ID 包，推送线上特征中心，量级较小 …

- - - - 文件索引，批量推送
        
        pros
        
        通过文件签名保证数据一致性
        
        cons
        
        数据本地加载，需考虑加载失败情况
        
        占用本地内存大
        
        现有使用方式都是基于 redis协议，改造难度大
    - - 特征数据管理系统
        1.数据版本管理
        2.一致性导入
        3.数据可视化
        
        模块
        
        1. Web任务管理
        
        任务配置
        
        Disf alias or IP list
        
        选择需要导入的 IDC(多选)
        
        数据源地址(每天产出的特征文件地址）
        
        数据文件名前缀（特征文件后缀是 ".%Y%m%d")
        
        定时执行（支持crontab语法)
        
        确定redis协议信息: key-value / key-hash
        
        任务列表
        
        未执行: 展示下一次执行时间
        
        执行中: 显示当前执行进度
        
        其他
        
        接入公司账号系统，添加白名单可以登录
        
        操作日志入 Mysql，记录账号所有操作日志
        
        2. 定时任务系统
        
        任务队列（每分钟执行一次）
        
        有需要启动的任务：检查当前资源情况确定是否启动
        
        遍历执行中的任务：获取执行状态，更新页面进度
        
        等待执行中的任务：
        正常状态：打印Public日志
        错误状态，打印错误日志
        
        任务执行
        
        每个任务单独一个协程处理（上报协程 ID)
        
        读取任务的数据、disf 和 idc，按块(N=100)循环:
        
        逐个 IDC 更新数据 (遇到错误则重试直到通过)
        
        更新成功后，更新数据到ES(添加任务-日期索引）
        
        出错次数达到阈值，则打印错误日志并报警
        
        数据存在版本(ES任务-日期索引)，可根据版本做数据回溯
        
        信息交互
        
        定时任务协程通过 Redis 获取所有任务当前信息
        
        执行任务每个分块处理完成后上报任务处理状态
        
        强制结束任务通过 chan 可以实现
        
        3. 数据版本
        
        版本列表
        
        执行状态
        
        回滚
        
        思路
        
        Web 界面，配送相关参数可配置
        
        接入 Didi 账号系统，所有操作行为日志入库
        
        数据备份，按导入时间保存到 ES
        
        批量导入(N=100条),为避免跨机房问题，统一使用pipeline
        
        对一次导入默认导入是阻塞式的，失败会重试直到可用
        
        对于特定任务，可以页面直接杀死任务