Please enable JavaScript.

Coggle requires JavaScript to display documents.

ETL设计 (设计阶段：需求考虑 (数据质量 (定义数据质量文化的高级别的承诺, 执行层面发起过程再造, 改进数据录入环境, 改进应用集成,…

- - - - 古老的系统源一般需要
        维护人员帮忙转换为文本文件
      - 对于大量的无结构数据，
        建议直接用map reduce转换加载
      - 长距离的通过公共网络大量数据传输
        加密前压缩，加密后的文件压缩效果不好
      - 通过公共网络传输的数据需要加密
  - - - 质量屏幕
        
        每个屏幕就是一个测试
        
        ETL的核心就是质量屏幕的集合
        
        对质量事件的响应
        
        将错误记录发送到搁置文件
        
        终止处理过程
        
        :<3:对数据进行标注放到下一个流水线中(推荐)
    - - 由错误事实，维度组成的维度模式
    - - 维护一致性维度
      - 维护一致性事实
  - - - 重写
      - 2.增加新行
      - 3.增加新列
      - 4.增加微型维度
    - - 由DBMS来生成代理建
      - ETL工具建立并维护代理健
    - - 日期维度
      - 杂项维度
      - 微型维度
      - 用户维护的维度
    - - 事务事实表
      - 周期快照事实表
      - 累积快照事实表
    - - 事实表中，用代理健替换自然建
  - - - 过程元数据
      - 技术元数据
      - 业务元数据