Please enable JavaScript.

Coggle requires JavaScript to display documents.

TDH - Coggle Diagram

- - - - 从Oracle库中提取表结构
      - 修改不符合TDH的字段类型
        
        date -> varchar2；number -> number(38,10)
      - 设置外表属性
        
        建表时申明为外表：create external table table_name
        
        建外表时需指定数据存放的HDFS目录，该路径要是绝对路径
        
        根据sqoop抽取数据所用字段分隔符，建外表时需指定相同的字段分隔符
        
        避免指向不存在的目录
    - - 指定分区
        
        按照时间采用范围分区，被指定为分区键的列不能出现在建表语句中
      - 指定分桶
        
        分桶键需要选择离散度高的字段
        
        根据之前的分区数，去确定分桶数量，大概150-200万数据量为一个桶
      - 设置orc事务表的属性
        
        在建表的最后一部分指定表的属性为事务表
        
        'transactional'='true'
        
        在数据量相同的情况下，由于每条数据的所占大小会有差异，可能会导致数据倾斜的问题。原有分区不能割裂，只能增加新的分区。
    - - 数据是以文件的形式存放在HDFS上，建立外表去映射文件里的数据，将数据映射到inceptor中。
      - 因为外表的不支持事务而且数据查询速度很慢所以需要将外表的数据在放进orc事务表中
      - 导入数据后需到数据存储路径下查看每个桶中数据是否均匀，若出现桶内数据不均匀需将内表删除重新制定分桶字段，直至每个桶内数据均匀
    - - alter table change 列名新列名字段类型/长度
- - - - 左边的表的内容会被加载进内存
      - 可有效减少发生OOM错误的几率
    - - 对于过滤率高或者聚合率高的场景，在Holodesk表中还可以使用Cube、Index两种手段来进行优化。
      - Holodesk着力于交互式分析中即时查询效率的提高且能够保证扩展性与稳定性。
  - - - 若日期字段值为空，则选用其他字段分区/不分区而分桶
      - 分区一般按日期格式的字段进行区间划分
    - - 选择离散度高的字段进行分桶，避免数据倾斜
      - 若分桶不当，导致数据倾斜严重，可采用增加序列的方式解决
      - 数据以hash散列分布在各个桶内
    - - 最大区别：分桶随机分割数据库，分区是非随机分割数据库
      - 分区是表的部分列的集合，可为频繁使用的数据建立分区，提高查找效率
      - 桶往往使用列的哈希值对数据打散，并分发到各个不同的桶中从而完成数据的分桶过程
  - - - 太平项目组大多选用的是orc事务表
      - 用于报表直接查询选用ES表
      - 函数生成的结果表选用Holodesk
  - - - 问题：报表前端查询的sql中含有大量的join
      - 优化方式：将脚本在后台定期运行，生成的结果集存在两张orc表，减少前端查询时间
- - - - 用于hadoop和关系型数据库之间数据导入导出的工具
    - - sqoop通过Hadoop的MapReduce导入导出，并行导入数据
    - - 安装TDH客户端后，在客户端直接输入sqoop
    - - 导入相关rdb的jdbc包到/home/tptdh/TDH-Client/sqoop/lib
    - - 输入sqoop help即可查看相关命令
    - - orcale –-> TDH
        
        import ---声明sqoop执行导入操作
        
        username ---数据源用户名(大写)
        
        password ---数据源密码(引号括起来)
        
        connect ---数据源的连接信息
        
        fileds-terminated-by ---导入的字段分隔符(默认\001)
        
        null-string ---遇到空值和null的时候替换为\N
        
        null-non-string ---遇到空值和null的时候替换为\N
        
        target-dir ---导入文件的目标位置(表名统一大写！)
        
        query ---根据需要抽取的select语句(大写)
        
        split-by ---指定字段为map切分依据(一般选择主键)
        
        hive-drop-import-delims ---去掉源数据当中的(\n、\r、\001)
        
        -m ---需要分配的map数，不写会默认分配
    - - import时提示无driver
        
        对应数据源的jdbc包放到TDH-Client/sqoop/lib目录下
      - import报错但Java报错内容无任何信息
        
        检查jdbc连接，检查用户名和密码
      - import提示表不存在
        
        检查表名、用户名是否大写
        
        检查导入用户权限是否有权限访问源表
      - import提示表无主键
        
        sqoop语句最后加上 -m 1，只分配一个map数进行处理
        
        加上表所属用户前缀
      - import过程中断或强制结束
        
        据报错信息解决
        
        源表可能有联合主键，若第一个主键导入失败，换主键，若仍报错，直接加上 -m 1
      - import完后，映射数据数据量对不上
        
        源数据可能存在乱码、换行符等，加语句：-hive-drop-import-delims
        
        split-by+主键，对于无主键的表，需找到值不为null的字段，否则数据量对不上
    - - Sqoop导入，是按指定的--split-by键来划分
      - 若主键为ID，sqoop会在库中执行查找最大值和最小值操作，然后根据指定的n个map数拆分主键为n份分发给n个map数处理，提高并行速度
      - 若已知表数据量不大时，减少map数，如 m -1，此时sqoop会跳过查询ID范围语句，导入数据更快些
      - 若数据量很大，在源库允许的情况下，可多增加些map数，提高导入效率。
    - - 10.25.12.130：8088进入yran任务web界面，通过running查看正在允许的任务
      - 点application job id查看任务具体信息(已成功、正在运行和失败的map数)/后台命令Hadoop job - list，查看正在运行的job任务
      - 如需kill掉某个进程，可使用命令，hadoop job –kill JOBID
    - - 未执行source
        
        执行source TDH-Client/init.sh 并登录即可
        
        关于大数据平台的命令均需执行source语句并登录方可正常使用后续脚本
      - 文件目录已存在
        
        删除已存在的文件或更改sqoop中的目标路径重新导入
      - jdbc信息错误
        
        修改脚本中的sqoop语句，用户名、密码、jdbc信息等
      - sqoop语句报错
        
        请检查sqoop内sql是否正确，包括字段，where条件
    - - Transferred XXX MB in XXX seconds ---Sqoop成功的数据大小为XXX，数据耗时XXX秒
      - Retrieved XXX records ---Sqoop数据总条数，请注意sqoop成功后请核对是否将源端数据全部抽取。
      - split-by 使用字段不能为null
  - - - Golden Gate提供异构环境下交易数据的实时捕捉、变换、投递