Please enable JavaScript.
Coggle requires JavaScript to display documents.
RDS (DTS(订阅) (MQ (清洗 (ADS(事件,用户属性等) (计算 (RDS), 实时查询 (BI)), MaxC…
-
mysql3...
DTS(canal)
原始数仓(汇总)
ETL
-
-
定期从原始数仓拉取 (E)数据, ETL(抽取,转换,装载)
抓取方式为 分区 (类似mysql 天表, 小时表)
-
-
-
问题1,原始数仓更新以后,怎么同步更新到 ads 和hive层 ( -> updatetime )
updatetime
问题2,
应用场景 , 用户资产流水
目前用户资产 会 有很多的明细表 (比如 冲提, 交易, 划转, 场外交易, 借币)
数据分别在
冲提 bitz.exchange_xxx
交易 bitz.order_coin
划转 bitz.exchange_xxx
场外 otc.users_order
分发 bitz.distribute
借币 待定
目的 : 做一份用户流水(用户所有资产变化明细)
想的方案 : 转化 格式 一致
资产信息
个人信息 user user_info