Please enable JavaScript.
Coggle requires JavaScript to display documents.
資料品質, 即時資料, 資料源頭 - Coggle Diagram
資料品質
非大數據生產資料
系統
extract 讓用戶指定 schema
缺點
用戶需要預先知道 schema
如資料源新增欄位，但 extract 未同步 schema，可能會造成資料遺失
制度
現有服務需追蹤的 log，如需增刪欄位，需由大數據審核
缺點
制度管理的可行性
流程效率影響
現有系統可否限制？
優點
已有架構
由大數據生產資料
Anya Trans
優點
已有架構
缺點
目前無法做到即時。以紅標後台的例子來說會無法滿足
即時資料
客服訂單歷程 (MSSQL)
服務將異動資料記錄同步至 kafka
優點
較小硬體資源成本
delay time 較低
缺點
資料可能會不一制
正隆機房新增一台 MSSQL 即時副本，中台以 query 的方式取得資料
優點
較高的資料一制性
缺點
需要額外硬體成本
delay time 較高 (排程最短一分鐘)。且取決於資料內容
使用者瀏覽事件 (userbehaviorlog, Elastic)
大數據建立一新的埋 log 追蹤系統，後請各個服務改用我們的系統
優點
可以解決 log 時間問題
可以設計權限，特定人才可以修改
提升吞吐量
缺點
開發成本
系統切換成本
資料源頭
系統
大數據建立一新的埋 log 追蹤系統，後請各個服務改用我們的系統
優點
可以解決 log 時間問題
可以設計權限，特定人才可以修改
提升吞吐量
缺點
開發成本
系統切換成本