Please enable JavaScript.
Coggle requires JavaScript to display documents.
Data Warehouse (資料來源 (客戶網站, 媒體 : OneAD, Facebook 廣告成效, Facebook 粉絲團,…
Data Warehouse
資料來源
客戶網站
媒體 : OneAD
Facebook 廣告成效
Facebook 粉絲團
Google AdWords
Open Data
流程圖
Data Prep
Google Drive
監控異常
1小時內資料未更新過，警告
1小時內 warning or error log 太多
完整性驗證
非定義的格式 ex : 非 JSON、csv
無法解譯的格式
清理(簡單)
過濾有缺少必要欄位
過濾明顯特徵 : robot
一致性驗證
過濾分析要用的欄位
資料的Total 比對
確認
流程一個地方沒過就要 ReTry 1次
ReTry 失敗丟異常通知
目標
正確性
完整性
儲存
將資料儲存為 JSON log
清理(拆欄位)
將所有欄位拆分攤平
儲存
儲存攤平後的資料 : JSON log
資料 Dashboard
logLoop, tablue
第二版
