Please enable JavaScript.
Coggle requires JavaScript to display documents.
data-process (待釐清 (如何驗證資料的正確性 (沒辦法完全驗證,補資料的問題一但發生怎麼處理? …
data-process
待釐清
SIT(207), QAS(209), PRD(106) 三個環境的資料為何不能保證一致性?
spending base view要怎麼改?
如何驗證資料的正確性
幾千萬筆,要驗證幾筆沒有出錯才算是合理
沒辦法完全驗證,補資料的問題一但發生怎麼處理?
35天要花接近一個禮拜,那三年就要花219天(365*3 /35 * 7)嗎?
有initial data(2016~2018當下),補兩年需要12小時
為什麼可以確定重收的日期(12/26, 3/1)?
看log
db-sync有沒有被說過漏資料?
把db-sync收的資料分別是哪個系統會使用整理出來
為什麼實體檔案存100g,DB沒有存到100g??
資料特性
每個topic收完的資料會給什麼功能使用
wiprocure_kafka_po
wiprocure_kafka_sap_outbound_mm
wiprocure_kafka_exchange_rate
匯率
wiprocure_kafka_img
spending
wiprocure_kafka_info_record
每個topic每天來的資料只會給有更動過的地方?
還是完整的再來一份?
收進來的資料步可以分日期?或offset
補資料的必要性
Fiona 希望最好是三年的資料都要有,至少也要去年七月開始有
Kafka的版本
0.9