Please enable JavaScript.
Coggle requires JavaScript to display documents.
データ解析とアーカイブ - Coggle Diagram
データ解析とアーカイブ
データ解析パイプライン
なぜパイプラインが必要？
データ量が多いから人間の手に負えない
データ量は 200-400 GB/night
HSC (300-400 GB/night) に匹敵
データの取捨選択の判断にも時間がかかる
リアルタイムにデータ品質を評価したい希望がある
パイプラインはどうあるべき？
履歴管理をする。
コードの version
与えたパラメータ
処理時刻
出力するものはなに？
画像
カタログ
サーベイの進捗を効率的に把握したい
データ品質を気質にするような観測計画の立案
データアーカイブ
なぜアーカイブが必要？