Please enable JavaScript.
Coggle requires JavaScript to display documents.
データ基盤の運用品質の強化, 運用で重きを置くのは「対応スピード、工数削減」 by 高畑さん, 必要とする人が必要なタミングで必要なデータにアクセス…
データ基盤の運用品質の強化
コスト・工数削減
想定外（インフラやVMのなんやかや）の作業にかける時間を減らしたい
embulk統一思想見直し？
→ GCPコマンドの方がパフォーマンスが良い場合あり
avexメンバーで実施することを増やしたい？
→ コスト削減？
→ ナレッジ？
無駄の排除
Embulkサーバの稼働率が低い
よりスマートにしたい
VMのコスト、限界（同時実行の限界）などをどうにかしたい
Airflow複雑。利用メリット享受しきれてない。
費用におけるComputeの割合が高い
ストレス
運用で重きを置くのは「対応スピード、工数削減」 by 高畑さん
データ基盤のコンセプト
「「必要とする人」が「必要なタイミング」で
「必要なデータ」に、アクセスできる場所」
の実現を考えるとこの2つを優先すべきかと
必要とする人が必要なタミングで必要なデータにアクセスできる場所
必要とする人
データの存在を知っている
データの存在を知らない
必要なタミング
毎日
スポット
必要なデータ
仕組みをよりスマートにしたい、
インフラなどに手間や工数ををかける時間を減らしてデータの加工や使うのに工数を使いたい
ジールの工数削減＝コスト削減
avexの工数削減＝もっと他の事に時間を使える