Please enable JavaScript.

Coggle requires JavaScript to display documents.

ETL&ELT Data Engineering - Coggle Diagram

- - - - with update notification
      - without update notification
  - - - Selection
      - Matching
      - Data Clensing or Enrichment
      - Consolidations or Summarization
    - - Standardising data
      - Character Set conversion and Encoding handing
      - Calculated and derived values
      - Splitting or Merging fields
      - Conversion of units of measurement e.g. date time
      - deduplication
      - Key restructuring
      - Summarization, Aggregation & Consolidation
  - - - Initial
      - Incremental
      - Full refresh
  - - - ข้อดี
        
        การจัดการข้อมูลด้านความเป็นส่วนตัวและความยินยอมทำได้ดีเพราะมีการตรวจสอบก่อนนำไปใช้จริง
        
        ข้อมูลพร้อมใช้งาน เพราะได้ถูกแปลงให้อยู่ในรูปแบบที่เหมาะสมแล้ว
        
        ข้อมูลมีความน่าเชื่อถือสูง เพราะได้รับควบคุมและปรับโครงสร้างข้อมูลแล้ว
      - ข้อเสีย
        
        ค่าใช้จ่ายสูงในการบำรุงรักษา
    - - ข้อดี
        
        เก็บข้อมูลหลากหลายรูปแบบได้
        
        เริ่มใช้งานได้รวดเร็ว
        
        ต้นทุนการดูแลรักษาต่ำ
      - ข้อเสีย
        
        ต้องการเครื่องมือและความรู้ในการจัดการมาก
- - - - env
        
        // upgrade pip to its latest version
        
        python -m pip install --upgrade pip
        
        // install virtualenv
        
        pip install virtualenv
  - - - vsCode
      - extension
  - - - https://airflow.apache.org/
      - Video :https://www.youtube.com/channel/UCHoLIMtg_OigNlJmjHX9J8Q/featured
      - step
        
        run vscode
        
        set interpret : ctrl+shiftr+p
        
        md airflow_docker
        
        cd airflow_docker
        
        remove-item alias:curl
        
        curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.1.1/docker-compose.yaml'
        
        md dags, logs, plugins
        
        docker-compose down --volumes --rmi all
        
        docker-compose up airflow-init
        
        edit docker-compose.yaml * cut off cerrary
        
        https://randomuser.me/api/
        
        docker exec -it <container name/id> /bin/bash
        
        pip install pymongo
      - https://airflow.apache.org/docs/stable/start.html
    - - SLA : Service Level Agreement
    - - DAG's
      - Scheduler
        
        https://crontab.guru/
      - Executor
      - Web GUI
      - concept airflow
        
        workflows :DAGs
        
        DAG Runs
        
        Tasks
        
        How to define task that computer can run
        
        task run successfully
        
        attempt handle failure
        
        recurring task
        
        Task Instances
        
        Task Lifecycle
        
        Operators
    - - Airflow for ML and ETL Pipelines
        https://www.youtube.com/watch?v=428AiCBMZoQ
      - https://github.com/fawazahmed0/currency-api#readme
        
        https://cdn.jsdelivr.net/gh/fawazahmed0/currency-api@1/latest/currencies/usd/thb.json
      - https://github.com/public-apis/public-apis
      - https://data.go.th/en/dataset
      - https://datasetsearch.research.google.com/
      - https://www.freecodecamp.org/news/https-medium-freecodecamp-org-best-free-open-data-sources-anyone-can-use-a65b514b0f2d/
      - https://govspending.data.go.th/api/documentation
      - ลงทะเบียน api-key
        
        https://opend.data.go.th/register_api/
        
        https://data.go.th/dataset/covid-19-daily