Please enable JavaScript.
Coggle requires JavaScript to display documents.
ETL&ELT Data Engineering - Coggle Diagram
ETL&ELT
Data Engineering
Multi-Source
IOT
sensor
pipe line
steam data
social
ได้เรียนแล้ว
Basic Python
Basic Database
SQL
NoSQL
สิ่งที่ผู้เรียนอยากรู้
ใช้ IOT
data.go.th
การ clean ที่เป็นอัตโนมัติ
การ transform ที่ซับซ้อน
ETL
Extaction
Full
Partial
with update notification
without update notification
Not effect source performance
Transformation
Clean, Map, Transform
Tasks
Selection
Matching
Data Clensing or Enrichment
Consolidations or Summarization
Types
Standardising data
Character Set conversion and Encoding handing
Calculated and derived values
Splitting or Merging fields
Conversion of units of measurement e.g. date time
deduplication
Key restructuring
Summarization, Aggregation & Consolidation
Loading
types
Initial
Incremental
Full refresh
ETL vs ELT
ETL
ข้อดี
การจัดการข้อมูลด้านความเป็นส่วนตัวและความยินยอมทำได้ดีเพราะมีการตรวจสอบก่อนนำไปใช้จริง
ข้อมูลพร้อมใช้งาน เพราะได้ถูกแปลงให้อยู่ในรูปแบบที่เหมาะสมแล้ว
ข้อมูลมีความน่าเชื่อถือสูง เพราะได้รับควบคุมและปรับโครงสร้างข้อมูลแล้ว
ข้อเสีย
ค่าใช้จ่ายสูงในการบำรุงรักษา
ELT
ข้อดี
เก็บข้อมูลหลากหลายรูปแบบได้
เริ่มใช้งานได้รวดเร็ว
ต้นทุนการดูแลรักษาต่ำ
ข้อเสีย
ต้องการเครื่องมือและความรู้ในการจัดการมาก
Tools
company
Features
source and target data system connectivity
scalability and performance
prebuilt transformation connectors
Data profiling and data cleaning
Logging and Exception handling
Robuts administration features
Easy integration with web services
Efficient batch and real time processing
Team
CDM expert
Local data expert
Data engineering
Person with in Domain knowledge
Business stakeholder
Dbeaver
dbeaver.io/lownload
tutorial
การเตรียมพร้อม
docker
การติดตั้ง
https://docs.docker.com/compose/install/
ดาวโหลด
https://www.docker.com/products/docker-desktop
wsl2 :
https://aka.ms/wsl2kernel
python
ดาวโหลดที่
https://www.python.org/
env
// upgrade pip to its latest version
python -m pip install --upgrade pip
// install virtualenv
pip install virtualenv
ตรวจสอบการติดตั้ง
ติดตั้ง ตามขั้นตอนต่อไปนี้
vsCode
ตัดตั้ง
vsCode
extension
ดาวโหลดที่
https://code.visualstudio.com/
airflow
การติดตั้ง
https://airflow.apache.org/
Video :
https://www.youtube.com/channel/UCHoLIMtg_OigNlJmjHX9J8Q/featured
step
run vscode
set interpret : ctrl+shiftr+p
md airflow_docker
cd airflow_docker
remove-item alias:curl
curl -LfO '
https://airflow.apache.org/docs/apache-airflow/2.1.1/docker-compose.yaml
'
md dags, logs, plugins
docker-compose down --volumes --rmi all
docker-compose up airflow-init
edit docker-compose.yaml * cut off cerrary
https://randomuser.me/api/
docker exec -it <container name/id> /bin/bash
pip install pymongo
https://airflow.apache.org/docs/stable/start.html
ตรวจสอบ
อะไรคือ Airflow
SLA : Service Level Agreement
หลักการทำงาน
DAG's
Scheduler
https://crontab.guru/
Executor
Web GUI
concept airflow
workflows :DAGs
DAG Runs
Tasks
How to define task that computer can run
task run successfully
attempt handle failure
recurring task
Task Instances
Task Lifecycle
Operators
Use case
Airflow for ML and ETL Pipelines
https://www.youtube.com/watch?v=428AiCBMZoQ
https://github.com/fawazahmed0/currency-api#readme
https://cdn.jsdelivr.net/gh/fawazahmed0/currency-api@1/latest/currencies/usd/thb.json
https://github.com/public-apis/public-apis
https://data.go.th/en/dataset
https://datasetsearch.research.google.com/
https://www.freecodecamp.org/news/https-medium-freecodecamp-org-best-free-open-data-sources-anyone-can-use-a65b514b0f2d/
https://govspending.data.go.th/api/documentation
ลงทะเบียน api-key
https://opend.data.go.th/register_api/
https://data.go.th/dataset/covid-19-daily
Topic: Basic Data Engineering by PSU
Meeting ID: 914 0420 3787
Passcode: 416559