Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data Engineer for banking - Coggle Diagram

- - - - structure
        
        parquet:
        
        "ข้อมูล column base" ประหยัดพื้นที่กว่า เนื่องจากข้อมูลถูก compress ให้ file ลดลง
        
        ER diagram: concept การวางแผนที่จะทำงานกับ relation data เป็นขั้นตอนแรกที่ต้องวางแผนก่อนจัดเก็บข้อมูล
        
        df
        
        csv
        
        เก็บแบบมีตัวขั้นกลาง
      - unstructure
        
        JSON
        
        image, video
        
        XML
        
        semistructure
    - - ใช้ hadoop ผ่าน tool ที่เรียกว่า "Hbase" (เป็น noSQL: ทำงานเร็วกว่า SQL) ความยากคือ trancsaction 1 วันเป็น 100 ล้าน เวลาคนกดขอดู statement ถ้าเราใช้ RDBMS จะทำให้ช้า
      - ใช้ "key" แทนด้วยเลข accound id, "value" คือ transaction
    - - เร็ว เช่น เวลาใช้ sklearn มันจะจัดการให้เร็วขึ้น
      - ใช้หลักการ mapreduce คือแบ่งย่อยออกไปประมวล แล้วเอากลับมารวม
      - ภาษาที่รองรับ
        
        pySpark
        
        sqlSpark
      - Databrick:
        
        เป็น platform ที่ให้ user มาใช้ spark ได้ อารมณ์แบบ jupyter notebook ที่ให้ user ใช้ python
        
        resource อยู่บน cloud ทำให้ run เร็ว (ต่างกับ jupyter ใน notebook เราที่รันใน local)