Please enable JavaScript.

Coggle requires JavaScript to display documents.

MRTTLN DEA-C01, AWS BatchJob, AWS Data Pipeline, Redshift cluster Elastic…

- - - - Phân tích request flow trong các distributed application, microservices và serverless
      - Open Telemetry? X-Ray chỉ có traces, không có metrics, logs
    - - DynamoDB Stream
        
        Change data capture feature
        
        write stream record in near real-time
      - Global Secondary Index: khi cần dùng partiton key, sort key khác hẳn table chính.
        Cần phải cấu hình Write Capacity Unit (WCU) cho bảng chính và GSI để tránh throtted vì khi write vào table chính thì cũng đồng thời write vào các GSI, có thể nói GSI là clone của table chính khác partition key/ sort key
      - Local Secondary Index: khi cần dùng chung partition key nhưng khác sort key với bảng chính, tổng kích thước của table và LSI không quá 10GB
        chỉ tạo được khi tạo bảng, phụ thuộc hiệu năng table chính, đồng bộ ngay lập tức
      - Conditional write (Put/ Update/ DeleteItem) tránh duplicate data, Atomic counter làm bộ đếm numeric incremental dùng với UpdateItem
        BatchWriteItem chứa 25 individual PutItem & DeleteItem request 16MB
    - - run on large nodes with multi cores/ threads
    - - complex data type, pub/ sub, high avaiability, durability
    - - Intelligent Tiering: miliseconds
      - Express One Zone: single digit miliseconds
      - Standard: miliseconds
      - Standard IA: miliseconds
      - One Zone IA: miliseconds
      - Glacier Instant Retrieval: miliseconds
      - Glacier Flexible Retrieval: minutes or hours
      - Glacier Deep Archive: hours
    - - Reserved Instance (RI): đặt trước 1-3 năm
      - Spot Instance: tận dụng EC2 chưa dùng với giá giảm 90% so với On-demand
      - On-demand: trả tiền theo thời gian sử dụng
      - Graviton: chipset ARM based giá rẻ hơn 20-40%
    - - EBS
        
        Throughput Optimized HDD: st1, hỗ trợ throughtput (lượng truyền tải MB/s) cao, ko tối ưu IOPS (số lượng yêu cầu đọc/ ghi xử lý / giây)
        
        Cold HDD: sc1
        
        Provisioned IOPS SSD: io1 io2, workload yêu cầu IOPS ổn định liên tục consistency, phải cấu hình IOPS lúc tạo, giá cao
        
        General Purpose SSD: gp2 gp3, phù hợp với các đợt tăng giảm IO ngắn hạn, hỗ trợ burst performance
      - Instance Store
      - EFS
      - FSx
      - S3
    - - Snowmobile: 1EB, container lớn cho phép import data trực tiếp vào Glacier
      - Snowball Edge: 80TB, 210TB
      - Snowcone: 8TB
  - - - SPICE (Super-fats, Parallel, In-memory Calculate Engine): xử lý dữ liệu trong bộ nhớ, ko cần kết nối trực tiếp đến dữ liệu gốc, cải thiện hiệu suất truy vấn
      - QuickSight ML Insights
        
        Contribution Analysis phân tích yếu tố đóng nhiều nhất vào một kết quả, chẳng hạn như doanh thu hoặc lợi nhuận
        
        Narratives tự động tạo insights để cung cấp tóm tắt hoặc giải thích dữ liệu dưới dạng văn bản
        
        Forecasting dự đoán, tích AMZN SageMaker Autopilot
        
        Anomaly Detaction tự động phát hiện cảnh báo bất thường, phân tích dữ liệu xác định các giá trị không theo xu hướng thông thường
      - QuickSight Enterprise: dùng IdP (identity) federation using SAML2.0
    - - Standard Queue: throughput cao, ko chính xác về thứ tự. S3 Event notification chỉ support dạng này!
      - FIFO Queue: chính xác thứ tự, giới hạn thoughput 300 send-receiver/s mà ko có batching, có batching thì x10
    - - Layer: group hết các libraries dùng chung tiện lợi
      - timeout: 15minutes
    - - continuous data replication: ko giống như Glue chỉ ETL, DMS hỗ trơ stream data liên tục
      - managed service, NOT serverless
    - - Các state
        
        Map: for-each, vòng lặp trên một danh sách phần tử, các phần tử xử lý đồng thời trong giới hạn khả năng xử lý song song (MaxConcurency)
        
        Parallel: song song, mỗi luồng có thể hoàn thành khác nhau, phù hợp các task không liên quan nhau
        
        Choice: if-else logic
      - Trong state machine sẽ có các task
    - - AWS PivateLink
      - Interface Endpoint, Gateway Endpoint
      - Endpoint policy: kiểm soát quyền truy cập vào S3
  - - - serverless, tập trung ETL với code Python hoặc Scala, NOT data replication
      - Data Catalog
        
        hỗ trợ import Apache Hive
        
        tích hợp EMR, Athena
      - Glue Triggers: kích hoạt các task trong AWS Glue như ETL job/ crawler dựa trên thời gian theo lịch hoặc khi các job khác hoàn thành
      - batch processing, may not be the optimal choice for real-time data processing and enrichment from the Kinesis stream
      - DataBrew: Excel support, no-code solution, serverless
        data cleaning, profiling, transformation. 250 task xử lý: xóa trùng, đổi định dạng.
        
        NEST_TO_MAP: chuyển đổi các cột data thành 1 cột duy nhất dưới dạng JSON object
        
        NEST_TO_ARRAY: như trên, nhưng dạng array
      - Crawler: tự động thu thập metadata/ chema từ S3, RDS hoặc DynamoDB. Cập nhật metadata vào Data Catalog.
        Quản lý metadata, schema tự động. CÒn Glue phải tự định nghĩa.
      - Glue Studio: kéo thả quản lý các ELT jobs, tích hợp nhiều nguồn & đích S3, Redshift, JDBC
      - Gule ETL jobs: job ETL dựa trên Apache Spark, hỗ trợ Python/ Scala, xử lý theo mô hình phân tán
      - Glue Workflow: phối hợp ETL job, crawler, trigger
      - Glue Streaming ETL: xử lý data từ Kinesis/ Kafka
      - Glue Connector: lib connection cho MongoDB, Snowflake, Salesforce
      - Glue Dev Endpoints: môi trường phát triển cho việc viết và test mã ETL
      - Glue ML Transforms: tích hợp thuật toán ML để làm sạch và chuẩn hóa data
      - Pratition Threshold: lớn 70% thì sẽ tạo 1 table với column chứa 2 schema, số lượng schema khác nhau không quá 5
      - tương tự: Apache Hive, cũng có Hive Metastore ~ Glue Data Catalog
    - - phức tạp hơn AWS Glue, cluster giúp chạy Hadoop, Spark, HBase, Flink, Presto
      - theo docs: The cluster node can reside only in one AZ or subnet
      - EMR File System (EMRFS): allow cluster store data persistently on S3 unlike HDFS store data locally on cluster node
    - - near real-time, load streaming data to a target S3, Elasticsearch, Splunk
      - Trigger Lambda để chuyển đổi data trước khi đưa xuống target S3. Dùng ETL
      - Accept data directly from source like Kinesis Agent OR use Kinesis Data Stream as it source
    - - one-time or bulk perioodic bulk data transfer with optimization
    - - data warehouse
      - kiến trúc MPP (Massively Parallel Processing)
      - Data API: support IAM, async/ sync
        
        Ko cần quản lý connection, ko cần JDBC/ODBC
        
        tương thích serverless
      - distribution style: xác định cách dữ liệu của các table được phân phối trên node của cluster
        
        KEY distribution style: phân phối các rows dựa trên giá trị của một cột cụ thể (distribution key), vd: customer_id trong customers và transactions
        
        ALL distribution style: sao chép toàn bộ dữ liệu của tables trên các nodes trong cluster
        
        AUTO distribution style: table <5MB dùng ALL distribution style, table >5MB dùng EVEN distribution style
        
        EVEN distribution style: phân phối dữ liệu đều trên tất cả các node mà ko phụ thuộc vào giá trị bất kỳ cột nào => dữ liệu phân chia ngẫu nhiên đảm bảo cân bằng tải
      - ABCXY
        
        UNLOAD: xuất dữ liệu từ Redshift ra S3
        
        VACUUM: don dẹp dữ liệu không cần thiết
        
        VACUUM DELETE ONLY
        
        VACUUM REINDEX
        
        VACUUM FULL
        
        COPY: copy data từ S3, DynamoDB hoặc local file vào Redshift
        
        DEEP COPY: như COPY nhưng thêm khả năng tối ưu hóa & nén
        
        ANALYZE: cập nhật thống kê dữ liệu trong 1 table
      - Query editor v2: query schedule, visualization, kết nối nhiều redshift cluster
        truy vấn, quản lý table/ schema
      - Materialized View: là một cái view precomputed results nên không cần query đến table gốc nữa do đó sẽ nhanh hơn, tuy nhiên do precomputed results nên lâu lâu cần phải refresh data
      - Spectrum: là một lớp sreverless bên ngoài Redshift truy vấn data trực tiếp từ S3 Parquet, ORC, JSON, CSV, Avro ko cần tải data vào Redshift
        Mặc dù cũng tương tự Athena nhưng cần dùng trong trường hợp kết hợp với dữ liệu của Redshift DWH (relational) và S3 (non-relational)
      - Redshift Serverless: lưu trữ data trực tiếp trên S3, ko như Redshift provisioned clusters lưu trên các node, phải dùng Spectrum mới query data từ S3 được
    - - phân tích data real-time, allow consumer READ data, muốn gửi lên thì gọi PutData API
      - https://stackoverflow.com/questions/64093310/whats-the-use-cases-of-streams-and-firehose
      - Batch messages allows multiple records to be sent in a single API call, prevent error ProvisionedThroughputExceededException occurs when the data sent to a Kinesis shard exceeds its provisioned capacity (1MB/second write or 1000 records/second per shard)
      - Trigger Lambda: xử lý theo thời gian thực (batch) để phân tích log/ xử lý giao dịch/ fraud detection
      - Metrics
        
        ReadProvisionedThroughputExceeded, WriteProvisionedThroughputExceeded metric về shard
        
        GetRecords.IteratorAgeMilliseconds lattency và độ trễ
      - Kinesis Producer Library (KPL): thư viện gửi data đến Data Streams, có batching và aggregation phức tạp hơn AWS SDK, tốn thêm tài nguyên để chạy KPL (do viết bằng C++) nhưng cost rẻ hơn khi xử lý lượng lớn record nhỏ.
        Thường bị duplicate records khi write vô Data Streams vì network timeout KPL sẽ retry sending same record, lack of idempotency do Kinesis Data Streams không có built-in idempotency cho PutRecords
    - - continuos access to AWS-backed storage via local caching
    - - khi ứng dụng gửi GET, HEAD, LIST, chuyển yêu cầu đến Lambda
      - Lambda xử lý và trả về kết quả cho ứng dụng, ko cần lưu trên S3
      - tạo Access Point Object Lambda để kết nối vơi Lambda function
    - - Apache Flink API: DataStream API, SQL API, Table API
      - Windowed Processing: Tumbling Window chia data thành các khoảng thời gian không chồng lặp, Sliding Window các khoảng thời gian chồng lặp, Session Window
      - full managed real-time analytic, hỗ trợ windowed functions
    - - gửi dữ liệu JSON kèm metadata, hỗ trợ event-filtering theo nội dung và metadata => chậm hơn SNS do xử lý nhiều logic hơn
      - event-drive architecture, tích hợp 3rd party app nhiều dịch vụ tích hợp, xử lý sự kiện
    - - JSON hoặc text, chỉ có topic-level filtering
      - hệ thống pub/sub để gửi noti
  - - - Workgroup: quản lý, giám sát các nhóm user khác nhau, lưu trữ kết quả query
      - Federated Query: cho phép query từ nhiều nguồn S3, RDS, DynamoDB, Redshift hoặc cả trên on-premise
      - serverless, CTAS (Create Table As Select): tạo table mới từ query và save vô S3 với định dạng khác như Parquet, ORC
        
        CTAS support partitioning (year=2024)
        limited and the partitioned columns have low cardinality => cột có ít giá trị duy nhất vd. year/ region phù hợp cho WHERE
        
        Trong partitioning thì chia các bucketing nhỏ hơn
        high cardinality and evenly distributed values, cardinality cao là cột có nhiều giá trị duy nhất như UserId phù hợp cho việc JOIN/ GROUP BY
      - Athena Workgroup: phân quyền, lưu lại kết quả
      - Data Partitioning: phân chia dữ liệu dựa trên các cột như month, year, region...nhằm tăng tốc query vì chỉ quét các partition cần thiết thay vì toàn bộ
      - Partition projection: giúp quản lý các partitioned hiệu quả hơn, thay vì scan partition thủ công từ S3 thì Partition Projection cho phép xác định phân vùng động dựa trên quy tắc định nghĩa trước ở AWS Glue Data Catalog
      - Athena supports creating tables and querying data from CSV, TSV, custom-delimited, and JSON formats; data from Hadoop-related formats: ORC, Apache Avro and Parquet; logs from Logstash, AWS CloudTrail logs, and Apache WebServer logs
      - Query (tương tự dùng cho cả Apache Hive)
        
        MSCK REPAIR TABLE: tự động scan cập nhật thông tin partition của table trong metadata của Data Catalog. Cấu trúc phải key-value s3://my-bucket/table-name/region=US/year=2023/month=11/
        Hive-style
        
        ALTER TABLE ADD PARTITION, thủ công update partition, tốc độ nhanh hơn. Cần chỉ định LOCATION cụ thể
    - - Trong tên có SECRET nên nó quản lý những gì secret như password, API key, login info
      - Rotation key, tốn tiền hơn Parameter Store
    - - Chủ yếu lưu configuration parameters
      - Miễn phí, nếu dùng SecureString với KMS thì có thể tốn
    - - Encryption & keymanagement dùng trong S3, RDS, EBS
      - Hỗ trợ rotation Custom Master Key
      - Không thể share default key with other AWS account nên phải dùng customer-managed key (CMS)
    - - SSE-KMS (Server-Side Encryption with AWS Key Management Service keys): mã hóa bằng Key Management Service (KMS), vì dùng service riêng nên cho phép người dùng kiểm soát decryption và access qua IAM Policies và KMS Key Policies
      - SSE-C (Server-Side Encryption with Customer-Provided Keys): user cần gửi key lên khi up/ down object, S3 không quản lý key này
      - SSE-S3 (Server-Side Encryption with Amazon S3-Managed Keys): phương pháp đơn giản, S3 tự quản lý và rotation key
      - Client-Side Encryption (CSE): user thực hiện encrytion dưới client rồi up lên S3, down về thì ngược lại
    - - ghi lại hoạt động API và các thay đổi trong tài khoản AWS
      - CloudTrail Lake
        
        lưu trữ toàn bộ log của CloudTrail để phân tích
      - destination: S3, CloudWatch logs
    - - metrics, logs, events
      - CloudWatch Log Insights: công cụ phân tích log với SQL query đơn giản
    - - xây dựng, bảo mật và quản lý một data lake
      - Machine Learning và Data Catalog Tagging
      - Tích Amazon Athena, Amazon Redshift Spectrum, AWS Glue để dùng chung phân quyền
      - Quản lý quyền truy cập đến row, column