Please enable JavaScript.

Coggle requires JavaScript to display documents.

Data Flow - Coggle Diagram

- - - - 대량의 반복적인 data 업무를 하는 과정
        
        가용 컴퓨팅 자원이 나오고 user와의 작용이 없을 때(이 시기를 batch window라고 함) 처리할 수 있도록 한다
    - - 일의 주체(who)
      - 실행 할 프로그램(what)
      - input과 output의 위치(where)
      - 일의 실행시기(when)
    - - 장점
        
        효율성
        
        data processing 할 시기를 결정 가능
        
        단순성
        
        stream processing에 비해 단순한 구조와 이예 따른 적은 유지보수비용
        
        data 질 향상
        
        user interaction 최소화 및 대부분의 업무 자동화로 인하여 error 발생율 최소화
        
        빠른 Business Intelligence
        
        한꺼번에 빠른 정보처리를 함으로써 신속하게 정보에 접근하여 빠른 business 행동을 취할 수 있도록 함
      - data dilema
        
        batch 와 streaming 간의 선택
        
        batch
        
        연속적이지 않은 대량의 data처리에 적절
        
        database updates 관리시
        
        transaction processing
        
        file 형식을 변경시
        
        streaming
        
        실시간, 연속적 data처리에 적절
        
        의료, 보안 분야에서 매우 중요
        
        대체로 batch와 streaming을 혼합하여 사용
    - - data를 이동하여 분산시스템을 적용하고, data warehouse와 data lakes를 장소에 상관없이 구축할 수 있게 됬다
        
        ETL하기 매우 좋아짐
  - - - Hadoop MapReduce
        
        MapReduce
        
        대용량 data 처리를 위한 framework 혹은 prgramming model
        
        Reduce
        
        data를 섞고 줄임
        
        Map
        
        data를 나누고 배치
        
        분산처리를 적용하여 MapReduce
        
        각 단계당 input은 key-value 쌍
        
        map function인지 reduce function인지 명시 필요
        
        Tutorial
        
        MapReduce 구조
        
        phases
        
        splitting
        
        Input을 일정한 크기로 나누는 작업
        
        1 more item...
        
        mapping
        
        각 나눠진 input들이 output이 되기 위한 배치 작업(늘어 놓기)
        
        1 more item...
        
        shuffling
        
        배치된 input 중 적절한 관계의 것들을 통합
        
        reducing
        
        shuffling 과정에서 묶인 data들이 합쳐져서 하나의 output을 산출
        
        1 more item...
        
        MapReduce의 작업 구성방법
        
        types of tasks
        
        Reduce tasks(shuffling, reducing)
        
        Map tasks(splits & mapping)
        
        execution process controling entities
        
        Jobtracker
        
        관리자
        
        1 more item...
        
        Multi Task Tracker
        
        작업자
        
        1 more item...
        
        system 상 실행되어야 할 모든 작업과 그에 따른 Namenode에는 하나의 Jobtracker와 여러 Datanode에 taskttrackers가 있음
        
        Hadoop MapReduce의 방식
        
        Job은 여러 개의 tasks로 나뉘고, cluster내 여러 data nodes에서 실행
        
        Job tracker는 data nodes의 task tracker를 이용하여 activity를 조율
        
        각각의 task는 task tracker가 담당
        
        작업 진행도를 job tracker에게 보고
        
        1 more item...
        
        task 실패시 job tracker가 다른 task tracker에게 재작업 schedule 부여
      - Hadoop Distributed File System(HDFS)
        
        Hadoop전용 형태로 파일을 저장하고 클러스터 내 병렬 배치 체계
        
        일반적인 file data system보다 우수한 처리량과 안정성
      - Yet Another Resource Negotiator(YARN)
        
        cluster nodes와 자원 사용량을 관찰하고 관리
        
        jobs와 tasks를 관리? task를 관리하면 MapReduce의 Jobtracker랑 겹치는데..
        
        ChatGPT 검색결과, Hadoop 2.0에서 Jobtracker의 기능이 YARN으로 대체 된 것이라고 함
      - Hadoop common
        
        일반 Java library들을 제공하여 전체 module 에서 사용하도록 함
  - - - Hadoop 과 Spark 비교
        
        성능(performance)
        
        Spark가 Hadoop보다 3배 빠름
        
        Naive Bayes 나 K - 평균등 머신러닝 앱에서 특히 더 빠름
        
        단, YARN 위에서 실행시 성능 저하
        
        상황에 따라 Hadoop이 더 나을 수 있음
        
        가격(costs)
        
        모두 free open source project
        
        spark가 ram을 더 많이 요구, hadoop이 disk상 memory를 더 많이 요구
        
        구성시 spark가 더 많은 비용
        
        보안 및 안정성(Fault Tolerance and Security)
        
        Spark는 data를 executor nodes에 저장하므로, executor나 drivers간의 연결이나 node에 실패 발생시 data에 문제가 발생할 수 있음
        
        보안 측면에서 Hadoop과 Spark 모두 Kerberos authentication 이용
        
        Hadoop의 경우, Apache Sentry를 이용하여 더 세밀한 보안 조정 가능
        
        Machine learning
        
        Hadoop
        
        Mahout
        
        Samsara
        
        Spark
        
        MLLib
        
        Java, Scala, Python, R
        
        Hadoop과 Spark를 같이 사용
        
        stream analysis 와 batch analysis가 모두 필요할 경우
        
        Hadoop
        
        무거운 작업(disk-heavy operationos)을 저렴한 대가로
        
        YARN을 이용하여 data 보관 및 보관 data 분석
        
        Spark 즉각적이고 많이 발생하는 작업 처리
        
        결론
        
        특성을 파악하여 용도에 맞게 적용할 것 권장
        
        hadoop 과 spark 소개
        
        Spark 란
        
        2012년 시작된 data 분산처리 시스템
        
        Hadoop과의 차이는 in-memory
        
        RDD, Mesos, Spark SQL, MLLib, GraphX, hoc queries
        
        Hadoop 이란
        
        2006년 시작한 다용도 분산 처리 시스템
        
        HDFS, YARN, MapReduce, Sqoop, Mahout
        
        구조(Architecture)
        
        Spark
        
        Hadoop과 유사하나, 대부분의 작업을 in memory에서 처리하고 저장
        
        read to SparkContext
        
        RDD 구조 생성
        
        1 more item...
        
        Hadoop
        
        MapReduce 에 정의된 구조
        
        Yarn은 resource를 Job tracker에게 할당
      - Resilient Distributed Datasets(RDD)
        
        Spark = RDD + Interface
        
        2012 NSDI Best Paper 논문 정리 자료(Spark가 왜 우수한지에 대한 내용)
        
        MapReduce 의 부족한 점
        
        복잡한 multi-stage 한 처리 (머신러닝, 그래프)
        
        interactive 하고 ad-hoc 한 쿼리에 대한 약한 지원
        
        iteration시 HDFS를 거치는 지점을 대신에 RAM에 caching하는 방식 적용
        
        fault-tolerant & efficient?
        
        replicate를 하면 fault-tolerant, efficiency 가 덜 희생되지 않도록 RAM에 read-only로만 그리고 versioned 방식으로 replicate
        
        수행중 메모리 부족시 LRU로 안쓰는 partition 제거
        
        1 more item...
        
        수행 중 fault 발생시 다른 노드에서 실행
        
        checkpoint 지정시 병렬로 background에서 비동기처리(async)로 복원
        
        코딩
        
        lineage 계보를 DAG으로 디자인
        
        이를위해 2가지 operator 지원
        
        2 more items...
        
        dependency
        
        1 more item...
        
        Job scheduling
        
        1 more item...
        
        in-memory HDFS(HadoopBinMem) vs RDD(spark)
        
        Spark가 빠름
        
        원인
        
        3 more items...
    - - open source, 분산처리되는 SQL query engine
        
        적은 latency, ad-hoc analysis 에 최적화
        
        ad-hoc analysis란
        
        회사 data를 이용하여 Business 결정을 내리기 위한 분석을 제공하는 것(IT부서의 업무 없이도)
        
        표준 ANSI SQL 지원
    - - Hadoop MapReduce 의 이점을 적용한 SQL user Interface
        
        distributed, fault-tolerant warehouse 만들 때 사용, SQL 사용에 익숙한 비개발자를 위한 서비스
        
        SQL과 유사한 HiveQL사용됨
        
        MapReduce, YARN 적용
        
        database 와 table metadata를 metastore(일종의 database 혹은 file-backend system)에 저장
        
        HCatalog
        
        management layer의 저장공간이자 table
        
        Hive metastore로부터 data를 읽고 Hive, Apache Pig, MapReduce간 같은 data구조를 갖도록 해서 통합적인 작업환경 구축
        
        WebHCat
        
        1 more item...
    - - HDFS 와 amazon S3에서 가동하는 open source, non-relational, versioned database
        
        versioned database란
        
        변환점만을 저장하는 방식의 database
        
        random, strictly consistent, real-time access for tables with billions of rows and millions of columns
    - - 양방향 적으로 data 탐색을 하기 좋은 notebook
  - - - Apache Hadoop, Spark, HBase, Presto를 사용하여 bigdata분석이 가능하도록 하는 amazon 서비스
      - 장점들
        
        쓰기쉽고, 싸고, 유연하고(Elastic), Transient(HDFS 유사물인 EMRFS가 적용), Secure(대충 아마존 보안 짱짱)
- - - - Load
        
        $$ staging area \rightarrow data\ warehouse $$
      - Extract
        
        $$ source \rightarrow staging\ area $$
      - Transform
        
        staging area 에서 분석적 사용을 위해 변환 및 통합
    - - ELT랑 달리 가공을 먼저 하므로, 초반에 결정할 사항이 더 많음
    - - capabilities
    - - data cleansing prior
      - smaller traget repositories
      - less frequent updating
  - - - 구조화되지 않고, 대용량의 data를 다루는 데 적합
        
        즉, big data management
  - - - 변동된 data만을 찾아서 system에 옮기는 방식
        
        ETL의 Extract부분 비용감소를 위해 사용
    - - 실시간 혹은 일정 묶음으로 data의 변화를 data source로부터 central database로 복사
        
        재난 복구용 백업에 사용
    - - software abstraction layer(추상화 계층)을 이용하여 data의 직접적인 변형없이 data를 가공하고 살필 수 있는 view 제공
        
        ETL의 대안
    - - 실시간 계속적으로 ETL을 진행
- - - - 조직이 판단을 내리기 위해서 data를 분석해야되고, 분석을 하기 위해서는 다량의 data가 조합될 필요성이 있음
        
        다양한 곳에서 획득한 raw data만으로 조합할 시 data는 취합하기 어렵고, 잘 못된 판단을 내릴 위험성이 증가함
        
        막대한 data의 획득과 변형을 자동화할 필요가 생김
        
        특히 조직이
        
        실시간 데이터 분석을 한다면
        
        cloud에 data를 저장한다면
        
        다양한 곳으로부터 data를 수집한다면
        
        datapipeline은 매우 중요
  - - - 대체로 과정상 raw data를 임시저장소에 table형태로 저장한 뒤, 변형하여 최종 위치의 table로 저장
    - - 날씨api로부터 data 획득
        
        온도 단위(F or C)등 간단한 가공
        
        날씨 dashboard
  - - - 표현방식
        
        edge 는 의존성(dependencies)
        
        화살표 방향으로 의존성(dependencies)방향 표시, task의 순서를 표현
        
        task는 node
      - Directed Acyclic graph(DAG)
        
        acyclic
        
        cyclic 일 경우, task 실행이 불가능해지면서 진행이 막히는 문제 발생
- - - - 앱 적용시 이점
        
        control 로직과 business 로직을 분리하여 관리 용이
      - Reliability
      - Simplicity
      - Scalability
      - Flexibility
    - - Application orchestration
      - Data processing
        
        ETL
      - DevOps and IT automation
      - Ecommerce
      - Web applications
      - Machine learning
        
        machine learning 하기 위해 ETL
      - Security automation
      - Media processing
    - - 업무 자동화 등의 독자적 코드
        
        workflow 전용 library 도입
        
        시각화 뒤 재조정
    - - component들간의 상호작용이 중점
        
        microservice 와 container조율
        
        일반적으로 다음을 포함
        
        microservice chaining
        
        asynchronous or synchronous responses
        
        human interactions
        
        container orchestration
        
        choreography
        
        branching
        
        error handling
    - - AWS Step Functions
        
        AWS 서비스간 조율, business processes 자동화, serverless application 구축에 사용하는 workflow 시각화 서비스
      - Amazon Managed Workflows for Apache Airflow(Amazon MWAA)
        
        Apache Airflow와 유사한 서비스
  - - - Airbnb 에서 제작
      - platform
        
        author workflow
        
        Directed Acyclic Graph(DAGs) of tasks
        
        monitor workflow
        
        schedule workflow
    - - all workflows are defined in Python code
      - purposes
        
        Dynamic
        
        Python code로 설정하므로 동적인 pipeline 생성 가능
        
        Extensible
        
        다양한 기술과 결합 가능한 operator로 인해 쉬운 확장
        
        Flexible
        
        workflow paramaterization은 Jinja templating engine을 활용
        
        Jinja
        
        템플릿 엔진
        
        템플릿의 placeholders가 Python문법과 유사한 코드를 허용
        
        1 more item...
        
        템플릿 엔진이란
        
        1 more item...
    - - Pypi installation
        
        using pip to install at local environment
        
        quick start
        
        주의사항: pip나 python을 pip3나 python3로 수정
      - production docker image installation
        
        installation at container environment like docker
    - - why
        
        using python
        
        여러명이 동시에 개발가능
        
        test code 작성 가능
        
        다양한 components 사용 및 확장 가능
        
        version contol이 되서 roll back 가능
        
        복잡한 pipeline을 쉽게 정의하고, 일정한 간격으로 실행하며, 이전 데이터를 이용하여 변경한 pipeline을 실행하고, error 수정 뒤 부분 pipeline을 재가동
        
        opensource라서 다양한 검증된 사용법
      - why not
        
        airflow is built for finite batch workflow
        
        not a streaming solution
        
        use Kafka (though can be used with Kafka)
        
        coding must be required
    - - 구성요소
        
        Directed Acyclic Graphs(DAG)
        
        workflow
        
        Tasks를 모으고, dependencies와 relationships를 통해서 실행방식을 구성한 것, 시간에 따른 scheduling 기능도 존재
        
        DAG 선언
        
        standard constructor
        
        @dag
        
        context manager
        
        Tasks
        
        work
        
        실행되어야 할 작업
        
        scheduler
        
        executor에 작동할 workflow 관리, 시작, task 추가
        
        작업 기준(종속 작업 완료 여부, 예약 간격, 실행 조건)이 충족되는지 여부 확인
        
        executor
        
        작동하는 task 관리
        
        일반적으로 scheduler안에서 작동하나, task 분배를 하는 경우도 있다.
        
        webserver
        
        자동생성되는 에어플로우 결과 확인 및 관리용 페이지
        
        DAG 파일 폴더
        
        scheduler와 executor가 실행하는 dag가 저장된 폴더
        
        metadata database
        
        scheduler, executioner, webserver가 상태를 저장하는데 쓰이는 db
        
        그외 task 수행에 필요한 추가 구성물
        
        python operator와 shell은 기본적으로 포함
    - - big_tutorial 처음 접할 때 이것을 먼저 보는 것도 괜찮습니다
- - - - 사용자에게 하나의 컴퓨터처럼 사용되는 여러 컴퓨터의 집합물
        
        예: amazon, casandra, kafka cluseter
      - 3가지 기본특징
        
        동시 작동
        
        고립적으로 실패 혹은 고장
        
        시간을 공유하지 않음
    - - Storage
        
        Consistent Hashing
        
        consistency
        
        $$ R + W > N $$
        
        CAP Theeorem
        
        3가지 특성
        
        Available
        
        Partition tolerent
        
        Consistency
        
        3가지 중 오직 2가지만을 갖을 수 있다.
      - Computation
        
        MapReduce
        
        wordcount
        
        Hadoop
        
        Spark
        
        Kafka
      - Messaging
        
        means
        
        loosely coupling subsystems
        
        apache kafka
        
        용어정리
        
        Message
        
        변형 불가 byte배열
        
        Topic
        
        Message들의 전송
        
        Producer
        
        Message를 만드는 process
        
        Consumer
        
        Topic을 수신하는 단일 thread process
        
        Broker
        
        cluster를 이루는 server들 중 하나
        
        Stream 을 잘 못 쓸 경우의 문제(Lambda Architecture)
- - - - 실시간 내에서 data 흐름을 처리
        
        최소한의 latency내에서 실시간 보고 또는 반응 자동화 등의 처리
        
        끊임없이 발생하는 input data(형태는 일반적으로 unstructured 또는 semi-structured, 예: json)를 miliseconds to seconds(최대..)의 latency 내에서 batch processing에서 하는 처리를 하여 실시간 수요(analytical data store, real time dashboard)에 맞추는 것
    - - 대용량의 data에 대해 ingest, process, store 과정을 실시간으로 진행
      - ingestion pipeline이 block 되지 않을 것
      - data에 따라 빠르게 대응 할 수 있을 것(alarm, dashboard 표현)
    - - Real-time message ingestion
        
        일반적 data store형태로 저장 혹은 scale-out processing과 reliable delivery를 지원하는 buffer를 이용 가능
        
        Technology choices
        
        Real-time message ingestion
        
        Azure IOT Hub
        
        Apache Kafka
        
        Azure Event Hubs
        
        Data storage
        
        Azure Storage Blob Containers
        
        Azure Data Lake Store
      - Stream processing
        
        filtering, aggregating 등의 처리를 통해 data analysis 준비
        
        Technology choices
        
        Stream processing
        
        Azure Stream Analytics
        
        Storm
        
        Spark Streaming
      - Analytical data store
        
        구조화하여 분석 tool에 제공
        
        Technology choices
        
        Azure Synapse Analytics
        
        Azure Data Explorer
        
        Hbase
        
        Spark
        
        Hive
      - Analysis and reporting
        
        분석 결과를 통해 insight를 뽑을 수 있을 것
        
        Technology choices
        
        Azure Analysis Services
        
        Power BI
        
        Microsoft Excel
  - - - event streaming platform
        
        event 중심이고 topic으로 구성되며 database와 process들을 연결
        
        분산처리 기본 적용(내부에서 자동 적용)
        
        Confluent or AWS MSK?
      - event(read or write at Kafka)
        
        made of
        
        value
        
        timestamp
        
        key
        
        Producers
        
        client application publishing events
        
        never need to wait for consumer
        
        Consumers
        
        subcribe(read and process) events
        
        stored at topics
        
        몇 번이고 읽을 수 있으며 지정한 topic적재량에 따라서 오래된 것부터 순차적으로 삭제
        
        partition으로 여러 broker(server)에 나뉘어 저장
        
        새 envent발생 시, topic의 partition에 추가되며, 같은 event key를 갖고 있는 event끼리 같은 partition에 저장, consumer는 해당 topic-partition의 event를 같은 순서로 consume
        
        fault-tolerant and highly-available
        
        모든 topic은 replicated 가능(일반적으로 1 leading event와 2 follower event로 구성)
      - guarantee
      - design
    - - Intro to Streams
      - Kafka Streams Demo Application 실행
        
        3번째 step의 topic생성에서
        ERROR org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: createTopics 으로 막혀서 정지
- - - - kafka docker container 연결
        
        KAFKA_LISTENERS
        
        INTERNAL
        
        same container network
        
        EXTERNAL
        
        same cluster
        
        different cluster
        
        KAFKA_ADVERTISED_LISTENERS
        
        KAFKA_LISTENER_SECURITY_PROTOCOL_MAP
        
        java 코드로 producer 생성시 마주친 오류
        
        slf4j 오류
        
        docker container내에서 port 접근 오류
        
        listener의 localhost나 broker등의 이름을 없애서 해결
        
        왜?