Please enable JavaScript.

Coggle requires JavaScript to display documents.

클라우드를 활용한 데이터 파이프라인 구축 - Coggle Diagram

- - - - 가상 컴퓨팅 환경
    - - 버킷
        
        객체에 대한 컨테이너
        
        일종의 root폴더
      - 객체
        
        저장되는 기본 개체
      - 키
        
        고유 식별자
    - - Oracle, postgreSQL, MariaDB, Microsoft SQL Server
    - - 개발자가 api를 생성, 게시, 유지관리, 모니터링 하게 해줌
    - - AWS 리소스와 AWS에서 실행중인 어플 모니터링
  - - - 메세지 큐
- - - - 데이터 수집
        
        전처리 및 저장
        
        분석 및 시각화
        
        Amazon Athena, Apache Zeppelin, tableau, Periscope Data, Superset
        
        AWS Glue, Amazon S3
        
        Amazon EMR
        
        Amazon Kinesis Streams, Amazon Kinesis Firehose, Amazon API Gateway, Lambda function
- - - - 다른 데이터를 설명해주는 데이터
  - - - 컴퓨팅에서 데이터베이스의 이용과정
        
        최종대상(데이터 베이스)으로 변환(조회 또는 분석을 목적으로 한 적절한 포멧) 데이터 적재
  - - - 각 나라의 lD 센터
  - - - 퍼블릭 클라우드 환경에서 사용할 수 있는 고객전용 사설 네트워크
    - - 내부 네트워크에서 외부로 나가는 주소를 외부 네트워크 주소로 변환하고 또한 그 패킷에 대한 응답패킷의 목적을의 주소를 다시 패킷이 발송된 내부네트워크 주소로 변환하여 주는 기능
        
        Stataic NAT
        
        Dynamic NAT
        
        PAT
    - - 인터넷과 같은 컴퓨터 네트워크에서 장치들이 서로를 인식하고 통신을 하기 위해 사용하는 특수한 번호
        
        public IP
        
        기관 ICANN이 각 나라별로 할당한 기관(대한민국은 KISA)을 통하여 할당한 인터넷상에서 사용 할 수 있는 IP주
        
        private IP
        
        내부 네트워크상에서만 사용되는 주소로 인터넷상에서 사용할 수 없는 IP주소
  - - - 인스턴스 상태
        
        중지(stop)
        
        저장공간은 유지하기 때문에 저장공간, IP에 대한 과금을 한다.
        
        종료(terminate)
        
        저장공간의 내용을 모두 지운다. 과금은 모두 멈춘다.
        
        절전(hibernate)
        
        중지 실행 상태, 과금된다.
        
        시작
        
        비용 부과, IP가 재설정된다.
- - - - IAM 생성
      - IAM 대시보드
        
        사용자(좌 메뉴)
        
        사용자
        
        선택 후 보안 자격 증명
        
        액세스 키 만들기
  - - - 인바운드 규칙
        
        규칙추가 후 포트범위, 소스(접근가능 IP설정),
      - 아웃바운드 규칙
        
        보통은 그냥 열어둠
    - - 리전 설정
      - 새 키 페어 생성
        
        키페어이름을 지역명을 추가하여 생성
    - - SSH 클라이언트 이용
        
        keypair가 있는 디렉토리에서 콘솔창에 입력하여 이용
    - - IAM 대시보드
        
        역할(좌 메뉴)
        
        역할 만들기
        
        ec2
        
        Administrator Access 추가
        
        태그 및 검토 등
        
        1 more item...
      - ec2의 버킷등에 권한 부여
    - - 버킷 확인
        
        aws s3 ls
      - export bucketname=유일한 이름
        
        변수에 넣어주기
        
        aws s3 mb s3://$유일한 이름 --region 리전명(지역명)
        
        버킷명 생성 실
      - 버킷 삭제
        
        s3 진입 후 버킷 명 찾아서 삭제
      - 버킷으로 폴더 이동
        
        해당 자료 디렉토리에서
        
        aws s3 sync . s3://$버킷이름 --exclude '.git/*'
        
        s3 진입 후 버킷명 클릭하면 확인
  - - - logs
        
        샘플 이벤트로그
      - ods
        
        DB에 있는 마스터 서버 테이블
      - script
        
        데이터 실습 스크립트
      - test
        
        데이터 발생 위한 자료파일
  - - - sudo yum update -y
    - - sudo yum install httpd -y
    - - sudo service httpd start
      - 확인
        
        ps -ef|grep httpd
    - - 루트 사용자 디렉토리
        
        sudo su -
      - http 서비스 디렉토리로 이동
        
        cd /var/www/html
      - vim 으로 편집
        
        vi index.html
    - - aws 인스턴스 연결
        
        DNS를 사용하여 인스턴스 연결 내용 복사
    - - ec2 생성시 고급 세부 정보
        
        사용자 데이터란에 스크립트 입력시 해당 스크립트가 생성되며 자동 실행
  - - - logstash
    - - kafka
        
        ec2
        
        t2.medium 이용
        
        인스턴스 개수: 2
        
        생성 후 하나는 producer로 다른 것은 server로
        
        server
        
        7 more items...
        
        producer
        
        1 more item...
    - - logstash
        
        ec2 생성
        
        t2.medium
        
        java 설치(미리실행방식으로 했음)
        그 후 업데이트
        
        이 후 같은 방식으로 logstash 설치
        
        consumer 폴더 생성
        
        1 more item...
      - 현재는 server에서 받은 정보를 출력하기만 하는 것이 목적
- - - - 앱 발생 이벤트 관리
    - - 대규모 데이터 스트림 관리용 큐 시스템
        
        shard를 이용해 병렬처리
    - - 일종의 버퍼
        
        람다를 이용하는 경우도 있으나, 데이터 중복발생위험이 있다.
        
        다른 서비스와 연동도 쉽다
  - - - Amazon Kinesis Streams
        
        Amazon Kinesis Firehose
        
        Amazon S3
  - - - API gateway 검색 및 진입
        
        REST API 선택
        
        새 api로 생성
        
        작업 후 리소스 생성, 메서드 생성 POST형 선택 후
        
        AWS 서비스 유형, 리전, kinesis 서비스, POST HTTP 메서드, 작업 PutRecord, 실행 역할 arn주소 입력,
        
        실행 역할에 역할을 생성하지 않았을 시, IAM의 역할에서 역할 만들기 후 API Gateway 서비스 선택 후 다음권한
        
        1 more item...
        
        메서드 도식화가 만들어진 후 통합요청 진입
        
        2 more items...
    - - Kinesis 검색 및 진입
        
        시작하기 우측 3개 중 Data Stream(리전 확인 주의) 선택 후 생성
        
        스트림 이름 생성-api gateway때 입력한 이름으로 알맞은 샤드수 선택 후 생성
        
        좌측에서 전송 스트림 클릭(Firehose)
        
        amazon S3 선택 이 후 우측 create delivery stream
        
        Source: Amazon Kinesis Data Streams, Destination: Amazon S3 입력 후, Source Settings에서 browse에서 선택
        
        1 more item...
  - - - 스크립트폴더 2주차의 fast발송 curl명령 apigateway의 것으로 치환한 것을 콘솔에 붙여넣기
        
        리턴값을 받으면 정상실행
        
        새탭aws에서 검색창에 cloudwatch 입력해서 진입
        
        좌측 로그의 로그 그룹
        
        api-gateway-excution-Logs~ 진입하면 로그확인, 하나를 진입하고 view as text로 보기쉽게 확인, 200을 확인하면 정상적인 실행
        
        kinesis를 검색창에 입력해서 진입
        
        data stream 진입
        
        만든 stream 진입(예: class-stream)
        
        그래프로 데이터양을 확인가능
        
        delivery stream 진입
        
        만든 stream 진입
        
        그래프로 데이터양을 확인가능
        
        만든 stream의 destination source의 링크 진입
        
        S3폴더를 확인가능(주소는 연월일시-utc기준-로 이루어짐-수정안됨)
        
        1 more item...
        
        api gateway의 endpoint를 이용한 데이터 수집 확인
        
        git의 파일로 시험가동
        
        받은 깃폴더 내 test폴더 내 sendPost.jar 과 ods폴더내 danji_master.csv
        
        java 설치 확인(안 되있으면 설치)
        
        1 more item...
- - - - streaming/batch
        
        ingestion tables(Bronze)
        stored at Amazon S3
        will be modified by Amazon EMR
        
        Refined Tables(Silver)
        stored at Amazon S3 and Amazon RDS
        will be modified by Amazon EMR
        
        Feature/Agg Data Store(gold)
        stored at Amazon S3 and Amazon RDS and amazon Redshift
        
        Analytics and machine learning
        
        data lake(delta lake, hadoop, Azure data lake storage, amazon s3
    - - Ganglia
        
        EMR의 클러스터 목록에서 클러스터 진입하여 요약정보에서 대기상태이고, Ganglia가 설치되어 있다면,
        
        마스터 보안그룹에 Ganglia접속포트인 80포트가 열려있어야 한다
        
        애플리케이션 이력에서 Ganglia URL을 복사한 뒤, 브라우저로 접속(현재 Forbidden으로 막힘)
        
        제공된 파일 중 shell의 ganglia-fix.sh를 (만약, S3에 깃을 통해 저장되어있다면 S3의 파일을 찾아가서 진입 후 우측 상단의 S3 URI복사 후
        
        EMR의 단계 추가에서 인수에 복사한 내용 붙여넣기, JAR위치에 리전별로 제공되는 scriptrunner 위치를 입력 후 추가
        
        1 more item...
    - - zeppelin Notebook
        
        Browser에서 Python, Scala, R 등의 언어를 섞어서 분석코드를 작성하고 시각화하는 Interpreter
        
        Jupyter Notebook과 유사
        
        우상단 드랍박스에 인터프리터 추가 가능
        
        주피터, 파일, 앵귤러, 스파크 등 다양한 것 지원
        
        create new note로 새 노트북 파일 생성
        
        실습은 import notebook 후 select JSON file
        
        source는 scala로 이루어 짐(readSource-scala.json 파일)
        
        s3의 danji_master.csv를 찾아서 url복사 후 readSource의 .csv괄호에 붙여넣기
        
        header는 첫번째 로그를 컬럼으로 넣어주는가, delimeter는 구분자를 지정, inferSchema는 string과 int등 자동 구분
        
        실행하여 확인
        
        1 more item...
        
        text타입 데이터 핸들링
        
        같은 요령으로 readParseTXT-scala.json
        
        s3 의 fc-class내 logs경로를 괄호에 붙여넣어 수정하기
        
        확인하면 파이프라인으로 구분자, 마지막은 json형태로 하나의 구분자로 됨
        
        1 more item...
      - 수집한 로그 분석(bronze data를 silver data로/예를 들면 csv를 dataframe으로 변경)
        이렇게 하면 spark SQL로 분석 가능하고, 정제된 data를 다시 csv로 제공 가능
        
        즉 CSV, Json, RDBMS Data, XML, txt, Hive, Parquet 등의 데이터를 DataFrame 으로 변형하여 분석/편집하고 다시 앞서의 파일 형식으로 재가공된 data를 저장하고 제공하는 것
        (parquet이 다양한 자료형을 소화해서 강사추천)
        
        에러 고지시점이 SQL은 syntax와 analysis 모두 runtime
        dataframe은 syntax는 compile time이고 analysis는 runtime
        dataset은 모두 compile time이다
        
        실습: git을 통해 제공된 notebook 폴더내 세 파일을 import기능으로 진행-emr의 url로 접속한 후..-
    - - AWS 에서 Apache Hadoop 이나 Apache Spark와 같은 빅데이터 프레임워크 실행을 간소화하는 관리형 클러스터 플랫폼
        
        Master Node
        
        클러스터 관리, 노드간 데이터 및 작업 분배, 작업상태 추적 및 클러스터 상태 모니터링
        
        Core Node
        
        Data Node, 클러스터의 HDFS에 데이터를 저장, 하나 이상의 Core Node 필수였으나 Master Node로 통합하는 tool(EMR자체에서 Jupyter..) 나옴
        
        HDFS로 S3사용시
        
        장점
        
        Decoupling Computing Node 와 Data Node 운영가능
        
        cluster 종료 후 cluster 재구성 시 기존데이터 읽기 가능
        
        HDFS 확장 및 용량 황인 용이
        
        11 x 9's" durability 보장
        
        elastic clusters
        
        2 more items...
        
        여러개의 cluster 서비스에서 데이터를 읽을 수 있다
        
        1 more item...
        
        다양한 hadoop ecosystem 지원
        
        Task Node
        
        compute resources 공급, no HDFS, 필수적이지 않다
    - - EMR
        
        검색창에서 EMR찾아 진입
        
        클러스터 생성
        
        고급옵션으로 이동 후 소프트웨어 구성의 릴리즈 중 emr6부터는 도커실행 할 환경제공(5중 최신버전 이용함)
        
        Hadop, Ganglia, Hive, Zeppelin, Spark, Pig 선택함,
        이 후 AWS Glue 데이터 카탈로그 설정 모두 체크 후 다음
        
        Networking에서 기본 4개의 서브넷이 생기고 노드는 맞게 생성하는데, 기본적으로 마스터 노드는 1개(메모리 기반 r이 좋으나 I type도 괜찮은 인스턴스, 강의에서는 r5d.xlarge를 고름) - 인스턴스 수는 1, 2, 1이었는데 작업노드가 홀수일 것 권장
        
        1 more item...
    - - AWS 검색창에 RDS검색 진입
        
        데이터베이스 생성
        
        표준 생성, Amazon Aurora, aurora mysql 호환버전, 프로비저닝됨, 버전 변경 안 하고, 템플릿은 개발/테스트, 클러스터 식별자 이름 적절히 짓고, 사용자 이름 및 암호 지정(계속 이용할 암호임), 버스터블 클래스를 선택하되 작은 데이터이므로 t클래스, 퍼블릭 엑세스는 예(보안그룹이 접속을 막을 여지를 줄이기 위해), 이후 데이터베이스 생성.
        
        데이터베이스 리전 클러스터는 확장을 위한 부분, 안에 라이터 인스턴스의 엔드 포인트를 이용하여 에디터 등으로 EMR Spark등에서 이용한다.
        
        보안그룹규칙을 확인하여 접속가능한지 확인(인바운드에 IP를 추가해야 한다- security group을 접속하여 규칙 추가에 유형 중 MYSQL/Aurora를 찾고 설명을 적은 뒤 규칙저장한다)
        
        강사는 datagrip이라는 에디터(클라이언트)를 이용하여 접속함
        
        1 more item...
    - - zeppelin notebook을 사용하여 RDS read_write-scala.json
        
        jdbc dirver을 이용하여 접속하므로 스크립트를 통해서 설치해야 한다-script 참조 위치는 shell/mysql-driver.sh
        emr의 단계에서 단계 복제 후 인수를 편집
        전부 설치 후 zeppelin의 연결 세션을 재기동이 필요함
        
        재기동 요령은 zeppelin의 우상단 드랍박스에서 인터프리터 선택 후 최하단으로 가서 spark 우측의 restart 그리고 다시 zeppelin 홈으로 돌아가서 노트북을 다시 진입
        
        endpoint를 url에 입력, user 및 password도 입력하여 수정
        
        실습에서는 s3의 ods내에 있는 danji_master.csv를 찾아서 url복사 후 readSource의 .csv괄호에 붙여넣기
        
        view table 생성 후 sql로 편집
        
        1 more item...
- - - - Data Catalog
        
        AWS Glue 데이터 Catalog는 영구적 Meta Data Strore
        
        구조
        
        Data Stores(Amazon Redshift, Amazon S3, Amazon RDS, Databases Running on EC2)
        
        AWS GLUE DATA CATALOG
        
        central metadata repository
        
        Amazon Athena, Amazon Redshift Spectrum, Amazon EMR
        
        access the glue data catalog for ETL analytics
        
        BI Tools
        
        AWS Glue ETL
        
        Read and write metadata to the Glue Data Catalog
      - AWS Glue Crawlers
        
        리포지토리의 데이터를 스캔 및 분류하여 스키마 정보를 추출 및 자동적으로 Metadata를 저장하는(AWS Glue Data Catalog에) Crawler 설정 기능
        
        구조
        
        Amazon S3
        
        AWS Glue Crawlers
        
        crawlers scan data set and populate glue data catalogue
        
        AWS Glue Data Catalogue
        
        glue data catalogue serves as a cetral metadata repository
        
        IAM을 생성 후, 오브젝트에 접촉하여 Glue가 편집할 수 있는 형태의 table로 변형 뒤 crawler를 이용하여 추출 저장, 메타 데이터는 JDBC를 이용하여 가져온다.
        
        Amazon Athena, Amazon EMR, Amazon Redshift Spectrum
        
        once catalogued in Glue, data is immedately available for analytics
        
        BI Tools
        
        실습진행
        
        데이터를 glue에 있는 데이터 카탈로그에 등록하는 실습
        추가로 athena를 이용해 확인까지가 목적
        
        AWS 검색창에 glue 검색 후 진입
        
        좌측메뉴의 데이터베이스 클릭 후 데이터베이스 추가
        이름만 추가해서 생성
        
        진입 후 내 테이블 이후 좌측의 크롤러 클릭 후 클로러 추가
        이름 적고, .data store, crawler all folder 이 후 다음, 데이터 스토어를 맞게 선택(실습에서는 s3를 선택, 내 계정의 지정된 경로, 포함 경로의 폴더아이콘을 눌러서 fc-class/ods/test 까지 선택을 한 후 다음, 아니요 다음
        
        1 more item...
      - AWS Glue ETL 연산
        
        AWS Glue Jobs System
        Trigger 기능
  - - - raw bucket을 aws glue data catalogue에 적재하고 amazon EMR을 이용하여 transformed datar bucket을 만든다.
    - - AWS 검색으로 EMR 진입(Hive table 생성)
        
        복제로 새로 클러스터를 생성해서 진행했다(단, 진입해서 이전을 반복해서 모든 단계(선택사항)를 살펴서 ganglia와 mysql이 설치 되어있는지, aws Glue 데이터 카탈로그 hive랑 spark이 체크되어 있는지 확인, presto를 위 릴리스 테이블에서 체크하면 데이터 카탈로그도 찍을 것(실습에서 안 찍고 진행) , 다음 을 눌러서 인스턴스를 모두 스팟으로 변경 및 가용영역 맞추기 후 클러스터 생성
        
        url을 통해 zeppelin 접속
        
        import를 통해 notebook/4-1.단지별 사용자 조회수 열고,
        fc-class의 logs를 열어서
        
        logs를 열기 전 logs를 체크하여 작업의 총 크기 계산을 통해 브론즈 데이터의 압축된 크기를 확인 가능
        
        notebook에 hive table을 이용하기위한 추가코드가 있고, 저장방식을 json으로 권장하는 이유는 용량을 많이 먹어도 static 파일보다 변경작업(parsing 작업)이 최소화되기 때문
        
        중간의 sqlContext.cachetable("logs")는 강글리아에 캐싱 테이블을 올리기 위한 것. 모든 테이블을 캐싱 해줘야 한다. 기준이 캐싱 안 된 것 위주로 진행? 이 후 전체 counting을 해줘야 모든 데이터가 올라간다. 이 후의 빠른 분석작업을 위해
        
        1 more item...
  - - - 보통 사용자, 아이템, 그리고 이 둘의 관련 데이터를 주로 생성하게 된다.
        
        zeppelin에서 4-1 단지별 사용자 조회수 import 후 첫 세션은 실행하고,
        
        zeppelin에서 매물별 사용자 조회수 import
        
        서비스 접근 방식은 분야마다 다르니 담당자와 이야기가 필요, 여기서는 일반적인 접근 시도
        
        이런 접근을 저장하기 위한 glue에 테이블 정의
        파티션은 날짜로 진행함-향후 검색용이성 및 비용감소에도 유리
        
        생성 후 glue에서 확인, 설명 칸도 입력하는 것을 권장
        
        생성 후 하이브 전환시 파티셔닝 부분을 select문의 마지막으로 옮길 것을 권장.
        
        1 more item...
    - - ODS(Opertation Data Store)를 만든다.
        
        운영을 위한 마스터서버 테이블?
      - 이벤트 로그는 대부분 id로 구성
        
        시군구, 단지등에 따른 조회수를 확인 가능한 테이블 실습 예정
        
        zeppelin 에서 4-3. 지역별 단지 조회수.zpln import
        
        첫 세션 RDS 단지 master 읽어오기에서 url 주소 및 dw를 dm으로 수정, utf-8, 그외 usre 및 pass도..
        
        data grip을 통해 table명 확인- dw의 danjiimaster의 from 이후를 복사해서 노트의 danjimasterquery 부분의 from에 붙여넣기.
        
        sql 명령어로 정보확인
        
        1 more item...
  - - - 주의: 업데이트 하란다고 업데이트하면 라이브러리가 이상해지니 하지 말 것.
      - cd/usr/lib/zeppelin/conf
        
        zeppelin-site.xml을 vi로 편집
        /cron으로 검색해서 비주석화 한 뒤, false를 true로 한 뒤, 저장 후 sudo systemctl stop zeppelin으로 중단. sudo systemctl start zeppelin으로 재기동, ps -ef|grep zeppelin으로 기동 확인
        
        노트북을 재실행하면 상단에 시계아이콘 생성됨, 이를 클릭하면 crone expression 입력을 요구하는데, 링크를 클릭하면 사용법이 나오고, 그에 맞는 표현을 작성
        
        emr을 켜놓으면 일정에 맞춰서 실행, 시간 형식 주의
- - - - Hive table Data를 BI툴에 제공
        
        실습계획
        
        pic/study/presto_practice_plan.png
        
        실습
        
        presto-cli 실습
        
        aws에서 emr 검색 후 진입. 클러스터 생성으로 복제해서 편집 zeppelin, presto, ganglia로 소프트웨어 구성 이후 presto 메타데이터에서 사용 체크, 모든 단계에 mysqldriver있는지 확인, 스팟 이용 클러스터이름 잘 지어서 생성
        
        생성된 클래스의 요약 정보에 connect to master node링크 클릭 후 콘솔을 통해 접속 후 cd /usr/lib/presto/bin
        
        prest-cli --server localhost:포트번호(실습에서는 8889) --catalog hive --schema class
        
        1 more item...
        
        presto-mysql 연동
        
        ssh로 콘솔 접숙 후 진행하는데, 기존에 사용했던 mySQL의 endpoint, userID, Password를 알아야 함.
        
        cd /etc/presto/conf/catalog
        
        1 more item...
        
        presto-zeppelin 연동
        
        aws 클러스터의 애플리케이션 이력탭에서 zeppelin user interface URL로 브라우저로 가동
        
        진행하기 전 cli에서 jdbc가 설치되어 있어야 한다.
        console을 통해 emr에 접속 후
        sudo su -
        cd /usr/lib/zeppelin/
        ./bin/install-interpreter.sh --name jdbc
        systemctl stop zeppelin 으로 정지
        ps -ef|grep zeppelin 으로 확인
        systemctl start zeppelin 으로 재기동
        
        1 more item...
      - tableau와 연동하여 간단한 dashboard 구성
        
        emr presto를 항상 켜놓는 것은 부담되기 때문에 serverless인 athena를 이용해 tableau를 가동하고 분석시만 presto를 활용하려는 시도
        
        실습은 14일 무료평가판을 이용하여 진행(학생용 1년짜리 tableau를 이용하는 것을 프로젝트에서 권장)
        
        jre 드라이버의 버전과 tableau의 버전을 맞춰서 다운로드해야 한다.
        tableau 드라이버 다운로드를 구글검색하여 aurora mysql, 데스크탑 os에 맞춰서 다운로드 한 뒤, 이를 실행하고 aws 보안그룹 중 인바운드 규칙의 mysql/aurora의 포트번호 및 소스 등을 확인.
        
        tableau 의 열기에서 endpoint와 비밀번호 등을 입력하고, 로그인시 db를 파악 가능, 좌상단의 연결 방식은 추출은 다운로드하여 진행하고, 라이브는 실시간으로 진행하는 방식, 지금 업데이트를 클릭시 데이터 확인 가능,
        
        엑셀과 같이 좌하단으로 시트 생성
        열과 행에 맞는 항목을 설정시 그래프를 생성가능
        
        1 more item...
        
        빠른 실행을 위한 presto와 tableau의 연동
        
        구글 검색창에 검색 tableau presto driver 검색 이 후 presto를 찾은 뒤, jdbc driver를 선택했음. 다운로드되면 해당 파일을 ~/Library/Tableau/Drivers/내로 옮기고(옮기기만 하면 된다.), tableau를 실행한 뒤, 좌상단 아이콘 중 새 데이터 원본-자세히-presto 후 서버에 emr endpoint, 그외 카탈로그는 hive 스키마는 class , (보안을 위해 애니웨어를 쓰지 않을 것 권고) 로그인
        
        시트가 자동으로 열리면, 스키마 드랍박스 후 돋보기로 조회(실습시 안됬음), 테이블에서 돋보기로 조회 후 드래그 후 지금 업데이트 그 후 mysql의 테이블과 조인 시도를 위해
        
        좌측 연결 옆의 추가 presto 한 뒤, (두 번째로 접속하 카탈로그는 mysql 스키마는 dw 사용자 이름은 hive) master 테이블을 드래그 드랍(키값이 연동이 안 되면 에러마크- 좌하단을 통해 수정가능)
        
        이전 실습과 같이 그래프를 생성 가능
        
        1 more item...
        
        serverless인 athena와 tableau연동
        
        athena는 glue기반의 meta data를 만들어야 data를 가져올 수 있다.
        
        tableau 드라이버 다운로드
        
        일반적으로 tableau 공식 홈페지이에서 다운 받으나, 업데이트로 인해 없을 수 있다. 이럴 경우, google에서 athena JDBC로 검색해서 다운(호환성이 잘 안 되서 2.0.7버전을 실습에서 사용(이유는 모르겠으나 JDK 7.0호환버전을 이용)
        
        터미널에서 cd ~/library/tableau/drivers 후 여기로 받은 드라이버 옮겨주기
        
        tableau 재기동
        
        좌측의 자세히를 통해서 Amazon Athena 에 athena. 지역.amazonaws.com으로 서버, s3준비 디렉토리에는 임시로 저장하는 곳(포트 번호는 443이었다) 액세스키 비밀번호 입력(노출되지 않도록 보안 주의)
        
        2 more items...
        
        amazon athena에서 쿼리편집기, 설정에서 쿼리결과위치가 원하는 곳인지 확인 필수(안 되있을 시 관리를 통해서 등록가능)
      - 빅 데이터에 따른 빠른 Distributed SQL 쿼리 엔진, 페타바이트의 데이터를 대화형(interactive analytics)으로 쿼리하는데 적합
        
        ANSI 호환 SQL문 실행
        
        pic/study/presto_arch.png
        
        coordinator
        
        sql 구문분석, sql query plan, 작업자 노드 관리, worker의 job을 추적하고 쿼리실행 조정, Rest API를 통해 worker 및 client 와 통신, worker의 결과를 받아서 최종결과를 클라이언트에 반환
        
        worker
        
        작업실행 및 데이터 처리, 커넥터에서 데이터를 가져오고 중간 데이터를 서로 교환, Rest API를 사용하여 다른 작업자 및 Presto 코디네이터와 통신
        
        내부 구성
        
        connector
        
        Hive 나 RDS 에 접속하기 위한 Connect Adapter, catalog의 물리적 정의
        
        catalog
        
        connector의 논리적 이름, 실제 sql 조회시에 catalogue의 이름을 사용(예: hive.default.tst(CatalogName.schema.table))
        
        schema
        
        유사한 성격의 table들의 group
        
        table
        
        Row(행)과 Column(열)로 구성된 데이터 집단
    - - spark cluster(EMR)와 S3를 이용하여 저장하고 편집하며 Glue를 통해서 메타데이터 확인 등을 한다.
        
        presto Cluster/Athena와 zellelin, tableau, kibana를 통하여 Interactive Analytics(SQL) 진행