Please enable JavaScript.
Coggle requires JavaScript to display documents.
Apache Spark (빅데이터 분석 프레임워크) (개념 (복구 가능한, 분산 데이터셋, 클러스터 컴퓨팅 프레임워크, Scala…
Apache Spark
(빅데이터 분석 프레임워크)
개념
복구 가능한,
분산 데이터셋
클러스터 컴퓨팅 프레임워크
Scala Programming
Interactive shell 사용
File System
하둡
YARN
: 자원할당 및 관리
GFS(Google File System)
장점
(하둡과 비교하여)
성능
인터페이스
메모리를 활용한 빠른 데이터 처리
스케쥴 기능( Schedule)
Zeppelin
국내에서 주도하고 있는
오픈소스 프로젝트,
역할
:star: shell에서 사용할 코드를 기록하고
재실행할 수 있도록 관리해주는 역할과
코드나 쿼리의 실행 결과를 차트나
표 등으로 시각화해서 보여주는 역할
Zeppelin
report mode를 통한 시각화 제작
BigData 분석기술
MapReduce
Hive
SQL을 MapReduce
로 변환해주는 기술