Please enable JavaScript.
Coggle requires JavaScript to display documents.
11월 22일 - Coggle Diagram
11월 22일
fundamental 31. 맵리듀스로 그리는 빅데이터 지도
외부링크
위키피디아
정의
로직
함수형 프로그래밍
analytics
Vidhya
제프리 딘
논문
제프리 딘
슬라이드
하둡을 제압한
스파크
왕초보를 위한 python
lambda
Split-Apply-Combine Strategy
MapReduce
맵리듀스 기본 함수
reduce
reduce()
out_key
intermediate_value
map
map()
인자
in_value
in_key
filter
4단계
Split
Map
Shuffle
Reduce
그 외 개념
병렬, 분산, 클러스터 컴퓨팅
병렬 컴퓨팅
멀티프로세스
멀티스레드
분산 컴퓨팅
P2P
HTTP
Network
클러스터 컴퓨팅
클러스터 노드
클러스터 관리자
함수
맵리듀스는 함수형 프로그래밍 권장
유용한 기능
함수는 다른 함수의 인자로 전달 가능
콜백 함수
함수는 변수에 할당 가능
함수는 다른 함수의 결과로 반환 가능
함수형 프로그래밍 철학
변경 가능한 상태를 불변의 상태로 만들어 에러 제거
모든 것은 객체
간결 및 가독성 높은 코드로 직접
효율적인 동시성 작업
데이터 컬렉션
컨테이너
파이썬의 컬렉션 모듈
collections
deque
namedtuple()
defaultdict
하둡과 스파크
하둡
스파크
하둡기반으로 작동하기 때문에 하둡과 같이 사용할 것을 추천
심영식 변리사의 지식재산권 세미나