Please enable JavaScript.

Coggle requires JavaScript to display documents.

Hadoop (:radioactive_sign:2个进程之间的距离 (:moneybag:复制 (:explode…

- - - - :one:只对元数据的更改进行记录
        
        :star:不对文件内容的更改做记录
        
        :tornado:目录的创建,删除等
      - :two:DataNode出故障的时候,负责创建更多的副本block(恢复数据)
      - :three:维护namespace(路径)和block的映射(需要持久化维护)
      - :four:文件会被打碎成blocks,分散存储到DataNode里面,所以NameNode要维护文件和Blocks以及Block和DataNode之间的联系(只存放在内存里,因为不用持久化维护)
  - - - :explode:每个DataNode定期都要向NameNode汇报,以保证DataNode都健康
    - - :one:存储真是数据
- - - - :warning:这里的NodeManager一般只有1个,而下面的NodeManager有多个.此外这里的NodeManager要启用的是AppMaster
- - - - :explode:浏览器访问9870端口,菜单栏里的"Utilities"里浏览文件系统,然后点击自己的文件就行了
    - - :one:块大小
        
        :bread:假如1个文件9.3M,而块大小设置为2M,那么总共分成5份.如果复制的份数是2的话,就总共5*2=10份,每1份就是1个block,然后1个block会存在2个节点上
        
        :wrench:确认
        
        :explode:访问9870端口就行了
        
        :explode:文件=>多个块=>每个块存在1个节点上
        
        :globe_with_meridians:block_id
      - :two:副本数量
      - :three:存储位置
  - - - :one:Map
        
        :moneybag:方法
        
        :one:setup
        
        :explode:1个节点执行map函数前执行的的方法,1个节点1个block只执行1次setup
        
        :two:cleanup
        
        :explode:setup的倒数版
        
        :globe_with_meridians:调用情况
        
        :explode:对于存放在HDFS里的数据,每个block交给1个节点去处理.map方法调用次数为1个节点的行数
        
        :warning:注意
        
        :one:gz文件不切割
        
        :two:理想情况下,1个节点最好处理存在本地的block.但MapReduce的算法比较复杂,所以可能还是会本地block交给其他节点去计算
      - :two:Reduce
      - :link:MapReduce原理
        
        :moneybag:数据类型
        
        :two:一行字符串是Text
        
        :one:行号是LongWritable
        
        :three:年份是Text
        
        :four:温度是IntWritable
        
        :globe_with_meridians:yarn
        
        :explode:yarn是MapReduce的框架,调度MapReduce的作业
        
        :!:yarn有YarnScheduler这个接口类,.xxx,最后可以认为yarn调度器是守护进程的模式运行的
      - :explode:大数据的文本=><行号,一行的字符串>=><行号对应的信息,行字符串对应的信息>=><行号对应的信息,[多行字符串对应的信息]>=><行号对应的信息,最大值>
      - :globe_with_meridians:job
        
        :explode:map+reduce=job=application.而map和reduce各是1个task
        
        :star:=application
      - :warning:输出
        
        :bread:MapReduce里的输出全都在DataNode的hadoop/logs/userlogs/.../stdout里面,因为在数据节点上执行
      - :moneybag:参数
        
        :check:在主函数里可以动态改变参数