Please enable JavaScript.

Coggle requires JavaScript to display documents.

source code r1.4 (:moneybag:Eigen (:moneybag:计算 (:two:Lazy Evaluation (…

- - - - :explode:official module
    - - :explode:开源贡献者开发的模块
      - :moneybag:tensor
        
        :explode:unsupported模块中定义了Tensor和相关函数
        
        :moneybag:存储方式
        
        :explode:Eigen的Tensor有两种存储方式,分别是Row-major和Col-maj
        
        :moneybag:Row-major
        
        :explode:row-by-row方式存储
        
        :star:就是我们平常认为的那种存储方式
        
        :two:Col-major
        
        :explode:column-by-column方式存储
        
        :star:Eigen默认存储方式,实际选用哪种根据我们是按行遍历还是列遍历
  - - - :explode:每个变量都要弄出值才行
      - :bulb:我们普通的编程都是Eager Evaluation
    - - :explode:到要计算结果的时候才去及计算结果,此时如果有临时变量和我们没有关系的话,就不会保存
      - :star::one:性能高 :two:Eigen的默认计算方式
      - :tornado::pencil2:一个例子
        
        Tensor<float, 3> result = ((t1 + t2).eval() * 0.2f).exp();
        
        :star:Tensor::eval()函数可以求表达式值,同时也是session.run()的底层运算
- - - - :explode:tensorflow/core/tensorflow.i
  - - - :explode:配合gRPC完成数据传输
      - :moneybag:数据序列化+数据传输协议
- - - - Python定义和实现TF的编程模型,对外提供Python的API
    - - C++实现Protobuf定义, OP定义, Kernel实现,平台等
    - - 使用XLA将多个OP融合在一起,生成更高校的本地机器代码
  - - - 官网的demo上是两个py进程之间通信
- - - - 执行session.run
        
        计算图=>master
  - - - client => Full Graph => master => 剪枝 => 最小的依赖子图client graph => 按照任务的名称分为多个Graph
        Partition => Worker
      - 剪枝优化
        
        优化技术,例如公共表达式消除,常量折叠等
    - - Master => 按照本地计算设备(CPU/GPU)二次分裂Graph Partition => 拓扑排序算法在某个设备上执行本地子图,并调度OP的Kernel实现 => 协同任务之间的数据通信
      - 数据通信
        
        :one:本地 CPU 与 GPU 之间,使用cudaMemcpyAsync实现异步拷贝
        
        :two:本地 GPU 之间,使用端到端的 DMA 操作,避免主机端 CPU 的拷贝
    - - 某个op在硬件设备上的特定实现
      - 包括数值计算,多维数组操作,控制流,状
        态管理等
  - - - PyObject*类型（可以代表Python语言中的任何类型）
      - 执行完需要的操作后，也必须返回一个PyObject*类型的值。通过Py_BuildValue函数来构建。
- - - - :one:ps0 : 使用 /job:ps/task:0 标记,负责模型参数的存储和更新
      - :two:worker0 :/job:worker/task:0标记,负责模型的训练
- - - - Worker根据graph_handle索引相应的子图。最终,Worker 启动本地所有计算设备并发执行所有子图。其中,每个子图放置在单独的Executor中执行, Executor 将按照拓扑排序算法完成子图片段的计算。上述算法可以形式化地描述为如下代码。
    - - 如果两个设备之间需要交换数据,则通过插入 Send/Recv 节点完成的。特殊地,如果两个 Worker 之间需要交换数据,则需要涉及跨进程间的通信。
      - 此时,需要通过接收端主动发送里取出对应的 Tensor,并通过RecvTensorRequest,RecvTensorResponse消息到发送方,再从发送方的信箱返回。如图4.3.2(第62页)所示。
  - - - :one:DirectSession
        
        本地模式
      - :two:GrpcSession
        
        分布式模式
        
        target
        
        Factory根据target
- - - - 对应tensor
      - 有生产者