Please enable JavaScript.

Coggle requires JavaScript to display documents.

profile - Coggle Diagram

- - - - resnet:FlexResNet(num_layers_list=num_layers_list, in_channels=base_channels, width_factor=width_factor, profiling=True)
      - gpt:FlexGPTModel(num_layers=num_layers, hidden_size=hidden_size, ffn_hidden_size=ffn_hidden_size, num_attention_heads=num_attention_heads, kv_channels=kv_channels, profiling=True)
      - t5:FlexT5Model(profiling=True)
    - - infer_data_size()推断操作的输入/输出张量形状，计算内存占用并存入全局字典。
      - op=wrap_op(gen_op(op_info, algo=algo))封装算子，设置并行相关参数。
      - input_data, input_extra_tensors = get_inputs(op_uniq_name, params_dtype)根据对应shape随机生成张量。
      - input_tensors=get_input_tensors(op_info, input_data, input_extra_tensors)筛选input_data, input_extra_tensors，加入input_tensors中。
      - ①前向传播时间分析：对于某些算子（如 "gpt-post-process" 和 "t5-post-process" ），直接进行多次前向传播，计算平均时间。对于其他算子，先进行预热（warm-up），然后根据预热时间调整后续的运行次数。
        ②反向传播时间分析：根据算子的输出和梯度，计算反向传播的时间。
        ③运行算子前后的内存分配和保留情况，前向和反向传播的内存占用。
      - output_data = op(input_data, input_extra_tensors, output_extra_tensors, profiling=True)；
        outputs, output_grads = get_outputs_and_grads(output_data, output_extra_tensors, grad_type)
- - - - run():针对不同的数据大小和通信操作类型，使用分布式计算框架进行性能分析，并将分析结果保存到文件中。