Please enable JavaScript.
Coggle requires JavaScript to display documents.
代码构建模型 (2. 实现模块阶段 (4. 编写训练流程 (5. 训练模型 (2. 循环训练，直到到达num_train_steps (1.…
代码构建模型
2. 实现模块阶段
2. 定义模型输入类
2. 对输入进行所需转换
embedding_lookup
3. 定义输入的shape以及内容
batch_size，特征数等
4. 返回模型所需的输入已经输入相关信息
batch_size，特征数等
1. 根据模型运行模式定义输入
train时需要x和y，infer时就只需要x
1. 配置HyperParameters
- 命令输入(tf.flags）
- 从配置文件读取(json文件)
- 从已保存HyperParameters文件中读取
3. 定义模型类
init函数
- 把HyperParameters中多次用的的变量放到self中
- 根据配置初始化权重initializer
随机权重（深度学习）
- 根据模型设计以及模型mode构建计算图
- 如果train模式，则达到y_hat并计算loss
- 如果infer模式，则指向预测相关的图
- 从build_graph得到y_hat
如果是train模式，则计算loss并定义optimizer
- 保存summary和保存训练parameters
train、eval和infer函数
返回不同模式下计算图运算的结果
4. 编写训练流程
1. 创建3个模式的计算图
- 实例化模型输入类(iterator)
- 实例化模型类
-
-
4. run_full_eval(运行所有验证)
-
2. run_internal_eval(计算dev set和test set的perplexity)
- 初始化或读取已保存的parameters到eval模型
- 用dev set中所有数据计算loss
- 计算每一个预测的loss(perplexity)
- 用test set重复上面的步骤
3. run_external_eval(用dev set和test set 计算自定义metrics得分)
- 初始化或读取已保存的parameters到infer模型
- 用dev set中的数据计算得出y_hat并保存到硬盘
- 从硬盘读取结果并用自定义得分方式计算得分
- 循环遍历metrics，用上一步得分对比hparams中得分，保存高得分的parameters到硬盘，保存得分到hparams
- 保存hparams到硬盘
- 用test set重复上述步骤
-
6. 使用模型做预测
- 用训练模型时产生的处理器对数据进行标准化
- 读取checkpoint
- 根据hparams创建模型
- 将parameters加载到模型中
- 用模型进行预测（和验证）
1. 实现数据预处理
- 读取原始数据
- 对数据进行预处理
- 将处理后的数据保存到硬盘
-