Please enable JavaScript.
Coggle requires JavaScript to display documents.
Beam Search (例子 (1. B=3,翻译的结果是"Jane, visits Aftrica in September"…
Beam Search
例子
1. B=3,翻译的结果是"Jane, visits Aftrica in September"
2. 在第一个神经元,得出的y_hat最大概率的三个输出是"in","jine","september"
3. 在第二个神经元,以第一个神经元的输出为输入,依次计算下一个神经元的输出的概率,然后再选中概率最大的三个
- 首先是in,遍历字典中的所有单词并计算概率
- 然后是jane,遍历字典中的所有单词并计算概率
- 最后是septmeber,遍历字典中所有的单词并计算概率
- 最后算出概率最大的可能是"in september","jane is","jane visits"
-
问题
解决办法
对Beam Search进行误差分析分析
- 判断错误原因,如果预测结果概率比正确答案大,这说明是RNN的问题,如果比正确答案小,就说明是Beam Search的问题
- 列表统计错误原因造成的错误所在比例,根据提高效率选择优化Beam Search 还是RNN,详情可参考构建模型里的误差分析
描述
Beam Search是效率和准确率的折中办法,那怎么选择B的大小,使得效益最高
原理
- B为HyperParameter
- 第一个step保存概率最大的B个输出,然后作为下一步的输入
- 计算在该state下,第一个和第二个输出的概率,重复上一步
-