Please enable JavaScript.
Coggle requires JavaScript to display documents.
BERT的可解释性 (Probing tasks (识别助动词、主语名词 (4层以前表现不好, 4-6 层左右正好能足够表示, 深层表现下降),…
BERT的可解释性
Probing tasks
设计一些简单的分类任务，来验证模型的不同层在不同 任务上的能力。
识别助动词、主语名词
4层以前表现不好
4-6 层左右正好能足够表示
深层表现下降
预测第 n 个 token
4层以后模型要在位置信息和抽象语义信息之间做权衡
1-3层会利用自然语言分布的特性对2-9的位置准确判断
随着句子长度的增加，词性的类别就越不固定
主谓一致性与共指消解
dog和the cat后面都可以接does，但dogs和the cat中只有the cat可以接does，后者更容易混淆。
the lord和the wizard都可以被himself指向，但the lord和the witch只有一个可以被himself指向。后者更容易混淆。
混淆程度与层深度的负相关
Visualization
注意力得分的可视化
基于梯度衡量特征重要性
计算每一层注意力的熵值
Adversarial attacks
不可读的数据攻击
AddSent2Pas-Shuffle
AddSent2Opt-Shuffle
AddAns2Opt-Shuffle
不可回答的训练数据
P-Shuffle
Q-Shuffle
PQ-Shuffle