第827章 没经过标注学习的大模型直接拿训练结果会不完整(第2页)
例如:常识与语言风格模型学得很好,但“核反应堆设计”
“金融诈骗行为识别”
等专业领域,若无明确标注,学习会片面甚至危险。
结论:信息分布不均
→
导致学习偏斜
→
导致“结构性不完整”
。
?
2.
任务映射角度:无标注训练难以学得任务映射规则
?
自监督语言模型训练的本质是“概率语言建模”
,不是“任务解答”
;
?
所以它并不知道“题目是什么、目的是什么”
,而是推测“在这种上下文中,最可能出现的词或句子是什么”
;
?
比如:它可以写诗、写代码,但并不能天然知道“这个代码是否安全”
“这首诗是否表达了想表达的情绪”
。
结论:任务导向的“目标函数”
缺失
→
无法学会“为什么做”
。
?
3.
可解释性角度:非标注训练缺乏因果结构建模
?
人类通过监督学习明确学习“因果—目的—手段”
结构;
本章未完,点击下一页继续阅读