| 学习路线指引（点击解锁） | 知识定位 | 人群定位 |
|---|---|---|
| 🧡 Python实战微信订餐小程序 🧡 | 进阶级 | 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 |
| 💛Python量化交易实战💛 | 入门级 | 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 |
借着ACL2022一篇知识增强Tutorial的东风，我们来聊聊如何在预训练模型中融入知识。Tutorial分别针对NLU和NLG方向对一些经典方案进行了分类汇总，感兴趣的可以去细看下。这一章我们只针对NLU领域3个基于实体链接的知识增强方案Baidu-ERNIE，THU-ERNIE和K-Bert来聊下具体实现~
Knowledge is any external information absent from the input but helpful for generating the output
Tutorial里一句话点题，知识就是不直接包含在当前文本表达中的，但是对文本理解起到帮助作用的补充信息，大体可以分成
常规预训练预语料也是包含部分知识的，不过受限于知识出现的频率，以及非结构化的知识表征，预训练任务的设计等等因素，知识信息往往等不到充分的训练，因此BERT不可避免会给出一些不符合知识但是符合语言表达的预测结果，于是有了尝试在预训练阶段融入结构化知识信息的各种尝试
LM中融入知识的一般分成3个步骤：定位知识(knowledge grounding)，知识表征(knowledge representation)，融入知识(knowledge fusion)，这么说就像把大象放进冰箱一样easy，不过实现起来细节问题颇多，例如定位知识时的消歧问题，知识表征和文本表征的不一致问题，知识融入时如何不干扰原始的上下文语义等等，下面我们来看下3种不同的增强方案
- paper: ERNIE: Enhance