chatgpt如何引入本地知识？我们来看下emnlp 2022如何将本地图谱知识引入到任务型对话系统中 - 大白社区

一、概述

title：Injecting Domain Knowledge in Language Models for Task-Oriented Dialogue Systems

论文地址：https://arxiv.org/abs/2212.08120

代码：GitHub - amazon-science/domain-knowledge-injection

1.1 Motivation

1. 如何在PLM中引入特定领域的知识是一个问题。
2. 对话大量的，静态的外部知识，可以通过下游继续做fine-tuning来实现（这个待确定是否是这个意思），但是对于任务型对话系统task-oriented dialogue（TOD）来做，领域知识是可以修改的，可变的，直接利用fine-tuning来做成本比较大。

1.2 Methods

1. 针对于TOD任务，通过注入的方式引入特定领域知识，而不是通过fine-tuning来实现。
2. 通过一个轻量级的adpter，与PLMs预训练模型的中间层的表征进行结合，来指导模型的预测，通过这种方式引入外部知识。好处是可以将不同的KBs知识，学习到的内容做成一个repository的服务，然后在PLMs大语言模型端进行集成。
3. 最后通过knowledge probing using response selection （KPRS）生成选择的知识探针来衡量知识注入的有效性。

1.3 Conclusion

1. 构建了一个轻量级的adapter来集成外部知识，这种adapters能够以较高的精度记住KBs知识。
2. 通过探针实验，验证了此方法既能够生成于对话历史一致的对话，同时还与内部知识库KB相关。
3. 证明了可以接入领域知识而没必要直接去请求外部知识库，降低了机器人在query处理工程化的一些需求。

1.4 limitation

1. 还需要人工设置模板来将三元组知识引入。
2. 不能适应与实时的数据修改，因为每次修改都需要重新训练一下adapter。
3. 尽管注入知识的准确率还可以，但是可能会犯错。
4. KPRS只评估了是否能引入事实数据，没有确保他可以理解和利用这些知识做复杂的推理。

二、详细内容

2.1 如何将原始的知识图谱知识转化成自然语言形式的知识呢？

相当于是利用模板做了一个转换，将三元组的知识，转化成自然语言处理的形式。

2.2 如何 Memorization（记忆）& Utilization（利用）知识？

在记忆阶段，适配器连接到冻结的PLM，并负责重新构建损坏的KB事实，相当于利用2.1的数据，冻结原始PLM，基于该知识训练adapters模型记住特定领域的知识数据。具体任务是mask单个attribute属性来实现。

• 说明：

• • 记忆阶段：冻结了PLM，然后训练adapter去记住kb知识。
  • 使用阶段：冻结了adapter（保存原始知识），然后继续在下游任务上做fine-tuning，学会利用adapter中的知识。

2.3 探针实验的测试样例

可以看出，探针实验中，有reference，这个是和原始知识相关的，用绿色来表示，另外红色，感觉是没有出现在原始知识中。

2.4 实验结果

• 比较了引入图谱知识的效果，以及不同融合方法的效果差异。

chatgpt 知识图谱 人工智能