Page 66 - 2023年第54卷第7期
P. 66
目 N,即多少种候选关系类型可以为实体关系联合抽取器提供最有效的提示。
4.3 数据增强策略的有效性检验 为了减少人工标记工作并改善模型训练,设计了如 3.3.2节中所述
的两种数据增强策略。通过实验检验,经两种数据增强策略获得的描述模糊但标注正确的语句是否可
以提高 WRERJE对水利工程抢险实体和关系的抽取能力,以验证两种数据增强策略的有效性。
4.4 基准模型对比实验设置
4.4.1 动态提示有效性检验 WRERJE框架的设计使用了 “动态提示” 方法。因此,将动态提示方法
与静态提示方法进行对比,以检验 WRERJE工作的有效性。有效的动态提示由最合适的 N种关系类型
组成,将其与包含全部关系类型的静态提示进行实验对比。为此,实现了一个使用静态提示的基准模
型WRERJE w?oDP 。
4.4.2 联合抽取的有效性检验 单任务抽取指分别进行水利工程抢险领域的实体抽取任务与关系抽取
任务。WRERJE是将实体抽取任务和关系抽取任务统一建模的多任务框架,为验证联合抽取的有效
性,实现了第二个基准模型WRERJE single ,它将水利工程抢险实体抽取和关系抽取分离为两个独立的任
务,定义特定于独立任务的 Schema,仅针对单一任务对模型进行微调。对于水利工程抢险实体抽取任
务,Schema中只含 “部位、险情、方法、材料” 4种实体类型。对于水利工程 抢险 关系 抽取任务,
Schema中只含 “现象、连带、采取、功能相似、功能协作、使用” 6种关系类型。WRERJE single 进行
关系抽取任务时,依然采取动态提示,即选择 Schema中最佳的 N种关系类型作为提示。最后将实体
识别的结果与关系抽取的结果合并作为最终结果。例如,从 “输水洞洞身存在未处理的裂缝” 语句中
识别出的实体有 “输水洞洞身” 和 “裂缝”,从中抽取出的语义关系 “现象”,将其合并为(输水洞洞
身,现象,裂缝)作为最终三元组。
4.4.3 大型预训练语言模型先验知识的有效性检验 WRERJE框架中联合抽取器的主干模型为 T5 -
v.1.1 - large ,为验证大型预训练模型所具备先验知识的有效性,设计了第三个基准模型WRERJE ,
base
它用轻量级 T5 - v.1.1 - base模型作为联合抽取器,依然使用动态提示。将 WRERJE与WRERJE 同在
base
第二组数据集上进行训练与测试,以验证大型预训练语言模型的先验知识对抽取性能的影响。
5 实验结果
5.1 动态提示关系类型最佳数目 N的选择结果 依次选取 1到 5中的每个数字作为动态提示生成器中
候选关系类型的数目进行实验,每次实验均使用第 2组数据集对 WRERJE进行微调,且在同一测试集
下进行测试。不对 N = 6进行检验,因为 N = 6本质上等同于将所有关系类型都封装进提示序列的静态
提示。不同 N值的实验结果如表 3。
表 3 不同 N值的实验结果
实体 关系
N
P R F1 P R F1
1 78.85 76.73 77.78 71.51 73.68 72.58
2 79.04 77.19 78.10 72.86 74.21 73.53
3 79.41 77.46 78.42 77.00 79.47 78.22
4 78.64 76.90 77.76 74.40 72.11 73.24
5 77.75 76.16 76.95 71.05 72.63 71.83
表中 P为精确率(识别正确实体关系数量与识别实体关系总数量之比)、R为召回率(识别正确实
体关系数量与总实体关系数量之比),F1为二者的调和平均值,以 F1为主要评价指标;实验结果表
明更改 N值对模型进行实体识别影响较小,因为 N表示动态提示中关系类型的数量,它不直接影响实
4
— 8 2 —