Page 67 - 2023年第54卷第7期
P. 67

体的识别。在 N = 3时,WRERJE达到水利工程抢险实体识
              别的最佳性能,此时 F1值为 78.10。对于关系抽取,更改
              N值对 P和 R都有较明显的影响。从 N= 1开始,随着 N
              值增加,关系抽取的 P和 R都会提高,直到 N = 3 。当 N = 3
              时,WRERJE的 P、R和 F1值均达到最高值。为了更直观
              展示更改 N值对 WRERJE进行关系抽取性能的影响,图 4
              以折线图的形式展示了不同 N值下实体和关系抽取任务中
              F1值的变化趋势。
                  实验结果表明动态提示序列中关系类型最佳数目为 3。
              正如 3.1.2节中所述,动态提示生成器不做最终关系类型的                                图 4 不同 N值下 F1指标的变化趋势
              确定,只为联合抽取器提供一个候选关系列表。当 N小于 3时,WRERJE在关系提取任务上的 F1值
              偏低,是因为范围过小的提示可能会遗漏正确的关系类型。例如 “非正常渗漏导致坝体、坝基发生管
              涌、流土或脱坡” 语句,分类器预测的前 3个候选关系列表为 “现象、功能相似、连带”。当 N= 2
              时,处于列表中第三个位置的 “连带” 关系会被分类器忽略。导致抽取器不能正确抽取出 “非正常渗
              漏” 与 “管涌、流土、脱坡” 之间的连带关系。
                  反之,当 N大于 3时,由于候选关系列表范围太大,包含过多不正确的关系类型,噪声数据给联
              合抽取器造成误导,使其在关系抽取上的 F1值偏低。综上,动态提示关系类型最佳数目为 N = 3 。
              5.2 数据增强策略的有效性检验结果 设计 WRERJE 和 WRERJE                            两种场景以进行数据增强策略
                                                               wda          w?oda
              的有效性检验,WRERJE             在第 1组未经增强的训练集上接受训练,WRERJE 在经过数据增强后的
                                     w?oda                                            wda
              第 2组训练集上进行训练。WRERJE 和 WRERJE                  w?oda 最终都在第 2组测试集上进行测试。实验结果如
                                               wda
              表 4所示。

                                           表 4 数据增强策略对 WRERJE性能的影响
                                              实体                                      关系
                    策略
                                  P            R            F1           P            R            F1

                                 79.41        77.46        78.42        77.00        79.47        78.22
                 WRERJE wda
                                 76.35        74.59        75.46        72.63        75.28        73.93
                 WRERJE w?oda

                  实验结果显示,在水利工程抢险实体抽取上,WRERJE 的精确率、召回率和 F1值分别为 79.41、
                                                                    wda
              77.46和 78.42,经过数据增强策略后的训练集在实体抽取上的 F1值比 WRERJE                               模型提高了约2.96。
                                                                                       w?oda
              在水利工程抢险关系抽取上,WRERJE 的精确率、召回率和 F1值分别为 77.0、79.47和 78.22,各项指
                                                 wda
              标均显著高于 WRERJE           。WRERJE      采用了未经增强的第一组训练集进行训练,模型只学习到了
                                   w?oda        w?oda
              普通情况下的数据特征,因此模型鲁棒性不如 WRERJE 。以上结果证实了使用一些描述模糊但标注
                                                                 wda
              正确的句子对模型进行微调有利于提升 WRERJE对正确和非正确实体与关系的区分能力,验证了数据
              增强策略的有效性。
              5.3 基准模型对比实验结果 将 WRERJE与三种基准模型 WRERJE                              、WRERJE      和 WRERJE
                                                                              single       w?oDP         base
              进行对比,以检验动态提示、联合抽取与大型预训练模型先验知识的有效性。基准模型有关配 置
              如4.4节所述,所有模型均在第 2组数据集上进行训练和测试。各模型性能对比实验结果如表 5。
                  从表 5中可以看出 WRERJE对于实体抽取的各项指标均高于基于静态提示的 WRERJE                                   w?oDP 模型和
              基于 轻 量 级 T5 - v.1.1 - base的 WRERJE     base 模 型, WRERJE对 于 实 体 抽 取 的 F1值 仅 比 最 佳 模 型
              WRERJE     略低 0.27,但 WRERJE对于关系抽取的 F1值比 WRERJE                    高出 6.88。实验结果表明,大
                      single                                                 single
              型预训练语言模型(T5 - v.1.1 - large)具备的通用语义信息结合了水利工程抢险领域语义信息后,能够
              使 WRERJE在该领域实体和关系联合抽取上表现出较 WRERJE 更优的性能。动态提示对水利工程抢
                                                                       base
              险实体抽取影响不大,但是可以显著提高对抢险关系抽取的能力。将实体抽取和关系抽取任务联合对

                                                                                                —  8 2 5 —
   62   63   64   65   66   67   68   69   70   71   72