Page 65 - 2023年第54卷第7期

ＷＲＥＲＪＥ学习到更多样的特征。
（ ２）随机插入。基于随机插入的数据增强方式本质是在规整的数据集中加入一定的噪声。首先定
位语句中的一个词，然后将这个词的同义词插入到语句中的随机位置。此方法可获取更多描述模糊但
实体和关系均正确标注的语句，学习此类语句可使 ＷＲＥＲＪＥ拥有从模棱两可的句子中准确识别出水利
工程抢险实体和关系的能力。
将 １６５２条有效标注样本，以 ７∶３的比例划分，得到 １１５９条语句作为初始训练集，４９３条语句作
为初始测试集。将以上文本数据增强策略分别应用于初始训练集和初始测试集，两种数据集分别进行
增强以确保突变前后的语句在同 一类 数据 集中，防止发 生数 据泄 露 ［３４］ 。经 过增 强策 略后 得 到包含
３４７１条语句的最终训练集和包含 １４８５条语句的最终测试集。最终训练集用于微调 Ｔ５，最终测试集用
于测试微调后 Ｔ５的性能。此外，从最终训练集中选择包含实体且实体间具有语义关系的 ２９５３条语句
作为分类器训练集，从最终测试集中选择包含实体且实体间具有语义关系的 １２６５条语句作为分类器
测试集。
３．３．３ 基于 Ｂｅｒｔ的分类器训练 将 Ｓｃｈｅｍａ中定义的 ６种关系建为语句上的 ６个离散标签，基于 Ｂｅｒｔ
的分类器进行句子级预分类，得到每个输入语句最可能的 Ｎ种关系类型，动态提示生成器根据 Ｎ种关
系类型生成相应的动态提示序列。
分类器由 Ｂｅｒｔ结合线形层组成。存在 ６种关系类型，线性层的输出维度设置为 ６。使用分类器训
练集对分类器进行训练。将语句作为 Ｂｅｒｔ的输入，从 ＣＬＳ字段中获得隐藏向量 Ｖ ，从 ＣＬＳ中获取的
Ｌ
隐藏向量 Ｖ 相比其他位置能更好的表征句子特征，从而获得更好的分类性能。然后将 Ｖ 输送到线性
Ｌ
Ｌ
层中，该线性层生成 ６维向量，每个维度各对应一个关系类型。在反向传播中，使用交叉熵损失调整
Ｂｅｒｔ与线性层参数。损失函数为：
ｒ － １
(
(
Ｌ（ μ ，ｒ） ＝－μ ［ｒ］ ＋ ｌｏｇ ∑ ｅｘｐμ ［ｉ］ ) ) （７）
ｉ ＝０
）表示线性层的输出结果，ｒ为句子的真实标签。
式中 μ ＝ （ μ ０ ，μ １ ，…，μ ｒ － １
３．３．４ 基于 Ｔ５的联合抽取器微调 ＷＲＥＲＪＥ框架的设计思想是将抽取任务视为序列到序列的生成任
务，生成式语言模型 Ｔ５被证实具有捕获丰富语义信息的能力 ［３５］ ，并且在各种下游 ＮＬＰ任务中表现出
了良好的性能。本文的抽取器基于大型预训练语言模型 Ｔ５（Ｔ５ － ｖ１．１ － ｌａｒｇｅ）实现。
为了微调 Ｔ５，将最终训练集中的每个句子转换为 ＳＥＬ序列，将其输入动态提示生成器以获取动态
－ ４
提示序列 Ｉ，最后构建带标签的语料库：Ｄ ＝ ｛（Ｉ，ｙ）｝，在带标签的语料库上，使用学习率为 １０ 的
ｅ
Ａｄａｍ优化器和教师强制（ｔｅａｃｈｅｒ － ｆｏｒｃｉｎｇ）交叉熵损失，损失函数为：
ＦＴ ∑
Ｌ ＝ － ｌｏｇＰ（ｙＩ；θ ｅ ，θ ｄ ） （８）
（Ｉ，ｙ） ∈Ｄ ｅ
分别为编码器和解码器参数。
式中 θ ｅ 、θ ｄ
４ 实验设置

４．１ 数据集 数据集共有 ３组，第 １组为由标注员标注出水 表 ２ 数据集设置
利工程抢险实体和相关语义关系的初始数据集，其中 ２４７条 组别 数据集总数 训练集条数 测试集条数
只包含实体，１４０５条同时包含实体和关系。第 ２组为应用了
１ １６５２ １１５９ ４９３
两种文本数据增强策略之后的最终数据集，其中 ７４１条只包
２ ４９５６ ３４７１ １４８５
含实体，４２１８条同时包含实体和关系。第 ３组为从最终数据 ３ ４２１８ ２９５３ １２６５
集中选择的同时包含实体和关系的 ４２１８条分类器数据集。３
组数据集的训练集和测试集比例为 ７∶３，具体如表 ２。
４．２ 动态提示关系类型最佳数目 Ｎ的选择 如 ３．１．２节所述，给定输入句子，动态提示生成器使用基
于 Ｂｅｒｔ的分类器对当前输入句子进行预分类，以生成一组候选关系列表，然后将其封装进动态提示序
列中以引导随后的实体关系联合抽取器。此实验的目的是确定动态提示中应包含的关系类型的最佳数
— ８ ２ ３ —