Page 64 - 2023年第54卷第7期

３．２ 实体关系联合抽取器
３．２．１ 结构化抽取语言 异构任务编码成统一表示形式是
将实体和关系进行联合抽取需要解决的问题之一。采用一
种结构化抽取语言（ＳｔｒｕｃｔｕｒｅｄＥｘｔｒａｃｔｉｏｎＬａｎｇｕａｇｅ，ＳＥＬ） ［２４］ ，
将实体抽取任务和关系抽取任务的结构编码成统一表示形
式，从而可以在序列到序列的生成框架中统一建模异构的
图 ３ 结构化抽取语言图示
水利工程抢险实体抽取和关系抽取任务。输入序列指动态
提示序列，生成序列指 ＳＥＬ。ＳＥＬ序列是由 “ＳｐｏｔＮａｍｅ、ＡｓｓｏＮａｍｅ、ＩｎｆｏＳｐａｎ” 三种元素组成的层
次结构，来对不同信息抽取任务的结构进行编码。其中 “ ＳｐｏｔＮａｍｅ” 表示实体类型， “ＡｓｓｏＮａｍｅ”
表示关系类型，“ ＩｎｆｏＳｐａｎ” 表示特定类型下的实例对象。实例如图 ３。
３．２．２ ＳＥＬ序列生成 水利工程抢险实体和关系联合抽取器是一个序列到序列的生成框架，生成过程
可表示为：
ＥＲＪＥ（［Ｉ，Ｉ，…，Ｉ］） ＝［ｙ，ｙ，…，ｙ］ （３）
１
ｙ
２
１
２
Ｉ
式中：ＥＲＪＥ指实体关系联合抽取器，由基于 Ｔｒａｎｓｆｏｒｍｅｒ的 Ｔ５实现；Ｉ ＝ ［Ｉ，Ｉ，…，Ｉ］为输入的动
１ ２ Ｉ
态提示序列；Ｙ ＝ ［ｙ，ｙ，…，ｙ］为 生成 序 列，即 包含 水 利 工 程 抢 险 实 体 和 关 系 的 ＳＥＬ序 列。在
１ ２ ｙ
ＷＲＥＲＪＥ框架中，将动态提示生成器所生成的序列 Ｉ输入到 Ｔ５中，由 Ｔ５生成 Ｙ序列，从而获得水利
工程抢险实体和关系的三元组知识。
总的来说，ＷＲＥＲＪＥ使用 “编码－ 解码” 思路进行工作。具体为将动态提示序列 Ｉ输送到 Ｔ５，由
Ｔ５计算 Ｉ ＝ ［Ｉ，Ｉ，…，Ｉ］的隐向量 Ｈ，计算过程可表示为：
Ｉ
２
１
Ｈ ＝ Ｅｎｃｏｄｅｒ （Ｉ，Ｉ，…，Ｉ） （４）
１ ２ Ｉ
式中 Ｅｎｃｏｄｅｒ即编码器，采用了 Ｔｒａｎｓｆｏｒｍｅｒ架构中的 Ｅｎｃｏｄｅｒ模块。接着 Ｔ５以自回归方式将动态提示
序列 Ｉ解码为 ＳＥＬ序列。在解码过程中的 ｉ状态下，Ｔ５生成 ＳＥＬ序列中 ｉ状态下的 ｙ和解码器当前状
ｉ
ｄ
态 ｈ，具体表示为：
ｉ
ｄ
ｄ
ｄ
ｄ
ｙ，ｈ＝ Ｄｅｃｏｄｅｒ （［Ｈ；ｈ，ｈ，…，ｈ ］） （５）
ｉ
ｉ
２
１
ｉ － １
式中 Ｄｎｃｏｄｅｒ即解码器，是 Ｔｒａｎｓｆｏｒｍｅｒ架构中的 Ｄｎｃｏｄｅｒ模块，用于预测 ｙ的条件概率 Ｐ，概率 Ｐ的
ｉ
具体表达式为：
Ｐ ＝ Ｐ（ｙ ｙ，ｙ，…，ｙ ，Ｉ） （６）
１
ｉ
（ｉ － １ ）
２
式中：ｙ，ｙ，…，ｙ 为前 ｉ － １ 个输出；Ｉ为输入到 Ｔ５的动态提示序列。
１ ２ （ｉ － １）
３．３ 主干模型训练
３．３．１ 数据预处理 根据 ２．２节中定义的 Ｓｃｈｅｍａ对收集到的目标语句进行标注，标注的同时进一步
验证句子是否准确包含水利工程抢险实体以及实体间语义关系。标注时不要求每个句子中实体之间
都必须包含关系，只要该句子包含水利工程抢险相关实体，即认为该句子可用。标注员明确具有水
利工程抢险领域的专业知识，可以对语句中是否含有水利工程抢险相关实体及语义关系进行验证并
识别。为保证数据标注的一致性，将 ６名标注员分为 ３组，每组内 ２名标注员标注相同的句子。在
标注完成之后由 ２名作者来处理标注结果的冲突，使用 ｋａｐｐａ系数来衡量 结果 一致 性，计 算 ｋａｐｐａ
系数值为 ０．８３７，即认为标注结果几乎一致 ［３３］ 。最终得到 １６５２条有 效标 注样 本，其 中 ２４７条只包
含实体，实体间不存在语义关联，１４０５条包含实体同时实体间具有语义关系。
３．３．２ 数据增强 规范的标注数据集让 ＷＲＥＲＪＥ学习到普通情况下水利工程抢险实体与其语义关系特
征。由于汉字的多义性和文字输入的随机性，非正式的水利工程抢险文本难免存在随机错别字或描述
模糊等噪声现象。为了提高 ＷＲＥＲＪＥ从噪声数据中识别目标实体及其语义关系的能力，设计了两种文
本数据增强策略以增加训练数据中的噪声数据，提升模型的鲁棒性。
（ １）依赖动词替换。使用 ＰｙＬＴＰ来定位语句中的动词，然后用同义词替换这些动词。例如在 “可
用棉被顺坡铺盖” 中，将 “铺盖” 替换为 “覆盖”，在 “上面再压土袋” 中将 “压” 替换为 “堆”。
这些替换 并 不 会 改 变 句 子 语 义，因 此 可 以 基 于 此 方 式 获 得 同 一 关 系 类 型 的 更 多 不 同 的 描 述，使

— ８ ２ —
２