Page 95 - 2025年第56卷第5期

取过程中需预先提供实体类型。因此，为更好地与其对比本文方法的性能，提供了与手工方法相同的
水利工程相关实体类型。
3.3 变体方法 为了评估“发掘-构建-过滤”框架的有效性，实现了三种变体方法： Our_w/o_KGE、
Our_w/o_KGF 和 Our_w/o_KGC，具体如下：
（1）Our_w/o_KGE。在保留 KGC 模块和 KGF 模块的同时，去掉 KGE 模块。为了保证 KGC 模块和
KGF 模块的正常执行，该方法采用与人工构建方法相同的概念模型。通过比较 Our_w/o_KGE 方法和本
文方法，可以验证 KGE 模块是否可以挖掘出更多的实体类型和关系类型。 （2）Our_w/o_KGF。去除

KGF 模块，将 KGC 模块输出的知识图谱作为最终结果。通过比较 Our_w/o_KGF 和本文方法，可以验证
KGF 模块是否可以提高水利工程运行管理问题知识图谱的可靠性。（3）Our_w/o_KGC。指去除实体类型
和关系类型的全组合策略。概念模型中的三元组是指 KGC 模块中实例三元组所属的元三元组。将
Our_w/o_KGC 与本文方法进行比较，可以验证全组合策略是否能够生成更可靠的元三元组，以增强水
利工程运行管理问题知识图谱的丰富性。
3.4 评估标准 对于问题一，本文使用准确率来评估 AI 单元的质量，如式（4）所示。对于实体类型融
合和关系类型融合单元，如果基础类型可以被融合类型所包含，则该基础类型被标记为正确。

num correct
Accuracy ( AI ) = （4）
num all
式中 num correct 、num all 分别为正确实体关系的数量、所有实体关系的数量。
对于问题二和问题三，基于覆盖率 ［30］ 的考虑，本文使用准确率和相互覆盖率（式（5））来比较本文
方法与基准方法、变体方法的性能。例如，针对人工构建方法与本文方法存在两种计算场景：一种是
“本文方法→人工方法”覆盖率，另一种是“人工方法→本文方法”的覆盖率。以第一种场景下的模
式覆盖率为例，“本文方法→人工方法”的覆盖率等于两种方法正确元三元组的交集除以人工方法中
正确元三元组的总数。
具体而言，需要计算以下几个指标：一是概念模型中元三元组（即< ET ， RT ， ET >）的准确率；
A R B
二是带有类型信息的知识图谱中实例三元组（即< ET ， RT ， ET > ： < et ， rt ， et >）的准确率；三
A R B a r b
是概念模型与知识图谱在不同方法下的相互覆盖率。
num correctAB
Coverage( A → B) = （5）
num correctB
式中：num correctB 为方法 B 正确识别的三元组集合数量；num correctAB 为方法 A 和方法 B 都正确识别的三元
组集合数量。

4 实验结果

本节深入讨论上文三个问题来评估本文方法的性能。
4.1 每个 AI 单元的质量 本文提出了使用 LLMs 模拟人类思维，实现水利工程运行管理质量问题概念
模型及知识图谱自动化构建的理念，并设计了 AI 链来实现这一目标。AI 链由多个子任务 AI 单元组成，
每个单元负责完成知识图谱构建的一部分任务。该问题旨在验证每个 AI 单元是否能够准确执行，从而
确保 AI 链的有效性。
首先将种子文本序列应用到 KGE 模块中，收集所有 AI 单元的输出结果（如实体、关系等），然后
邀请 5 位专家对这些结果进行标注。5 位专家采用 doccano 标注平台，根据领域知识制定详细的标注规
范及实体边界、关系类型和标注规则。标注样例如图 5。为了评估标注结果的准确性，每位专家需对两
个不同单元的输出结果进行标注。同时，指派一位未参

与标注工作的专家处理他们之间的标注冲突。随后，将
全体文本序列应用到 KGC 模块中，并收集两个 AI 单元的
输出结果。将 4 位专家分为两组，分别对两个 AI 单元的 图 5 doccano 标注示例

— 641 —