Page 96 - 2025年第56卷第5期

输出结果采用同样的方法进行标注。同时，指派一位未参与标注工作的专家处理出现的冲突。标注完成
后，计算了标注结果的卡帕（Cohen’kappa）系数 ［31］ ，结果均高于 0.8，表明不同专家之间的一致性较

s
高。基于此以及上文实验设置（如 3.4 节所述），计算出每个 AI 单元的准确率。
实验结果见表 3。所有 AI 单元的准确率均高于 0.8，表
表 3 AI 单元质量
明 LLMs 能够出色地完成任务，进一步验证了 AI 链在构建水
AI 任务单元 准确度
利工程运行管理质量问题知识图谱方面的有效性。不同任
实体抽取 0.91
务的特性决定了其准确率存在差异。分析表 3，实体抽取
关系抽取 0.81
单元的准确率最高，这主要源于任务本身特性：水利工程
实体通常在文本中直接呈现，实体边界清晰且具有较高的 实体类型标注 0.85
领域特异性，LLMs 可以通过表面特征（如词形、词性、上 实体类型融合 0.83
下 文 关 键 词）快 速 定 位 实 体 ， 从 而 以 较 高 的 准 确 率 完 成 关系类型融合 0.82
任务。 基于概念模型的实体抽取 0.87
4.2 自动化构建方法的性能 将本文提出的自动化构建方 基于概念模型的关系抽取 0.84
法与手工方法、GraphRAG 方法进行对比，旨在验证本文方
法得到的水利工程运行管理质量问题知识图谱是否具有较高的实用性和可靠性，以及构建的知识图谱
是否包含丰富的水利工程相关知识。
表 4 现有方法与本文方法的两种三元组准确率
为了降低人力成本，在 95% 的置信水平和
方法 元三元组 实例三元组
置信区间为 5 的条件下，本文选取了 384 个文
人工方法 0.95 0.80
本数据以及它们在各种方法中的输出。如 4.1
节所述，邀请 5 位专家对所构建的知识图谱中 GraphRAG 0.60
的三元组用同样的方法进行标注，标注的第一 本文方法 0.86 0.74
步涉及判断实例三元组是否正确。如果实例三
表 5 本文方法与基准方法的相互覆盖率
元组正确，进一步标注对应类型三元组是否正
方法 元三元组 实例三元组
确。最后，计算标注结果的卡帕系数，其结果
本文方法→人工方法 0.83 0.77
均大于 0.75，表明标注者之间具有较高的一致
人工方法→本文方法 0.64 0.61
性。实验结果如表 4、表 5 所示。
如表 4 所示，人工方法的元三元组准确率 本文方法→GraphRAG 0.67
为 0.95，明显高于本文方法的 0.86。这是因为 GraphRAG→本文方法 0.63
人工方法通过人工标注总结实体类型和关系类
型，旨在获得较高的准确率，但人工方法的覆盖率明显低于本文方法。如表 5 第二列所示，对于概
念模型中的元三元组，“本文方法→人工方法”的覆盖率比“人工方法→本文方法”的覆盖率高出
0.19，相对提升百分比为 29.7%。表明本文方法的实体类型和关系类型的数量超过了手工方法的实体
类型和关系类型，尽管有些是重叠或相似的。对于知识图谱中的实例三元组，本文方法覆盖率比手
工覆盖率高出 0.16。表明人工方法虽然可以保证知识图谱的可靠性，但无法保证知识图谱的丰富性。
此外，在实例三元组的准确率方面，由于 GraphRAG 构建的知识图谱不包含类型信息，效用性有
待提升，如表 4 所示，本文方法相较 GraphRAG 的方法准确率高出 0.14，相对提升百分比为 23.3%。但
在覆盖率方面，GraphRAG 和本文方法在实例三元组的相互覆盖度比较接近，这表明这种方法倾向于
构造一个知识丰富的知识图谱，但不能保证知识图谱的可靠性。
4.3 “发掘-构建-过滤”框架的有效性 为了增强水利工程运行管理质量问题知识图谱的丰富性和

可靠性，本文提出了“发掘-构建-过滤”框架，并设计了两个核心模块：KGE 模块和 KGF 模块。KGE
模块用于探索水利工程实体类型和关系类型自动化生成概念模型，而 KGF 模块侧重于过滤待定三元
组，以提高知识图谱的可靠性。该研究问题旨在验证本文框架是否能够有效提升知识图谱的丰富性和
可靠性。

— 642 —