Page 104 - 水利学报2025年第56卷第4期

２．２ 多模态知识图谱构建 水利工程巡检多模态知识图谱是一个以南水北调工程运行风险数据为节
点 ［２３］ ，以它们之间的各种语义关系为边的结构化语义网络，其建模流程主要包括数据预处理、本体构
建、知识抽取、多模态知识融合、知识图谱三元组存储 ５个步骤 ［２４］ 。建模结构如图 ３所示。

图 ３ 建模结构图

２．２．１ 本体构建 为了规范化水利领域多模态知识图谱中的多模态实体及关系类别，多模态知识图
谱的本体结构定义至关重要。从风险的应对决策角度来看，明确具体的风险事件和风险应对决策是有
效应对风险、合理做出对应决策以及保证水调工程稳定运行的重要阶段；同时，风险事件图的鲜明特
征还可以帮助理解各类风险事件，以保证后续多模态知识图谱与多模态大模型协同迭代做出正确应对
风险的判断；风险发生地点的确定利于工程维护资源的有效配置。因此，本研究构建的多模态风险知
识图谱本体结构主要包含以下几个方面的概念关系 ［１５］ ：一是包含特定风险信息的具体部位风险事件及
其鲜明图示；二是具体工程运行风险的应对决策；三是风险事件图的鲜明局部特征；四是风险发生的
地点。水利领域多模态知识图谱（ ＭＭＫＧ － ＷＣ）可表示如下：
ＭＭＫＧ － ＷＣ ＝ Ｅ，Ｒ，ＴＷ，ＴＰ } （１）
{
式中：Ｅ为所有实体集；Ｒ为所有关系集；ＴＷ 为文本类水利知识三元组集合；ＴＰ为图像类水利知识
三元组集合。每一个三元组可以表示为 Ｔ ＝ ｛（ｓ，ｐ，ｏ） Ｔ∈（ＴＷ∪ＴＰ），ｉ ＝ １ ，２，…，ｎ｝，ｓ、ｐ、ｏ
ｉ
分别代表主语、谓语、宾语。
观察南水北调巡检文本的语义描述，定义风险机构、风险站点、风险设施、风险部位、风险事
件、风险事件图和风险应对措施 ７种实体类型，并定义出实体与实体之间存在的 ６种关系类型。
“管理”，即某一工程管理处管理某个站点，则将机构类型与站点类型之间的关系定义为 “管理”。
“包含”，即某一工程站点下包含某种设施或建筑物，则将站点类型与设施或建筑物类型之间的关
系定义为 “包含”。
“组成部位”，即某种组成设施或建筑物的某个部位，则将设施或建筑物类型与部位类型之间的关
系定义为 “组成部位”。

— ５ ２ —
２