Page 106 - 水利学报2025年第56卷第4期
P. 106
例见表 ３。
表 ３ 巡检文本标注示例
名称 标注样式
巡检文本 ［ ｔｅｘｔ］扬州分公司洪泽站，启闭机室外墙粉刷层脱落，应及时用防水涂料重新粉刷。
扬州分公司 ［ｎｏｄｅ］机构
洪泽站 ［ｎｏｄｅ］站点
启闭机室 ［ ｎｏｄｅ］设施或建筑物
外墙 ［ ｎｏｄｅ］部位
粉刷层脱落 ［ｎｏｄｅ］风险事件
及时用防水涂料重新粉刷 ［ ｎｏｄｅ］风险应对措施
标注数据的质量对巡检知识三元组的确立影响巨大，进而，三元组形成的质量又深层次地影响着
多模态知识图谱的构建质量，也会影响后续方法实现中知识的检索。受最近提示工程 ［２６ － ２７］ 工作的启
发，本研究采取基于 Ｔ５的实体关系联合抽取框架－ ＷＲＥＲＪＥ ［２８］ ，使用上表标注的数据对该框架进行微
调，使框架向工程巡检文本风险实体与关系抽取方面逐渐靠拢，从而使该框架识别出巡检文本中存在
的实体和关系，并转化为三元组形式。联合抽取框架如图 ４所示。ＷＲＥＲＪＥ首先将输入语句 Ｘ处理为
固定提示序列 Ｐ，该过程表示为
［ ｐ，ｐ，…，ｐ］ ＝ ＰＧ［ｘ，ｘ，…，ｘ］ （２）
１
ｘ
ｎ
２
１
２
式中：ＰＧ表示基于文本分类模型实现的提示生成器；Ｘ ＝ ［ｘ，ｘ，…，ｘ］表示输入语句；［ｐ，ｐ，
１ ２ ｘ １ ２
…，ｐ］表示所生成的提示序列 Ｐ；其次由 Ｔ５从该提示序列中同时提取出巡检实体和关系，并转为结
ｎ
构化三元组知识（ｓｔｒｕｃｔｕｒｅｄｔｒｉｐｌｅｔｋｎｏｗｌｅｄｇｅ，Ｓ）序列，该生成过程可表示为
ｔｋ
［ ｙ，ｙ，…，ｙ］ ＝ ＥＲＪＥ［ｐ，ｐ，…，ｐ］ （３）
１ ２ ｙ １ ２ ｎ
式中：ＥＲＪＥ表示基于 Ｔ５的实体关系联合抽取器；［ｙ，ｙ，…，ｙ］表示 Ｓ序列。
１ ２ ｙ ｔｋ
图 ４ 联合抽取框架
（２）局部风险图像提取。南水北调巡检文本数据中存在大量风险图像数据，能更直观、更形象地
可视化巡检文本所描述的有关风险；同时，图像特征对后续多模态知识图谱与多模态语言模型协同迭
代地寻找应对风险的强相关方案时具有重要的作用。作为多模态知识图谱的重要组成部分，对于图像
模态，本研究借助 ＣＶ处理技术以及人工的方式进行提取，其流程如图 ５所示。
本研究使用经过特征突出数据微调的 ＹＯＬＯｖ８ ［２９］ 模型作为主干网络，作为南水北调巡检图像的局
部风险部位提取器。使用开源工具 ＬａｂｅｌＩｍｇ对巡检数据中风险图像数据（例如：渗水、开裂、塌陷、
— ５ ２ —
４
