Page 120 - 2023年第54卷第9期
P. 120
系决策单元(RDer_1,RDer_2,RDer_3),表 4结果表明,RDer_1的准确率为 3个独立决策单元中最
高,但也远远低于 FCRKI,这验证了引入群体智能策略可以提高 FCRKI的鲁棒性。此外,独立的防汛
实体间关系决策单元结果也表明,在 3种提示风格(开放式问题风格、限制性判断风格、限制性选择风
格)中开放式风格对防汛实体间关系推理是最有效的。与直接向 LLM查询防汛知识相比,通过设计一系
列提示组成 AI链在实体抽取、知识挖掘和关系推理多个步骤中与 LLM逐步进行交互可以有效提高 LLM
响应的可靠性。群体智能策略可以缓解设计完美提示带来的挑战,进一步提高防汛知识推理的鲁棒性。
表 5 AI链和群体智能策略有效性检验结果
方法 FCRKI FCRKI w?oAI FCRKI - FCRKI w?OMV RDer_1 RDer_2 RDer_3
AICoT
三元组总数 409 253 275 669 446 402 283
正确数量 335 180 198 361 285 269 173
准确率?% 82 71 72 54 64 67 61
将采用 FCRKI方法推理得到的防汛三元组知识存储进图数据库 Neo4j以构建防汛知识图谱,其中
部分实体关系三元组如图 7所示。
图 7 部分防汛抢险实体关系知识
5 结论及展望
本文提出使用 LLM作为 AI知识库进行大坝防汛知识推理的思路。FCRKI通过将任务分解为单步
的执行流程,并设计有效提示来提高 LLM响应的可靠性。所总结 3个任务分析原则:(1)模块化任务
分解,即将总任务分解为子问题,设计子模块,并进一步设计功能单元;( 2)子模块链接,即以特定
结构链接各子模块;( 3)AI单元与非 AI单元组合,即编程逻辑清晰,规则定义明确的作为非 AI单元,
设计提示引导 LLM作用于 AI单元。
与现有方法相比,FCRKI有 3个主要优点:(1)利用 LLM丰富世界知识,打破了可利用文本数量
过少和文本质量偏低的局限;(2)使用无监督学习方法,省去了传统监督或半监督学习方法中由于人
工标注大规模数据带来的劳动开销;(3)上下文学习能力,可通过上下文学习有效捕捉到复杂长难句
中实体之间的关系。此外为了降低 LLM响应错误的潜在风险,采用 AI链思想,分解任务步骤、设计
有效提示以及群体智能策略,大大提高了 FCRKI的可靠性和鲁棒性,实验结果表明,FCRKI可以高效
— 1 1 0 —
3