Page 119 - 2023年第54卷第9期

表 ２ ＡＩ单元和模块的准确性
子模块 准确率 ＡＩ单元 准确率
防汛实体抽取器 ８７％ 实体抽取单元 ８７％
防汛实体间关系决策 １ ８２％
防汛实体间关系决策器 ８６％ 防汛实体间关系决策 ２ ７９％
防汛实体间关系决策 ３ ７７％

实体抽取错误主要表现为无效实体与文本中不存在实体，具体案例如表 ３。从第 １条文本中抽取
出的 “土粒” 实体，与从第 ２条文本中抽取出的 “填筑” 实体，其在日常生活和各个领域中被广泛使
用，这类实体属于通用实体，对于大坝防汛抢险任务缺乏针对性，本文注释时将该类实体视为无效实
体。从第 １条文本中抽取的 “堤坝” 实体，虽属于该领域内特定实体，但并不存在于文本中，这是由
于 ＬＬＭ有时可能会根据语义生成与当前文本语义较相似，但实际不存在于文本中的实体，本文中注释
时将该实体视为错误实体。关系推断不正确主要由于进行实体相关知识挖掘时，ＬＬＭ生成的防汛实体
相关知识可能存在噪声，因为此模块所返回的答案是利用 ＬＬＭ从广泛的世界知识中挖掘并生成的，所
涉及知识并无标准答案，而本文设计的群体智能策略可以缓解噪声带来的挑战，提高关系推理结果的
可靠性。总体来看，ＡＩ单元表现出的高准确率，证实了融合群体智能策略的 ＡＩ链能够有效地连接 ＡＩ
单元完成大坝防汛抢险知识推理任务。

表 ３ 实体抽取错误案例

文本 抽取总实体 错误实体
堤外坡土粒容易被水流冲刷导致浪坎形成 堤外坡；堤坝；土粒；水流冲刷；浪坎 土粒；堤坝
临河填筑黏性土封堵隔渗，同时背河填筑砂石反滤导渗 临河；填筑；封堵隔渗；背河；反滤导渗 填筑

４．２ 防汛知识推理有效性检验结果 ＦＣＲＫＩ和 ＷＲＥＲＪＥ的对比结果如表 ４。ＦＣＲＫＩ和 ＷＲＥＲＪＥ分别
从随机抽取的 ３１０条初始工程文本中推理得到 ３３５条和 ２７４条防汛实体关系三元组。对于简单文本，
ＦＣＲＫＩ能够正确推理出 １９２条防汛实体关系三元组，高 于 ＷＲＥＲＪＥ提 取 的 １６９条，对于 复杂文本，
ＦＣＲＫＩ正确推理出 １４３条防汛实体关系三元组，多于 ＷＲＥＲＪＥ提取的 １０５条关系三元组。因为简单文
本的语义复杂度较低，对方法推理能力要求不高。复杂文本的语义复杂度较高，涉及到很多从句和代
词指称，使得 ＷＲＥＥＪＥ提取关系较为困难，因为 ＷＲＥＲＪＥ仅从输入文本中提取表意明确关系三元组，
推理能力弱。而 ＦＣＲＫＩ利用 ＬＬＭ具备的世界知识和强大的生成能力来推理出防汛实体间关系，不受
文本来源和语义复杂度的限制，因此，ＦＣＲＫＩ可以更好的地处理复杂文本中的实体与实体间关系。
表 ４ ＦＣＲＫＩ和 ＷＲＥＲＪＥ的验证结果

ＦＣＲＫＩ ＷＲＥＲＪＥ
抽取数量 抽取关系总数 正确关系数量 推理关系总数 正确推理数量
３１０（初始文本） ４０９ ３３５ ３５６ ２７４
１５６ （简单文本） ２３５ １９２ ２２０ １６９
１５４（复杂文本） １７４ １４３ １３６ １０５

４．３ ＡＩ链和群体智能策略有效性检验结果 ６种方法的结果如表 ５所示。从表中得知 ＦＣＲＫＩ 准确
ｗ?ｏＡＩ
预测 １８０条关系三元组，少于 ＦＣＲＫＩ的 ３３５条，这表明即便 ＬＬＭ 学习到海量互联网知识，但没有明
确的任务提示，也很难直接推理出二者关系。ＦＣＲＫＩ 准确预测 １９８条关系三元组，这表明在单个
ＡＩ － ＣｏＴ
文本块中进行全部步骤的描述，ＬＬＭ 很难将各部分的输入输出紧密联系起来，这两种方法验证了 ＡＩ
链思想和子模块以及功能单元设计对 ＦＣＲＫＩ鲁棒性的影响。ＦＣＲＫＩ 准确预测 ３６１个关系，虽高于
ｗ?ＯＭＶ
ＦＣＲＫＩ的 ３３５个，但其准确率远低于 ＦＣＲＫＩ，验证了多数投票的有效性。而对于独立的防汛实体间关

１
— １ ２ ９ —