Page 118 - 2023年第54卷第9期

防汛实体间关系决策单元，通过判断最终推理所得结果的准确率来评估该单元的可靠程度。
３．２．２ 防汛知识推理有效性验证 将 ＦＣＲＫＩ与实体关系联合抽取框架 ＷＲＥＲＪＥ ［１２］ 进行比较，验证
ＦＣＲＫＩ在防汛实体关系三元组知识推理任务中的可靠性。将 ３．２．１节中得到的 ３１０条初始文本作为输
入，分别使用 ＷＲＥＲＪＥ和 ＦＣＲＫＩ提取防汛实体关系三元组。此外，为了验证文本特征对 ＦＣＲＫＩ的影
响，将 ３１０条样本分为简单文本和复杂文本，如果 １条文本中含有两个以上的防汛抢险实体且模式复
杂，即划定为复杂文本，否则为简单文本，最终得到 １５６条简单文本和 １５４条复杂文本。分别测试
ＦＣＲＫＩ方法对复杂文本和简单文本的推理性能。
３．２．３ ＡＩ链和群体智能策略有效性检验 为了验证本文所提 ＡＩ链的有效性，设计 ２种方法：（１）
ＦＣＲＫＩ ，其不使用 ＡＩ链思想，采取直接询问实体间关系的方式，如图 ６中 ＦＣＲＫＩ ，输入为 １条
ｗ?ｏＡＩ ｗ?ｏＡＩ
工程文本，输出为 ＬＬＭ根据自身逻辑推理出的该条语句中表达的关系；（２）ＦＣＲＫＩ ，其使用 ＡＩ链
ＡＩ － ＣｏＴ
思想，但不进行子模块和功能单元的划分，只在 １个文本块中描述所有步骤，ＬＬＭ通过任务步骤来完
成防汛实体间关系推理，如图 ６中所示，输入为 １条工程文本，输出为 ＬＬＭ根据步骤推理得到的文本
中表达关系。采用初始 ３１０条工程文本进行上述两种方法的测试。
为了评估群体智能策略对 ＦＣＲＫＩ鲁棒性的影响，设计了 ４种方法，第 １种方法为 ＦＣＲＫＩ 该方
ｗ?ＯＭＶ，
法省略多数投票环节，在 ３个决策单元的输出结果中，只要有一个输出为正，该结果就为正，该方法
主要验证多数投票的有效性。其余 ３种方法则是针对防汛实体间关系决策单元设计了 ３种独立变体，
分别是只回答开放式问题的决策 １（ＲＤｅｒ＿１）、只判断声明正误的决策 ２（ＲＤｅｒ＿２）、只做限制性选择的
决策 ３（ＲＤｅｒ＿３），每种方法都将其对应的独立决策单元的输出作为最终结果，３种独立变体用于验证
群体智能策略的有效性。

图 ６ ＦＣＲＫＩ ＡＩＣｏＴ 两种方法对比
ｗ?ｏＡＩ 和 ＦＣＲＫＩ －

４ 实验结果

４．１ 子模块中 ＡＩ单元有效性检验结果 对于子模块和 ＡＩ单元的准确性检验结果如表 ２所示。防汛实
体抽取器的准确率取决于该子模块内进行实体抽取的 ＡＩ单元准确率，实体抽取 ＡＩ单元对初始的 ３１０
条文本进行抽取，共抽取出 ５２５个实体，通过人工对 ５２５个实体进行注释，其中正确的有 ４５７个，准
确率为 ８７％。防汛实体间关系决策器从 ３．２．１中得到的 ５６０个实体对中推理出 ７６９条关系三元组，通
过人工对 ７６９条关系三元组进行注释，正确数量为 ６６１，准确率为 ８６％。在 ７６９条关系三元组中，通
过开放式提问方式进行决策的决策 １回答正确个数为 ６３０，准确率为 ８２％；通过限制性判断声明正误
方式进行决策的决策 ２判断正确个数为 ６０７，准确率为 ７９％。通过限制性选择方式进行决策的决策 ３
选择正确个数为 ５９２，准确率为 ７７％。

— １ １ ８ —
２