Page 117 - 2023年第54卷第9期
P. 117
制性选择答案,从 5个 给定选 项中 选择一 项关系,如果无 法确 定,则 选择 “未 知”。如 图 5 - Ⅰ 所
示。为提高关系推理的准 确性,最终 结果 采 用群体智能 策略 确 定,即 三 个 决 策 中 有 2个 及 以 上 对
“实体对之间存在该种关系” 表示肯定,则认为此关系成立并输出最终三元组。群体智能策略实现
如图 5 - Ⅱ所示。
图 5 防汛实体间关系决策器
3 实验设置
3.1 文本预处理 本文主要以防洪抢险应急预案文档、防汛条例、防汛抢险知识文本作为主要案例
源。在获得相关文本后,对文本进行段落筛选,过滤掉与防汛知识无关的描述,利用自然语言处理工
具 PyLTP(PythonLanguageTechnologyPlatform) [30] 对筛选后的段落以句号为分隔符进行分句处理,最
终获得 3104条文本,将 3104条文本输入到防汛抢险实体抽取器中,获得 5601个实体对。以此 5601
个实体对为基础测试数据,通过实验检验防汛抢险知识推理方法的有效性。
3.2 基准实验设置
3.2.1 子模块中 AI单元的有效性检验 采用抽样方法 [31] 检验 AI单元准确性。对于防汛实体抽取单元
的检验将从初始 3104条文本中随机抽取 310条文本进行评估;对于防汛实体间关系决策单元的检验,
将从 5601个实体对中随机抽取 560个进行评估;对于防汛实体知识挖掘单元,该单元主要用来挖掘防
汛抢险实体相关知识,此单元所返回的答案是利用 LLM从广泛的世界知识中抽取并生成的,所涉及知
识并无标准答案,故允许防汛实体知识挖掘单元存在噪声。因此本文不对该单元进行评估,只要该单
元能提取到相关的、正确的防汛抢险知识,即认为 KPer模块可靠。
针对防汛实体抽取单元,对该单元抽取所得实体进行判断,判断其是否属于防汛抢险实体。针对
1
— 1 2 7 —