Page 140 - 2025年第56卷第1期
P. 140
本地知识库利用 Ｅｍｂｅｄｄｉｎｇ 模型对文档进行向量化， 构建向量知识库。 在查询时， 将问题进行向
量化并与向量知识库进行匹配， 筛选出前 Ｎ 条与用户提问相近内容， 实现问题的查询。 本文选取 Ｍ３Ｅ
［２８］ ［２９］ 作为本地知识库的向量化和相似度检索工具。 其中， Ｍ３Ｅ Ｍｏｄｅｌ 是 Ｍｏｋａ 开源， 是
Ｍｏｄｅｌ 和 ＦＡＩＳＳ
经两千万中文语句训练的 Ｅｍｂｅｄｄｉｎｇ 模型， 具备优秀的中文向量化能力； ＦＡＩＳＳ 是 Ｍｅｔａ 开发的相似度
检索工具， 可以实现 １０ 亿毫秒级检索。 灌浆工程本地知识库构建与知识检索流程如图 ６ 所示。
图 ５ ＬｏＲＡ 微调流程 图 ６ 灌浆工程本地知识库构建与知识检索流程
在通用问题回答时， 基于 ＬａｎｇＣｈａｉｎ 提供
的提示词模板可以直接形成提示工程， 随后调
用灌浆 ＬＬＭ 模型， 完成知识服务。 针对特定
知识库时， 首先使用 ＬａｎｇＣｈａｉｎ 将问题进行向
量化， 并与本地向量库进行相似度匹配， 筛选
出前 Ｎ 条 与 问 题 相 近 文 本 块 （ Ｔｅｘｔ Ｃｈｕｎｋｓ），
然后通过构造私有提示词模板， 利用灌浆 ＬＬＭ
的摘要抽取能力进行问题语言的进一步生成，
以保证模型针对特定工程或知识库问题回答的
能力。 基于 ＬａｎｇＣｈａｉｎ 的灌浆工程知识服务流
图 ７ 基于 ＬａｎｇＣｈａｉｎ 的灌浆知识服务流程
程如图 ７ 所示。
５ 实验与分析
５．１ 实验内容与超参数设置 在当下 ＬＬＭ 开源社区， 由于训练语料、 架构的差异， 各种模型基座呈
现出不同优势。 本研究以中文为应用背景， 为筛选出合适的中文模型基座， 选取 ＣｈａｔＧＬＭ ３ － ６Ｂ －
Ｂａｓｅ ［３０］ 、 Ｑｗｅｎ－７Ｂ－Ｂａｓｅ ［２７］ 和 Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｂａｓｅ ［３１］ 模型作为通用的中文 ＬＬＭ 基座进行大量微调实
验， 并采用专业性和通用性测试筛选最佳的灌浆领域模型。 上述 ３ 个模型均为国内厂商发布的 １００ 亿
参数内的开源模型基座， 并在中文任务中取得了较好的效果， 可在消费级 ＧＰＵ 上注入灌浆知识， 并
兼顾计算消耗与模型性能。
本实验采用消费级服务器进行实验， 其具体环境配置如下： 系统， ６４ 位 Ｕｂｕｎｔｕ １６．０４ ＬＴＳ； ＣＰＵ，
Ｉｎｔｅｌ（ Ｒ） Ｘｅｏｎ （ Ｒ） Ｇｏｌｄ ６１３２ ＣＰＵ ＠ ２． ６ ＧＨｚ × ４５； 内 存， １２８ＧＢ ＲＡＭ； ＧＰＵ： ＮＶＩＤＩＡ ＱＵＡＤＲＯ
ＲＴＸ８０００ ４８ＧＢ； Ｐｙｔｈｏｎ 版本， ３．１０．１２； Ｃｕｄａ 版本， １１．７； Ｐｙｔｏｒｃｈ 版本， １．１３．１。
ＬｏＲＡ 微调时， 使用 ＡｄａｍＷ 优化器和 ＷａｒｍｕｐＬＲ 调度器， 训练参数配置如表 １ 所示。 此外， 为获
取合适的指令微调参数， 本研究对不同 ＬｏＲＡ Ｒａｎｋ 和 ＬｏＲＡ Ａｌｐｈａ 进行了丰富的实验。 实践中， ＬｏＲＡ
— １ ３ ５ —
