Page 141 - 2025年第56卷第1期

Ａｌｐｈａ 通常设置为 １ 倍或 ２ 倍的 ＬｏＲＡ Ｒａｎｋ。 因此， 本研究在两种 ＬｏＲＡ Ａｌｐｈａ 配置下分别讨论 ６ 组不
同的 ＬｏＲＡ Ｒａｎｋ 设置， 每个模型分别进行了 １２ 组微调实验。
表 １ ＬＬａＭａ Ｆａｃｔｏｒｙ 框架下的训练参数配置

配置 ＣｈａｔＧＬＭ ３－６Ｂ－Ｂａｓｅ Ｑｗｅｎ－７Ｂ－Ｂａｓｅ Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｂａｓｅ
训练批次大小 １ １ １
梯度累计数 １６ １６ １６
学习率 ５×１０ －５ １×１０ －４ ２×１０ －４

优化方案 Ｚｅｒｏ－２ Ｚｅｒｏ－２ Ｚｅｒｏ－２

５．２ ＬｏＲＡ 微调过程分析 根据前文提出的基于混合策略的灌浆指令数据集生成方法， 针对《水工建
筑物水泥灌浆施工技术规范》进行数据生成。 为获得足够的语料， 每个问题会生成 ５ ～ ８ 种语义表述相
近的指令数据， 最终共生成了 ７２００ 条可用于微调训练的指令数据， 为防止模型发生灾难性遗忘， 训

练时将混合部分其他领域的指令数据。 ＣｈａｔＧＬＭ ３－６Ｂ－Ｂａｓｅ、 Ｑｗｅｎ－７Ｂ－Ｂａｓｅ 和 Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｂａｓｅ
９
９
模型的参数规模分别为 ６．２４×１０ ， ７．７２×１０ 和 ７．５１×１０ ， 在有监督微调阶段， 模型的可训练参数随 ｒ
９
的增加而增加， 不同配置下各模型的可训练参数比率如表 ２ 所示。
表 ２ 不同配置下的模型可训练参数比率 单位： ％
模型类别 ｒ ＝ ８ ｒ ＝ １６ ｒ ＝ ３２ ｒ ＝ ６４ ｒ ＝ １２８ ｒ ＝ ２５６

ＣｈａｔＧＬＭ ３－６Ｂ－Ｂａｓｅ ０．０３１２ ０．０６２４ ０．１２４８ ０．２４９２ ０．４９７２ ０．９８９４
Ｑｗｅｎ－７Ｂ－Ｂａｓｅ ０．０５４３ ０．１０８５ ０．２１６８ ０．４３２７ ０．８６１６ １．７０８６
Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｂａｓｅ ０．０５５８ ０．１１６０ ０．２２３０ ０．４４５０ ０．８８６１ １．７５６７

图 ８ 显示了 ３ 个模型在 ｒ ∶ α 为 １∶ １ 和 １∶ ２ 情形下， 训练过程的模型损失函数变化历程（微调后模
型后缀为 Ｇｒｏｕｔ）。 随着训练步数的增加， 各模型的损失函数均呈下降趋势， 直至最终收敛。 微调过程

中并未出现过拟合现象。 模型的收敛程度随 ｒ 值的增大而增加。 从趋势变化幅度看， Ｑｗｅｎ－７Ｂ－Ｇｒｏｕｔ
和 Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｇｒｏｕｔ 的损失函数曲线下降趋势幅度相近， 而 ＣｈａｔＧＬＭ ３－６Ｂ－Ｇｒｏｕｔ 损失的下降速度
与收敛程度会明显弱于另外 ２ 个模型。 这一现象源于 ＣｈａｔＧＬＭ ３－６Ｂ－Ｂａｓｅ 参数规模明显低于另外两个

模型。
此外， 各个模型在 ｒ ∶ α ＝ １∶ ２ 时的模型收敛趋势会明显强于 ｒ ∶ α ＝ １∶ １ 时， 其收敛趋势亦与 ｒ ∶ α ＝
１ ∶ １ 条件下两倍 ｒ 的模型相当。 其原因在于 ｒ ∶ α ＝ １ ∶ ２ 情形下对更新权重的放大， 使得模型以更积极
的态势发生参数调整， 以适应微调数据。 此外， 各个模型损失函数的收敛趋势均随着 ｒ 增加而不断增

加。 在较大的 ｒ 配置下， 模型拥有更多的可训练参数以适应灌浆指令数据的分布。
５．３ 微调后模型性能测试 由于领域数据与基座训练语料的差异， 微调后的 ＬＬＭ 模型可能导致模型
原有能力大幅下降甚至发生灾难性遗忘。 为了更为全面的评估微调后模型的能力， 本文从专业能力和
通用能力对模型进行评估。 在灌浆领域， 通过构造判断题与填空题来测试微调后模型在语义理解和文
本生成上的能力， 每种类型的题目均为 ５０ 道。 测试时为两类任务分别构造了特殊的提示工程， 提示
工程的相关设置与问题示例如表 ３ 所示。 提示工程假定 “灌浆工程师” 的角色， 并指明了判断∕填空

的基本任务， 以此保证模型的基本跟随能力。
选取 ｒ ＝ ２５６， α ＝ ５１２ 配置下的 ＣｈａｔＧＬＭ ３－６Ｂ－Ｇｒｏｕｔ、 Ｑｗｅｎ－７Ｂ－Ｇｒｏｕｔ 和 Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｇｒｏｕｔ，
分别进行专业性测试。 判断题和填空题的判别标准分为正确、 错误与部分正确三类， 以人工判别的方
式裁定答案的合理性， 两类问题的判别结果如图 ９、 １０ 所示。 在判断题和填空题作答方面， 微调后的
Ｑｗｅｎ－７Ｂ－Ｇｒｏｕｔ 和 Ｂａｉｃｈｕａｎ ２－７Ｂ－Ｇｒｏｕｔ 正确率基本相近， ＣｈａｔＧＬＭ ３－６Ｂ－Ｇｒｏｕｔ 正确率较低。 该现象
源于 ３ 个模型之间的参数量差异， 进一步说明了模型参数量是决定模型回答能力的一项关键影响因素。

— １ ３ ６ —