Page 54 - 2023年第54卷第7期
P. 54

表 ２ 不同特征数的算法精度对比
                                        ＲＭＳＥ                 ２               ＭＡＥ                ＭＡＰＥ
                   特征数 ｄ ｍｏｄｅｌ                              Ｒ
                       ３２                ７．２３９            － ０．０２０            ５．２８５             １３．９３８
                       ６４                ７．０３７             ０．０３６             ５．３４３             １４．２３２
                      １２８                ７．２３３            － ０．０１９            ５．５１９             １５．５４４
                      ２５６                ７．７６７            － ０．１７４            ６．１３６             １６．８８７
                      ５１２                ７．７２０            － ０．１６１            ５．７９８             １６．８６８


                  为了验证多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法灌浆流量预测的预测精度，如表 ３所示选取多种方法进行精
              度对比，ｓｅｑ２ｓｅｑ、单头注 意力 Ｔｒａｎｓｆｏｒｍｅｒ、多 头 注 意 力 Ｔｒａｎｓｆｏｒｍｅｒ、ＣＮＮ ＋ 多 头 注 意 力 Ｔｒａｎｓｆｏｒｍｅｒ、
              ＦｕｚｚｙＣ － Ｍｅａｎｓ（ＦＣＭ） ＋ ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ、ＦＣＭ＋ 多核 ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ方法的
              输入个数都为 ９６，输出个数为 ２４，Ｒａｎｄｏｍ Ｆｏｒｅｓｔ（ＲＦ）、ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ（ＳＶＭ）、ＢＰＮＮ、Ｅｘｔｒｅｍｅ
              ＬｅａｒｎｉｎｇＭａｃｈｉｎｅ （ＥＬＭ）的输入个数都为 ９６，输出个数为 １，进行 ２４次测试计算得到 ２４个预测值。序
              列到序列 ｓｅｑ２ｓｅｑ方法的参数设置如下，迭代次数为 １００，隐含层维度为 ６４，输入维度为 １，输出维度
              为 １，堆叠层数目为 ２，梯度修剪值为 ２．５。单头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法的注意力机制头数设置为 １。
              ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法利用 ＣＮＮ对数据进行特征提取预处理，特征图的像素点尺寸设置为
              ２８ × ２８，全连接层的标签值设置为 １０个，选用两层卷积和两层池化，卷积核的大小设置为 ５，池化层
              的尺寸设置为 ２ × ２，采用最大池化方案。ＦＣＭ＋ ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法在 ＣＮＮ ＋ 多头注意力
              Ｔｒａｎｓｆｏｒｍｅｒ算法的基础上利用 ＦｕｚｚｙＣ － Ｍｅａｎｓ（ＦＣＭ）聚类算法             ［３５］ 对时序测点进行聚类后进行特征提取。
              ＦＣＭ＋ 多核 ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法在 ＦＣＭ＋ ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法的基础上采用
              卷积核尺寸进行特征提取，然后将利用不同卷积核提取的特征值进行拼接得到 ２０个全连接层标签。
              利用 ＣＥＥＭＤＡＮ方法对流量数据进行分解的结果如图 ６所示，参数设置如下：高斯白噪声（Ｎｓｔｄ） ＝
              ０．２，加入噪声次数 ＝ ５００ ，最大迭代次数（ＭａｘＩｔｅｒ） ＝５０００ 。灌浆流量分量 ＩＭＦ１，ＩＭＦ２，ＩＭＦ３，ＩＭＦ４，
              ＩＭＦ５，ＩＭＦ６，ＩＭＦ７，ＩＭＦ８，ＩＭＦ９和残差的皮尔逊相关性分别为 ０．２８９，０．４２０，０．５４７，０．６８３，０．５０４，
              ０．３５１，０．２４８，０．１９１，０．１６４，－ ０．０１０。由于残差与灌浆流量的相关性较低，残差分量不参与灌浆流量
              的预测分量。利用 ＣＥＥＭＤＡＮ’方法             ［３６］ 对灌浆流量进行分解，参数设置如下：高斯白噪声（Ｎｓｔｄ） ＝０．２，
              加入噪声次数 ＝ ５００ ，最大迭代次数（ＭａｘＩｔｅｒ） ＝５０００ 。随机森林算法树数目设置为 １００，树节点分裂变
              量设置为 ２。支持向量机算法惩罚因子 Ｃ设置为 ５０，ＲａｄｉａｌＢａｓｉｓＦｕｎｃｔｉｏｎ（ＲＢＦ）核函数方差 ｇ设置为
              ０．１，损失因子 ｐ设置为 ０．１。ＢＰＮＮ参数设置如下，训练数选取为 １０００，训练目标选取 ０．００１，学习速
              度选取 ０．０１。ＥＬＭ算法参数设置如下，隐层神经元数设置为 ３０，隐层神经元的激活函数为 Ｓ型函数。
                  不同算法的对比结果如表 ３和图 ８所示，多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ相比 ｓｅｑ２ｓｅｑ和单头注意力 Ｔｒａｎｓ
              ｆｏｒｍｅｒ 具有良好的计算精度，且能够更好地反映灌浆流量的时序变化趋势。在灌浆施工中灌浆压力和
              灌浆流量需要维持相对稳定的灌浆功率，灌浆流量序列预测提供时间线更长的预测范围，能够为灌浆
              施工流量管控提供参 考并 且提高 施工 质量。ＣＮＮ ＋ 多头 注 意力 Ｔｒａｎｓｆｏｒｍｅｒ、ＦＣＭ＋ ＣＮＮ ＋ 多 头 注意力
              Ｔｒａｎｓｆｏｒｍｅｒ、ＦＣＭ＋ 多核 ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ、ＦＣＭ＋ 多核 ＣＮＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ算法在
              计算 精 度 和 时 序 趋 势 方 面 相 比 多 头 注 意 力 Ｔｒａｎｓｆｏｒｍｅｒ没 有 明 显 优 势。 ＣＥＥＭＤＡＮ＋ 多 头 注 意 力
              Ｔｒａｎｓｆｏｒｍｅｒ相比多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ计算精度明显提升，ＣＥＥＭＤＡＮ’ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ相比
              多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ计算精度也有一定幅度的提升。ＩＭＦ１至 ＩＭＦ９的分量预测结果如图 ７所示，通
              过所有分量合成的灌浆流量预测结果如图 ７所示。ＲＦ和 ＳＶＭ算法计算结果比较平缓，结果的辨识度
              低，ＢＰＮＮ和 ＥＬＭ计算结果波动性大。总体而言，相比 ＲＦ、ＳＶＭ、ＢＰＮＮ、ＥＬＭ 算法，多头注意力
              Ｔｒａｎｓｆｏｒｍｅｒ算法在计算精度和时序趋势效果方面都存在明显优势。ＣＥＥＭＤＡＮ ＋ 多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ
              相比多头注意力 Ｔｒａｎｓｆｏｒｍｅｒ计算精度明显提升，同时该算法能够一次计算 ２４个测点，通过序列到序
              列预测降低了计算的复杂性，增加了预警时间。


                —  ８ １  —
                     ２
   49   50   51   52   53   54   55   56   57   58   59