Page 41 - 2022年第53卷第9期

卷积层是一种有效的特征提取器，通过在数据上滑动卷积核（也称滤波器）与覆盖数据做卷积计算
来提取特征。本研究使用一维卷积运算提取运动学数据特征图，其计算表达式如下 ［３９］ ：
Ｎ ｌ Ｎ ｌ Ｐ ｌ
) (
(
ｌ
ｌ
ｌ
ｌ
ｌ
ｌ
Ｆ （ｌ ＋ １ ） （ ! ） ＝ σ ｂ＋ （ｋ（ ! ） Ｆ（ ! ）） ＝ σ ｂ＋ ( （ｋ（ｐ）Ｆ（ ! － ｐ）） )) （４）
ｊ ∑ ∑
ｊ ∑
ｊ ｊ ｆ ｆ ｊ ｆ ｆ
ｊ ＝１ ｊ ＝１ ｐ ＝１
ｌ
ｌ
式中：Ｆ（ ! ）表示第 ｌ层中的第 ｊ个特征图；σ为一个非线性函数；Ｎ表示第 ｌ层的特征图数量；ｋ（ ! ）
ｊ ｌ ｊｆ
表示从第 ｌ层中特征图 ｆ向第（ｌ ＋ １ ）层的特征图 ｊ的卷积操作对应的卷积核；Ｐ是第 ｌ层中卷积的长度；
ｌ
ｌ
ｂ为偏置权重。从式（４）可以看出，上一层的特征图和每个卷积核做卷积都会产生下一层的一个特征
图，对应图 ３中的紫色框框选的特征图与卷积核相乘将会产生下一层的一个特征图。在本研究中处理
运动学传感器数据时，此计算将独立应用于输入层中的传感器变量的 每 个 维度 （传 感器 变量 共有 ６
维），因此，输入层的特征图数量 Ｎ ＝ １ 。
ｌ
训练深度神经网络的复杂性在于每一层输入的分布在训练过程中会随着前一次的参数变化而变
化，如果网络的激活输出很大，其梯度就很小，使得模型的学习率减小，训练速度降低，甚至可能导
致梯度爆炸的问题。针对以上问题，本研究在每一层卷积中间加入批量归一化层（ ＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ，
ＢＮ）以提高模型的训练速度。ＢＮ是由 Ｇｏｏｇｌｅ于 ２０１５年提出的加速神经网络训练的方法 ［４４］ ，它通过求
每一个训练批次数据的均值、方差对该批次训练数据做归一化，使其服从 ０ － １分布，然后通过尺度变
换和偏移以保证模型的训练精度。本研究中在每个卷积层中间加入 ＢＮ层，对每个特征图做批量归一化
处理，使得深度学习网络可以用饱和非线性函数进行训练，从而可以接受较大的学习率以提高训练效率。
四层卷积提取特征后，特征信息将被传递到 ＬＳＴＭ
细胞单元。ＬＳＴＭ是递归神经网络的变体，主要组成包
括遗忘门、输入门和输出门，输入门可以短暂储存时
序信息，使 其 在 时 间 序 列 学 习 中 表 现 出 较 强 的 优 势，
ＬＳＴＭ单元的结构如图 ４所示，ｔ时刻的输入数据 Ｘ通
ｔ
过底部传输到模块中，ｔ － １时刻的输出数据 ｈ 从左边
ｔ － １
传输进模块，两部分数据先经过遗忘门，以决定忘记
一些不重要的信息，之后和上一时刻的核心细胞的输
出 Ｃ′一起传输给 ｔ时刻的核心记忆细胞；两部分数据再
ｔ
经过输入门将新信息传输给核心记忆细胞，最后经过 图 ４ ＬＳＴＭ单元结构图
输出门以决定输出信息，和核心细胞传出的数据相结合，得到最终的输出 ｈ用于传输到下一个 ＬＳＴＭ
ｔ
模块。相关传输和更新计算过程如式（５）—（１０）所示。
ｆ ＝ σ （Ｗ·［ｈ ，Ｘ］ ＋ ｂ） （５）
ｔ ｆ ｔ － １ ｔ ｆ
ｉ ＝ σ （Ｗ·［ｈ ，Ｘ］ ＋ ｂ） （６）
ｉ
ｉ
ｔ
ｔ － １
ｔ
Ｃ′ ＝ ｔａｎｈ（Ｗ ·［ｈ ，Ｘ］ ＋ ｂ） （７）
ｔ － １
Ｃ
ｔ
Ｃ
ｔ
Ｃ＝ ｆ Ｃ ＋ ｉ Ｃ′ （８）
ｔ ｔ ｔ － １ ｔ ｔ
ｏ＝ σ （Ｗ ·［ｈ ，Ｘ］ ＋ ｂ） （９）
ｔ － １
ｔ
ｔ
ｏ
ｏ
ｈ＝ ｏ ｔａｎｈ（Ｃ） （１０）
ｔ ｔ ｔ
式中：Ｗ 、Ｗ 、Ｗ 和 Ｗ 分别为遗忘门、输入门、核心细胞单元和输出门的权重矩阵；ｂ、ｂ、ｂ和
ｆ
ｉ
ｏ
ｆ
ｉ
Ｃ
Ｃ
ｂ分别为遗忘门、输入门、核心细胞单元和输出门的偏置向量；ｆ、ｉ、Ｃ和 ｏ分别为 ｔ时刻遗忘门、
ｔ
ｔ
ｔ
ｔ
ｏ
输入门、核心细胞单元和输出门的输出状态，Ｃ′为新数据输入的细胞状态；ｔａｎｈ和 σ分别为 ｔａｎｈ激活
ｔ
函数和 ｓｉｇｍｏｉｄ激活函数。最后，设置一个 ｓｏｆｔｍａｘ函数用于输出机械活动识别分类概率。
２．２．２ 基于深度卷积神经网络的声音模态学习模块 该模块使用 ＤＣＮＮ模型实现基于声音模态数据的
堆石坝仓面施工碾压机械活动识别，模型输入为 ２．１节采集的声音信号生成的梅尔频谱图。研究采用
了 Ｍａｃｃａｇｎｏ等 ［４５］ 于 ２０２１年提出的用于施工场景音频分类的 ８层 ＤＣＮＮ结构。该模型包含一个 ６０ × ２ × ２
的张量输入层，五个卷积层用于特征提取，一个 Ｆｌａｔｔｅｎ层将卷积获得的特征图一维化，一个具有 ２００
个神经元的全连接层用于分类学习和一个用于获得分类概率的 Ｓｏｆｔｍａｘ函数。所采用的 ＤＣＮＮ每一层
５
— １ ０ ４ —