Page 42 - 2022年第53卷第9期

的参数设置如表 ２所示。除了使用 Ｓｏｆｔｍａｘ函数的输出层外，所有层都使用 ＲｅＬｕ激活函数。此外，在
全连接层中使用了 ３０％ 的 ｄｒｏｐｏｕｔ策略以防止过拟合。
表 ２ 采用的 ＤＣＮＮ结构参数

层 输入形状 滤波器 卷积窗口形状 步长 输出形状
Ｃｏｎｖ１ ｛ｂａｔｃｈ，６０，２，２｝ ２４ （６，２） （１，１） ｛ｂａｔｃｈ，６０，２，２４｝
Ｃｏｎｖ２ ｛ｂａｔｃｈ，６０，２，２４｝ ２４ （６，２） （１，１） ｛ｂａｔｃｈ，６０，２，２４｝
Ｃｏｎｖ３ ｛ｂａｔｃｈ，６０，２，２４｝ ４８ （５，１） （２，２） ｛ｂａｔｃｈ，３０，１，４８｝
Ｃｏｎｖ４ ｛ｂａｔｃｈ，３０，１，４８｝ ４８ （５，１） （２，２） ｛ｂａｔｃｈ，１５，１，４８｝
Ｃｏｎｖ５ ｛ｂａｔｃｈ，１５，１，４８｝ ６４ （４，１） （２，２） ｛ｂａｔｃｈ，８，１，６４｝
Ｆｌａｔｔｅｎ ｛ｂａｔｃｈ，８，１，６４｝ ｛ｂａｔｃｈ，５１２｝
Ｄｅｎｓｅ ｛ｂａｔｃｈ，５１２｝ ｛ｂａｔｃｈ，２００｝
输出－ Ｄｅｎｓｅ ｛ｂａｔｃｈ，２００｝ ｛ｂａｔｃｈ，７｝

２．２．３ 集成模块 该模块采用上下文加权平均分类（ＣＷＡＣ）模型集成 ２．２．１节提出的运动学模态机械
状态识别结果和 ２．２．２节提出的声音模态机械状态识别结果以获得最优的堆石坝仓面施工碾压机械状
态识别结果。首先，由于运动学训练集和声学训练集的采样频率不同，需要对其识别结果进行预测尺
度的归一化，运动学样本活动识别预测时间间隔为 ０．０１ｓ，声学数据样本活动预测时间间隔为 ０．０３ｓ，
需要对每三个运动学活动识别预测结果进行合并，此处采用窗口大小为 ３，移动步长为 ３的小窗口过
滤（ ＳＷＦ）方法实现运动学识别标签的重构，重构识别概率为窗口内 ３个样本点预测结果的加权平均。
处理后的声学标签和运动学标签时间间隔均为 ０．０３ｓ。ＣＷＡＣ模型接收来自每个运动和声音模态感知
模块的中间预测结果，这些预测结果由特定时间范围内每个活动类别的概率（即置信度）组成，如图 ３
所示。获得中间预测结果后，每个向量的置信度分数将根据上下文权重进行加权平均，从而得到融合
的分类概率向量 Ｐ，如式（１１）所示；然后将融合的分类概率向量 Ｐ输入到 ａｒｇｍａｘ函数层，以最终确
ｆ
ｆ
定设备活动的类别，如式（１２）所示：
Ｐ＝ ｗ·Ｐ＋ ｗ·Ｐ ａ （１１）
ｋ
ｋ
ａ
ｆ
ｃ ＝ ａｒｇｍａｘ （Ｐ） （１２）
ｆ ｆ
式中：Ｐ，Ｐ和 Ｐ是一维向量，分别为基于混合模态集成、运动模态和声音模态感知模块的作业状态
ｋ
ａ
ｆ
类别的置信度分数；ｗ和 ｗ为运动信号和声音信号感知之间的上下文权重；ｃ为功能集成模块预测的
ｋ ａ ｆ
设备活动类别。ｗ和 ｗ的大小需要满足式（１３）—（１５），由专家依据项目现场情况给定。
ｋ ａ
ｗ＋ ｗ ＝ １ （１３）
ａ
ｋ
０ ≤ｗ≤１ （１４）
ｋ
０ ≤ｗ≤１ （１５）
ａ
在本研究中，运动模态和声音模态的上下文权重分别设置为 ０．８和 ０．２，这种权重设置在第 ３节工
程应用实验验证中表现优良。
２．３ 碾压仿真参数时长实时更新 在活动识别和分类之后，基于活动识别时间序列结果提取活动持续
时间用于模拟输入建模。因为预测生成的活动状态标签存在一定的噪声波动（即由于误分类产生的个
别时间点活动状态与该时间段内的主要活动状态不同），对仿真参数活动时长的提取造成一定的影响，
所以需要采 用 大 窗 口移 动过 滤器对 预测标 签进行 平滑 处理，具体 处理 如下：当 满足 式 （ １６）时，令
Ｌａｂｅｌ ＝ Ｌａｂｅｌ
ｉ ｉ － １
Ｎｕｍ Ｌａｂｅｌ ｉ
ｒａｔｉｏ ＝ ＜ｒａｔｉｏ ｃ
Ｎｕｍ
Ｗ
（１６）
Ｌａｂｅｌ ≠Ｌａｂｅｌ
ｉ ｉ － １
Ｌａｂｅｌ ≠Ｌａｂｅｌ
ｉ ＋ １
ｉ
式中：Ｌａｂｅｌ为 第 ｉ个 时 刻 对 应 的 预 测 标 签； Ｎｕｍ 为 移 动 窗 口 长 度， 通 过 交 叉 验 证 设 置 为 １００，
ｉ Ｗ
０
— １ ５ ５ —