Page 40 - 2022年第53卷第9期

２．２ 多模态机械活动识别集成深度学习模型 研究证明准确的机械活动识别可以为精细化施工仿真模
型提供活动时间参数，然而现有的多模态活动识别方法需要复杂的手动特征工程，耗时费力且可能引
入一定偏差，不适用于实时仿真参数建模。针对上述问题，本节提出一个多模态集成深度学习模型对
２．１节采集的多模态数据进行学习，识别机械随时间变化的活动状态，为活动时间参数建模提供关键
结果。所 提 出 的 多 模 态 集 成 深 度 学 习 模 型 构 架 如 图 ３所 示， 由 三 个 模 块 构 成： （１）基 于
ＩＤｅｅｐＣｏｎｖＬＳＴＭ的运动模态学习模块；（２）基于 ＤＣＮＮ的声音模态学习模块；（３）集成模块。

图 ３ 多模态集成深度学习模型架构图

２．２．１ 基于 ＩＤｅｅｐＣｏｎｖＬＳＴＭ的运动模态学习模块 该模块使用改进的 ＤｅｅｐＣｏｎｖＬＳＴＭ 学习 ２．１节采集
处理 后 的 运 动 学 信 号， 进 而 实 现 基 于 运 动 模 态 数 据 的 堆 石 坝 仓 面 施 工 碾 压 机 械 活 动 识 别。
［３９］
ＤｅｅｐＣｏｎｖＬＳＴＭ是由 Ｆｒａｎｃｉｓｃｏ和 Ｄａｎｉｅｌ 于 ２０１６年提出的一个用于人类活动识别的深度学习框架，该
框架由 ４层卷积层、２层循环层和 １层 ｓｏｆｔｍａｘ函数组成。卷积层的作用是自动提取特征，将运动学数
据抽象建模为特征图。循环层的作用是学习特征图中的时间相关特征。该模型已被验证在人类活动识
别研究中表现良好。但是由于用于训练的运动学数据集数据量庞大，ＤｅｅｐＣｏｎｖＬＳＴＭ 模型存在收敛速
度慢，容易梯度爆炸等问题，因此，本文提出了 ＩＤｅｅｐＣｏｎｖＬＳＴＭ，在每个卷积层之间插入了批量归一
化层以加速收敛，且卷积层和循环层中间加入了 ｄｒｏｐｏｕｔ层以防止过拟合，具体说明如下。

０
— １ ５ ３ —