复杂工业环境中的异音异响检测方案:基于HuBERT与k-NN的自监督机器学习技术解析

在工业生产现场，风机、输送线、电机、压缩机等设备往往同时运行，背景噪声复杂、设备工况变化频繁，传统人工听音或普通算法容易出现漏检、误检等问题。因此，无监督的声学异常检测（Unsupervised Anomalous Sound Detection, ASD）成为了解决这一数据不平衡痛点的核心技术路径。苏州东原 基于当下复杂的工业环境下改进的 👉异音异响检测技术👈 ，结合自监督机器学习、HuBERT特征提取与k-NN算法，解析工业设备在复杂背景噪声中的异常声音检测方法，帮助企业提升设备故障识别效率，为智能制造与预测性维护提供可靠的AI机器听音解决方案。

当前，该领域面临的一个极其严峻的挑战是“域偏移”（Domain Shift）问题。当模型从开发环境（源域）部署到实际评估环境（目标域）时，设备的转速（RPM）、背景噪声分布乃至麦克风的硬件特性和录音位置都可能发生显著变化。传统的基于自编码器（Autoencoders, AE）的重构模型试图通过最小化正常声谱图的重构误差（MSE）来检测异常，但研究表明，这类模型在面对未知的噪声条件和域偏移时，其性能会发生严重的退化。

针对这一前沿难题，Albert Nerkin工程学院的科研人员 Meghan Kret 针对最具挑战性的 DCASE 2025 挑战赛 Task 2 提出了一种极具创新性的解决方案。本文提出了一种轻量级的“First-Shot”（首发/极少样本）异常声音检测系统。该系统摒弃了繁重的解码器网络，创新性地将基于自监督学习的强大声音特征提取主干（HuBERT-Base）与在嵌入空间中的非参数化 k-近邻（k-NN）检测器相结合。该架构不仅显著提升了在域偏移下的检测鲁棒性，还在保持极低计算开销的前提下超越了官方基线模型。

一、 核心科学问题：First-Shot 困境与传统模型的局限

本文直接应对了 DCASE 2025 Task 2 中设定的极具挑战性的 “First-Shot” 范式：在模型训练阶段，针对特定的目标域（Target Domain），系统仅能获取极其有限的（仅十个）正常目标域样本，且不允许生成任何合成的异常数据。

在这种极端数据匮乏且存在剧烈域漂移的场景下，传统异常检测架构面临两难境地：

1. 重构悖论与过度拟合： 如果继续采用复杂的深度自编码器并尝试使用这区区十个目标域样本进行梯度微调，网络极易发生灾难性的过拟合，导致模型完全丧失泛化能力。
2. 超参数敏感性： 诸如单类支持向量机（One-Class SVM）或基于复杂边界界定的深度分类器，往往需要繁琐的超参数调优（Hyperparameter tuning），这在缺乏验证集的情况下极易失效。

近年来，学术界出现了一种新的趋势：利用基于 Transformer 架构的强大特征提取器（如 PANNs 或 BEATs）搭配浅层分类器（如 k-NN），在局部 AUC（pAUC）上取得了 10 到 20 个百分点的显著性能跃升。本文正是基于这一学术趋势，进一步将纯自监督的波形主干网络与纯记忆驱动的非参数距离度量相结合，彻底切断了在小样本适应过程中基于梯度更新可能带来的风险。

二、 核心方法与系统架构剖析

该系统被设计为一个端到端（End-to-end）的极简流水线，主要涵盖数据预处理、特征嵌入提取、记忆库构建、以及非参数异常评分四大模块。

1. 鲁棒的前端音频预处理 (Pre-processing)
工业设备录音由于麦克风距离和设备型号的差异，信号能量往往参差不齐。为了从源头上抑制由录音设备和环境背景噪声引入的域方差（Domain variance），系统首先对所有传入的原始 WAV 频文件进行了严格的标准化预处理：

• 所有音频被统一重采样至 16 kHz。
• 引入了国际电信联盟标准的 ITU-R BS.1770 响度归一化算法，强制抹平不同机器和麦克风位置带来的绝对音量差异。
• 通过简单的能量阈值判定，对音频首尾的纯静音片段进行了裁剪（Trimming），确保网络专注于包含有效机械声学信息的片段。

2. 基于 HuBERT-Base 的高维特征嵌入 (Embedding Extraction)
系统的核心特征提取器采用了在海量 AudioSet 数据集上预训练的 HuBERT-Base 模型（参数量约 90 M）。HuBERT 是一种极具代表性的自监督语音表示学习模型，其本身对各类噪声具有天然的强鲁棒性。
在特征映射过程中，系统提取了 1024 点的 STFT 特征片段，将其通过 HuBERT-Base 网络，随后应用了层归一化（Layer-norm）并转换为 128 维的对数梅尔（log-mel）特征。对于一整段音频裁剪（Clip），模型在帧级别提取特征矩阵，并沿着特征轴进行了 L2 归一化，最后通过时间维度的全局平均池化（Average pooling）操作，将整段音频浓缩为一个 768 维的致密全局特征向量 e 。这种从帧级别到片段级别的聚合，有效滤除了高频噪声带来的随机抖动。

3. First-Shot 自适应与记忆库构建 (Memory Bank)
为避免在极小样本上进行梯度更新带来的灾难性衰退，系统采用了无参数的记忆库（Memory Bank）策略。
在模型注册（Enrollment）阶段，系统在特征空间中为每台机器独立构建一个记忆库 M 。记忆库中存储了两部分关键信息：

• 来自源域的 990 个正常音频片段的特征嵌入。
• 直接追加（Appending）来自目标域的 10 个正常音频片段特征嵌入。
  由于不需要对网络权重进行任何梯度更新（Zero retraining），这种直接“塞入”目标域特征的极简策略，不仅使得检测器能够瞬间学习并自适应目标域的数据分布行为（In-distribution behavior），更从根本上实现了完美的 First-shot 泛化能力。最终，单台机器的记忆库容量被严格控制在 1000×768 维度的紧凑特征矩阵内。

4. 纯非参数化的 k-NN 异常评分与后处理 (Anomaly Scoring)
在推理阶段（Inference），系统不再依赖解码器的重构误差，而是直接在特征潜空间中进行近邻距离计算。
对于任意输入的测试向量 e，系统计算其与记忆库 M 中存储的特征向量之间的距离。经过融合实验对比，研究发现使用欧氏距离（Euclidean distance）与余弦距离（Cosine distance）的表现差异微乎其微，因此为了追求极致的推理速度，系统默认采用了欧氏距离。最终的异常得分被定义为该测试向量与记忆库中距离最近的 k 个（实验中 k=3）邻居向量之间欧氏距离的平均值。如果输入的是包含故障摩擦或撞击的异常声音，其特征向量将远远偏离记忆库中的正常特征簇，从而产生极大的距离得分。
在后处理阶段，为了消除相邻音频片段因背景噪声相同而引发的虚假尖峰，系统引入了窗口大小为 3 的中值滤波器（Median filter）进行时间平滑，并进行了每台机器独立的最小-最大归一化（Min-max normalization），将异常得分严格映射至 0 到 1 区间。

5. 域内自监督微调策略 (Self-Supervised Fine-Tuning)
尽管 HuBERT-Base 已经具备了强大的通用声学表征能力，为了进一步增强其对特定“机械声学线索（Machine-specific acoustic cues）”的编码敏感度，研究团队对主干网络进行了深度微调。
微调数据集不仅包含了 DCASE 2025 Task 2 开发集中的所有正常样本（7 台机器 × 990 个音频），还创造性地融合了历届 Task 2 的历史权威数据集（包括 ToyADMOS2 与 MIMII 数据集）。网络在原始波形层面进行了掩码预测训练（Masked prediction），其中 30% 的数据帧被随机掩蔽，迫使网络学习信号的底层物理规律。
同时，引入了高强度的数据增强（Data Augmentation）机制：包括在 [−5,15] dB 范围内的随机信噪比混合（Noise mixing），以及在 [0.8, 1.2] 因子内的时间拉伸（Time-stretch）。微调过程采用了 AdamW 优化器，学习率设定为极其保守的 1×10⁻⁵，辅以初始的线性预热（Linear warm-up）与余弦衰减（Cosine decay）策略进行 5 个 Epochs 的迭代。

三、 主要实验设计与研究结论

为了严谨地验证所提框架在域偏移下的有效性，研究团队对 DCASE 2025 的 7 种不同类型设备（包含玩具车 ToyCar、玩具火车 ToyTrain、轴承 Bearing、风扇 Fan、齿轮箱 Gearbox、滑轨 Slider 以及阀门 Valve）进行了全面的推断评估。系统的综合评价指标采用了 AUC（受试者操作特征曲线下面积）和 pAUC（局部受试者操作特征曲线下面积）的调和平均值（Harmonic mean）。

核心实验结论展示了该轻量级模型的极大潜力：

1. 超越基线的综合性能： 在涵盖所有 7 台测试机器的全局评估中，该系统实现了 56.58% 的平均 AUC，以及 50.96% 的 AUC 与 pAUC 调和平均得分。这一卓越表现直接超越了官方提供的自编码器（AE）基线模型约 0.96 个百分点 (+0.96 pp)。
2. 机器类型间的差异化表现： 数据显示，模型在不同的机械结构上表现出不同的敏感度。例如在滑轨（Slider）和玩具车（ToyCar）的源域（Source Domain）上，模型分别达到了 61.28% 和 60.04% 的较高 AUC；而在目标域（Target Domain）表现上，对于玩具火车（ToyTrain）和阀门（Valve）分别维持了 59.32% 和 55.84% 的稳健得分。
3. 极致的轻量化与工业部署潜力： 除了精度上的超越，该研究最核心的贡献在于其无与伦比的计算效率。由于抛弃了庞大的解码器网络，整个系统的参数量被严格控制在 95 M 以下。在极其普通的单张 T4 GPU 加速卡上，涵盖特征提取与距离测算的完整流水线能够在不到 30 分钟内运行完毕；即便是纯 CPU 环境，总耗时也不超过 3 小时。

四、 研究亮点与未来展望

综上所述，本篇文献为复杂无监督环境下的工业机器听觉提供了一套极具极客精神与工程实用价值的全新范式。

其核心研究亮点可归纳为：“用高级的特征表达，做最简单的距离判别”。文章深刻证明了，在面对诸如 First-Shot 这种极其匮乏目标域正常样本、且存在严重域偏移的极端工业挑战时，盲目增加异常检测网络（如生成对抗网络或复杂自编码器）的复杂度是徒劳且危险的。相反，依赖像 HuBERT 这样经过大规模数据洗礼、且辅以严密数据增强微调的强大“自监督主干网络”，能够将原本交织在一起的正常与异常特征在潜空间中强行剥离。此时，仅仅通过一个最朴素的非参数 k-NN 距离度量，再配合“零梯度更新”的目标域样本记忆追加，即可在不增加任何训练负担的情况下，完美实现目标域特征分布的自适应校准，提供极具竞争力的故障拦截能力。

该研究结论对未来的工业预测性维护（Predictive Maintenance）具有深远的指导意义。它暗示着工业界应当将计算资源向特征提取前端的主干网络倾斜，而推理末端应当向轻量化、无参数化演进。未来的研究可以探索融合更多模态的自监督特征（如融合振动与温度特征），以进一步拔高对复杂机器老化与异音的检测天花板。

---

M. Kret, “Technical Report: Detection and Classification of Acoustic Scenes and Events 2025 Challenge,” The Cooper Union, New York, NY, USA, Tech. Rep., 2025.