你有没有遇到过这样的照片？明明是主角，却被模糊的边缘困扰，失去了清晰的轮廓。或者你在做图像处理时，为去除多余的边缘而头疼？边缘检测是计算机视觉中的一项关键技术，用于识别图像中的物体边界。现在，一种名为“DiffusionEdge”的新方法，基于扩散模型，可以让边缘检测更精确，更清晰。

论文地址：DiffusionEdge: Diffusion Probabilistic Model for Crisp Edge Detection

添加图片注释，不超过 140 字（可选）

介绍

边缘检测是计算机视觉的基础任务，用于提取图像中的物体边界。精确的边缘检测对物体识别、图像分割等后续任务至关重要。但是现有的方法往往无法同时保证边缘的精确性和清晰性。

添加图片注释，不超过 140 字（可选）

扩散模型

扩散模型是一类生成模型，通过学习去噪过程来恢复原始数据。由于其直接在原始图像大小上进行去噪，非常适合用于精确的边缘检测。

添加图片注释，不超过 140 字（可选）

DiffusionEdge

DiffusionEdge是一个基于扩散模型的边缘检测方法，其整体框架包括以下几个部分：

添加图片注释，不超过 140 字（可选）

• 条件编码器(Condition Encoder)：用于将输入图像编码为潜在特征表示，通常采用卷积神经网络作为backbone，如ResNet或Swin Transformer等。
• 自适应FFT滤波器(Adaptive FFT Filter)：该模块用于过滤条件编码器输出的特征。通过快速傅里叶变换将特征从空间域转换到频率域，然后使用可学习的权重对频率域特征进行自适应滤波，最终通过逆傅里叶变换将特征重新转换回空间域。
• 潜在空间(Latent Space)：条件编码器和自适应FFT滤波器处理后的特征在此空间中作为扩散模型的输入。扩散模型通过逐步迭代对噪声特征进行去噪，从而获得边缘预测。
• 不确定性蒸馏(Uncertainty Distillation)：通过将像素级别的交叉熵损失直接优化到潜在空间，避免了通过冗余的自动编码器反向传播梯度的计算，同时保留了多个标注者提供的边缘不确定性信息。
• 解码器(Decoder)：将扩散模型在潜在空间获得的边缘预测解码回原始图像大小，得到最终的边缘图。

整体而言，DiffusionEdge通过自适应的频率过滤和不确定性蒸馏等技术设计，在潜在空间学习了一个扩散模型，可以生成同时满足准确性和清晰性的边缘图，无需任何后处理。

实验结果

添加图片注释，不超过 140 字（可选）

在四个边缘检测基准数据集上，DiffusionEdge都优于现有方法，实现了更精确和更清晰的边缘检测。在NYUDv2数据集上，相比第二名，DiffusionEdge的ODS提高了30.2%，OIS提高了28.1%，AC提高了65.1%。这意味着DiffusionEdge预测的边缘更接近真实边缘，边缘宽度更窄。具体而言：

• 准确性：DiffusionEdge通过条件编码器和自适应FFT滤波器提取图像的多层次特征，并利用扩散模型在潜在空间进行迭代去噪，从而获得准确的边缘预测。实验结果显示，DiffusionEdge在多个数据集上均取得了state-of-the-art的性能。
• 清晰性：DiffusionEdge在原始图像大小上进行去噪，避免了下采样和上采样带来的模糊，因此可以直接生成单像素宽的清晰边缘。实验显示，DiffusionEdge的边缘清晰度指标AC显著优于其他方法，边缘几乎与ground truth相同。
• 高效性：通过采用解耦的扩散模型架构，DiffusionEdge可以加速推理过程，同时避免了在图像像素级别进行优化带来的计算量。实验结果显示，DiffusionEdge的推理速度也较其他方法有较大优势。
• 自监督性：DiffusionEdge在无监督的潜在空间进行训练，避免了由于标注者的不确定性导致的优化困难。实验显示，DiffusionEdge的训练更加稳定，对标注噪声更加鲁棒。
• 端到端性：DiffusionEdge可以生成无需后处理的清晰边缘，避免了其他方法需要进行的形态学非极大值抑制等后处理操作，可以直接用于下游任务。

综上所述，DiffusionEdge通过一系列技术设计，使得边缘检测在准确性和清晰性方面取得了显著优势，为边缘检测任务提供了有价值的探索。

总结

DiffusionEdge是边缘检测领域的一项重要进展，它通过扩散模型实现了更精确、更清晰的边缘检测，为计算机视觉的后续任务提供了更好的基础。相信随着技术的不断进步，边缘检测会更加准确，让我们的数字世界更加清晰。尽管DiffusionEdge在精确性和清晰性方面取得了突破，但其推理速度仍然较慢，计算资源消耗较大。未来研究可以探索如何提高DiffusionEdge的效率，实现更快更准确的边缘检测。