Please enable JavaScript.
Coggle requires JavaScript to display documents.
Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition…
Self-augmented Unpaired Image Dehazing via Density and Depth Decomposition
引言：最近的研究，提出了许多不成对的深度学习方法来探索不成对训练数据的去雾方法，其中，构建去雾循环和再雾化循环被广泛采用。但基于循环的去雾方法
忽略了现实世界雾霾环境的物理特性
，即现实世界雾霾随着密度和深度而变化。本文提出了一种称为 D4 的新型去雾框架，即通过将传输图分解为密度和深度来进行去雾，用于不成对的雾霾合成和去除。
主要贡献：（1）提出了一种新颖的不成对去雾框架，该模型模拟了模糊场景的散射系数（即密度）和深度图；（2）受到直觉的启发：“空间变化的雾度厚度反映场景深度”，模型学习从雾度图像中预测深度信息；（3） 通过估计的
场景深度
，模型能够通过改变散射系数来生成不同厚度的模糊图像；
基于CycleGAN方法： 在模糊图像形成之后，对目标场景的
散射系数 β
和
深度图 d(z)
进行显式建模。在 Dehzing-Rehazing 分支上，模型经过训练直接估计有雾图像的透射图和散射系数。 根据方程所示的物理过程
，然后可以直接导出场景深度和干净内容。在Hazing-Dehazing分支上，模型旨在估计输入干净图像的深度信息，然后合成具有不同密度（即散射系数）的模糊图像。 本文提出的D4可以从干净的图像中估计深度图，合成具有不同密度的真实模糊图像。
标题：通过密度和深度分解进行自我增强的不成对图像去雾
摘要：为了克服在合成模糊清洁图像对上训练的去雾模型的过度拟合问题，大多数方法只是简单地制定除雾和再雾化循环，却忽略了现实世界雾霾环境的
物理特性
，即雾霾随密度和深度而变化。本文提出了一种
自我增强的图像去雾框架
，称为 D4（通过
将传输图分解为密度和深度
进行去雾），用于雾霾的生成和去除。该网络不仅
估计传输图或干净的内容
，而且探索模糊和干净图像中包含的
散射系数和深度信息
。 通过估计的场景深度，该方法能够重新
渲染不同厚度的模糊图像
，有利于去雾网络的训练。 值得注意的是，整个训练过程只需要不配对的模糊图像和干净图像，就可以从单个模糊图像中恢复了散射系数、深度图和干净内容。
相关工作
基于先验的方法
（2） 朱等人引入
颜色衰减先验
，指出在线性模型中像素的值和饱和度之间的差异应该与场景的深度正相关；
（3）Fattal 发现小块的值主要沿着 RGB 空间中的一维线分布；
（1）何等人提出了
暗通道先验
，它假设在无雾自然图像中RGB通道中的局部最低强度应该接近于零；
问题：这些方法都建立在手工设计的先验基础上的，并不总是符合复杂的真实环境
监督学习方法
（2）李等人重新表述方程，同时估计传输图和大气光；
（3）一些尝试将域适应方法引入图像去雾任务，其目的是缩小合成数据和真实数据之间的域差距；
（1） 任等人提出了一种多尺度卷积网络来从粗到细地预测传输图，但该方法在分别估计传输光和大气光时可能会受到
累积误差
的影响；
问题：监督方法很容易过度拟合所提供的训练数据，并且对其他有雾图像（特别是现实世界的雾霾）的泛化效果很差。
无监督学习方法
（1）CDNet将光学模型引入到CycleGAN中采用双判别器来稳定循环训练；
（2）CycleDehaze应用
拉普拉斯金字塔网络
来处理高分辨率图像，并提出了循环感知损失以更好地保留结构；
（3）在CycleGAN的每个分支中使用两阶段映射策略来增强除雾的有效性；
问题：上述方法在生成模糊图像时通常
忽略深度信息和密度的变化
。 这些因素的缺失会导致不切实际的雾霾产生，这将影响去雾性能。
方法
（2）深度估计网络gE：旨在从干净图像C估计深度^d，没有使用预训练的深度估计网络，而是使用去雾网络gD的伪监督进行训练；
（3）细化网络gR：作为图像到图像转换网络，将粗略的假模糊图像映射到遵循真实模糊图像分布的模糊图像；
（1）去雾网络gD：估计有雾图像 H 的透射图 ^t 和散射系数 ^β，根据公式可计算出场景深度d；
去雾网络gD和深度估计网络gE都是基于EfficientNet-lite3的结构，而细化网络GR具有UNet结构
训练过程
除雾-再雾化分支
雾化-去雾分支
训练的损失函数
（1）循环一致性损失：从一个域传输到另一个域的中间图像应该能够传输回来，本文要求重建的干净图像 ^C 和模糊图像 ^H 应分别与其输入对应图像 C 和 H 一致
（2）对抗性学习损失：评估生成的图像是否属于特定领域，即生成的干净图像和雾化图像应该在视觉上真实，并且遵循训练集不配对图像相同的分布，去雾网络gD和相应的判别器Dc的对抗性损失
,细化网络gE相应的判别器 Dh 的对抗性损失具有相同的形式。
（3）伪散射系数监督损失：βC（在Hazing-Dehazing 分支中雾霾生成的随机采样散射系数）和 βˆ C（ 根据生成的模糊图像ˆh估计的散射系数 )之间的距离
（4）伪深度监督损失：从雾度图像 H 预测的深度图 dH 作为伪地面实况，训练深度估计网络 gE 来根据去雾图像 c^ 估计深度图 ^dH
