转载:CVer计算机视觉(知乎)
一句话总结
本文提出Medfusion:一种用于医学图像生成的去噪扩散概率模型,研究表明在医学图像合成领域多个指标上,DDPM是一个优于GAN的工作,代码即将开源!
Medfusion
img
Diffusion Probabilistic Models beat GANs on Medical Images
单位:亚琛工业大学, 德累斯顿工业大学等
代码:https://github.com/mueller-franzes/medfusion
demo:https://huggingface.co/spaces/mueller-franzes/medfusion-app
论文下载链接:https://arxiv.org/abs/2212.07501
深度学习应用的成功关键取决于底层训练数据的质量和规模。生成对抗网络(GAN)可以生成任意大型数据集,但多样性和保真度是有限的,最近已经被去噪扩散概率性的模型(DDPM)所解决,其优越性已经在自然图像上得到了证明。
在这项研究中,我们提出了Medfusion:一种用于医学图像的条件latent DDPM。
img
实验结果
我们将基于DDPM的模型与基于GAN的模型进行比较,后者构成了医学领域的当前状态。
img
img
在AIROGS挑战数据集的n=101,442张图像上训练并与(i)StyleGan-3进行比较,以生成有和没有青光眼的眼底镜,(ii)在CheXpert数据集的n=191,027上的ProGAN,以生成有和没有心脏肿大的X线照片,以及(iii)在CRCMS数据集的n=19,557张图像上的wGAN,以生成有和没有微卫星稳定性的组织病理学图像。
在AIROGS、CRMCS和CheXpert数据集中,Medfusion就获得了比GANs更低(=更好)的 FID (11.63
versus 20.43, 30.03 versus 49.26, and 17.28 versus 84.31)。此外,保真度(查准率/精确度)和多样性(查全率/召回率)在所有三个数据集中都更高(=更好)。我们的研究表明,DDPM是一个优于GAN图像合成在医学领域的工作。
img
img
img
img