仅764张麻风病图像，生成模型竟追平真实分布！
Synthetic Leprosy Image Generation Using Mask-Conditioned Latent Diffusion and Transfer Learning from Large Chronic Wound Datasets
📖 AI 总结
本文针对麻风病（汉森病）公开标注图像仅数百例、远不足以训练生成模型的数据困境，探讨能否将丰富的慢性伤口摄影数据迁移至这一低数据场景。作者构建了三阶段流程：先用DeepLabV3-ResNet50分割网络（验证集Dice 0.876、IoU 0.799）为两个缺乏掩码的伤口数据集生成病灶掩码；再基于Stable Diffusion 1.5组件搭建掩码条件潜扩散模型，将UNet输入卷积由4通道扩展至11通道以接纳三张掩码特征图和模糊低频上下文潜变量，并在3280个伤口感兴趣区域裁剪图上训练；最后在来自约150名患者的764张图像中抽取708对麻风图像-掩码进行微调。评估采用LPIPS感知距离，并以同一组242张锚点图像上的真实-真实基线作为参照。结果显示生成集未出现模式崩溃，其内部感知多样性（0.662）与真实麻风集（0.672，95%置信区间[0.664, 0.680]）在统计上不可区分；生成图像距真实分布0.044 LPIPS，虽可测量地偏离，但不足一个标准差的一半。微调仅轻微改变输出分布，原因在于病灶几何信息仅通过输入拼接进入网络。研究表明慢性伤口摄影是麻风病灶合成的可行供体域，低层外观迁移良好，剩余瓶颈在于语义控制而非图像质量。
🔑 关键词速览
| 潜在扩散模型 | 一种在低维潜在空间中进行扩散过程的生成模型，能高效生成高质量图像。 |
| 掩码条件 | 指生成模型以病变区域掩码作为额外输入条件，控制生成图像中病变的位置和形状。 |
| 迁移学习 | 将在大规模数据上预训练的模型知识迁移到小样本目标任务上的机器学习方法。 |
| LPIPS | 学习感知图像块相似度，一种基于深度特征的感知距离度量，值越小表示图像越相似。 |
| 模式崩溃 | 生成模型仅能产生有限种类样本，丢失数据多样性的现象。 |
📱 每天一份 AI 前沿日报
关注公众号，每天 09:00 推送 · 不错过任何重磅