ASAM – vivo公司推出的AI图像分割模型

ASAM是什么

ASAM（Adversarial Adjustment of Segment Anything Model）是vivo公司推出的AI图像分割模型，通过对抗性调整来增强原有SAM模型的性能。ASAM用自然对抗性示例，通过稳定的扩散模型增强数据集，生成能代表自然变化的对抗性实例。这些实例保持照片级真实感，与原始掩模注释对齐，确保了分割任务的完整性。

ASAM的主要功能

1. 提升能力：ASAM让原本的SAM模型在图像分割任务上做得更好。
2. 不用改变：不需要改变模型的基本结构，就像给汽车换个新轮胎，但车身不变。
3. 增加挑战：通过添加一些特殊的图像（对抗性样本），模型学会在更多不同的情况下工作。
4. 更真实：这些特殊的图像看起来和真的一样，模型学习得更贴近现实。
5. 不用新数据：不需要额外的图片或数据，就像用旧书复习，也能学到新知识。
6. 全面提高：在多种不同的图像分割任务上，ASAM能让模型表现得更出色。

ASAM的技术原理

1. 对抗性训练：ASAM利用对抗性训练的概念，通过向模型输入精心设计的扰动来提高模型泛化能力的方法。
2. 自然对抗性示例：ASAM特别关注自然对抗性示例，示例在视觉上与正常样本相似，在模型的决策边界附近。
3. 稳定扩散模型：ASAM使用稳定扩散模型来增强SA-1B数据集的一个子集，生成对抗性实例。这种方法能在保持图像质量的同时，引入细微的扰动。
4. 照片级真实感：生成的对抗性样本需要保持与原始图像相同的视觉真实性，这样在训练过程中，模型就不会因为不真实的样本而学习到错误的特征。
5. 掩模注释对齐：对抗性样本需要与原始的掩模注释保持对齐，确保在分割任务中，模型能够正确地识别和分割目标对象。
6. 微调过程：ASAM通过用这些对抗性样本对原有的SAM模型进行微调，在不改变原始架构的前提下提高模型性能。

ASAM的项目地址

• GitHub仓库：https://github.com/luckybird1994/ASAM
• Hugging Face模型库：https://huggingface.co/spaces/xhk/ASAM
• arXiv技术论文：https://arxiv.org/pdf/2405.00256

ASAM的应用场景

• 医学图像分析：在医学领域，ASAM可以用于提高医学图像分割的准确性，辅助医生进行疾病诊断和治疗规划。
• 自动驾驶汽车：在自动驾驶技术中，ASAM可用于提高道路和物体的分割精度，增强车辆对周围环境的理解能力。
• 机器人视觉：在机器人技术中，ASAM可以帮助机器人更好地理解其工作环境，进行精确的物体识别和操作。
• 增强现实（AR）：在AR应用中，ASAM可以提升虚拟对象与现实世界融合的自然度，提供更加沉浸式的体验。