CVPR 2025|视频抠图MatAnyone来了,一次指定全程追踪,发丝级还原

原文链接:
CVPR 2025|视频抠图MatAnyone来了,一次指定全程追踪,发丝级还原


1. 研究背景与成果
南洋理工大学与商汤科技联合提出视频抠图新方法MatAnyone,由博士生杨沛青(CVPR/NeurIPS等多篇顶会论文作者)主导,周尚辰教授与吕建勤教授指导。该方法突破复杂场景下发丝级细节语义稳定性的挑战,相关论文及代码已开源。

2. 核心创新点
目标指定型抠图:仅需首帧掩膜标注,即可全视频稳定追踪目标
区域自适应记忆融合:动态区分变化区域(边缘依赖当前帧/主干保留记忆)
共头监督策略:直接利用分割数据优化抠图主头,提升语义稳定性
自建高质量数据集:VM800训练集(规模翻倍)与YouTubeMatte测试集(难度升级)

3. 技术优势对比
vs 无辅助方法(如RVM):避免多目标混淆(如背景行人误抠)
vs 辅助引导方法(如MaGGIe):仅需单帧标注,降低人工成本
视频抠图 vs 视频分割:额外预测透明度(alpha),要求更高细节精度

4. 应用场景
• 通用视频抠图(影视/直播背景替换)
• 实例抠图(多人物中指定目标)
• 高精度迭代优化(广告/影视后期)

5. 实验表现
VideoMatte/YouTubeMatte数据集上:
• MAD/MSE/dtSSD指标最优(语义及时序稳定性)
• Conn指标领先(视觉连贯性)
• 定性对比显示更优发丝细节与抗干扰能力

6. 未来方向
探索更高效训练策略、泛化数据构建及通用记忆机制,突破当前真实数据稀缺的限制。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注