关键词：食品图像;图像分割;多模态;自蒸馏
摘 要：目的：随着计算机视觉技术的发展，精确地识别并分割食品图像中的不同成分区域，对于食品营养分析和促进饮食健康管理至关重要。然而，当前图像分割模型多依赖于单一图像输入，这一做法在处理视觉差异较小的食品图像时，往往难以捕捉到细微的区分特征，从而影响分割精度。本文旨在解决单一模态在分割任务中的不足，利用文本信息为模型提供更加丰富的上、下文信息，采用自蒸馏技术，引导模型对食品图像的有效分割。方法：提出一种基于成分信息引导的多模态自蒸馏分割模型。该模型采用对比语言文本预训练模型（CLIP）捕捉成分信息，再与图像知识有效融合，结合扩散模型在稠密预测方面的优势，实现对食品图像的精准分割。结果：在基准数据集FoodSeg103上验证，所提模型的评估指标mIoU达到47.93%，超越了当前最优的FoodSAM模型1.51个百分点。在基准数据集UEC-FoodPIX Complete上，模型的评估指标mIoU达到75.13%，比FoodSAM模型高8.99个百分点。结论 ：所提出的多模态自蒸馏网络在食品图像分割任务中表现出色，验证了成分信息对分割任务的有效指导作用，提升了分割精度，为食品图像分析提供了新的解决方案。
内 容：原文可通过湖北省科技资源共享服务平台(https://www.hbsts.org.cn/)获取