基于深度学习的中式菜品图像的识别与营养素含量估计.pdfVIP

摘要

饮食营养分析在健康生活、疾病康复与医学研究等领域有着重要作用，随着

深度学习的发展与智能手机的普及，利用手机等智能移动设备进行食物拍摄，并

进一步基于图像分析实现食物营养估计逐渐成为一种趋势，并取得了一定的成果。

基于图像完成食物的营养估计系统中主要涉及两个方面的工作：图像中食物的检

测识别、依据图像进行食物份量估计。

由于中式菜品色彩丰富、种类繁多，如何提高对于中餐菜品的识别率、提高

数据集的标注效率以及如何更加便捷准确的估计食物份量等问题仍是一个巨大

的挑战。针对以上问题，本文开展了以下研究：

（1）本文提出了一种融合通道注意力机制的中餐目标检测模型。该模型基

于MaskR-CNN算法，在生成建议框之后，对构建的特征金字塔各个层分别施加

通道注意力机制，从而使网络更加关注中餐图像特征，提高对于中餐菜品的识别

率。为了验证本文提出方法的有效性，本课题标注了一个包含14类中餐菜品、

共计4217张图像的中餐数据集。经过实验发现，本文提出的融合通道注意力机

制的中餐目标检测网络在中餐识别时，相较于原网络有了很大的提升。同时为了

解决传统数据标注方法效率低下问题，本文提出了基于GrabCut算法对图像中食

物的边缘标注方法。相比于人工标注方法，本文提出方法的标注时间缩短为人工

标注方法的四分之一，单张图像的操作次数从每张30次减少为每张2次，极大

减轻了标注人员的工作压力。

（2）本文提出了基于手机单次拍摄图像的食物重量估计方法及营养估计系

统。通过分析图像中的食物面积、拍摄时手机与食物之间的距离、拍摄时手机与

桌面之间的角度与食物重量之间关系，设计了利用手机拍摄单张图像对食物营养

进行估计的系统。该系统通过约束用户手机的拍照姿势，通过几何变化获得给定

拍摄方式下食物与手机之间的拍摄距离，进而提取可用于计算食物重量的关键特

征，并将提取的特征输入预训练的食物重量估计模型对食物重量进行估计。最后

从食物营养数据库中得到单位重量的食物营养素含量，根据重量计算得到该食物

的总营养素含量。为了验证重量估计方法的可行性，本文拍摄的了包含5549张

图像的数据集进行实验，食物重量估计准确率达到了89.86%。与人工估计相比，

本文提出的食物重量估计方法准确率提升了19.85%，与利用3-D建模估计食物

重量的方法相比，准确率提升了5.18%。

关键词：中餐图像识别，注意力机制，目标检测，食物重量估计，营养估计

ABSTRACT

Dietarynutritionanalysisplaysanimportantroleinahealthylife,disease

rehabilitation,andmedicalresearch.Withthedevelopmentofdeeplearningandthe

popularizationofsmartphones,smartmobiledevicessuchassmartphonesareusedfor

foodphotography,andfoodnutritionestimationisfurtherbasedonimageanalysis.It

becameatrendandachievedspecificresults.Thenutritionalestimationsystemfor

foodbasedonimagesmainlyinvolvesdetectingandrecognizingfoodinimagesand

foodportionestimationbasedonimages.

DuetotherichcolorsandvarietyofChinesedishes,howtoimprovethe

recognitionrateofChinesedishes,improvethelabelingefficiencyofthedataset,and

howtoestimatethefoodportionmoreconvenientl