基于人工智能的绘本或教材的视觉识别方法及装置.pdf

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 111428569 A (43)申请公布日 2020.07.17 (21)申请号 202010120108.X (22)申请日 2020.02.26 (71)申请人 北京光年无限科技有限公司 地址 100000 北京市石景山区石景山路3号 玉泉大厦四层常青藤青年创业工作室 193号 (72)发明人 俞晓君　贾志强　 (74)专利代理机构 北京聿华联合知识产权代理 有限公司 11611 代理人 朱绘　张文娟 (51)Int.Cl. G06K 9/00(2006.01) G06K 9/62(2006.01) 权利要求书1页 说明书8页 附图4页 (54)发明名称 基于人工智能的绘本或教材的视觉识别方 法及装置 (57)摘要 本发明提供的基于人工智能的绘本或教材 的视觉识别方法，其包含：步骤一：采集待识别内 容物图像，对内页图像数据进行图像识别；步骤 二：结合内页图像数据的清晰程度，判断得到当 前待识别内容物的类型，并进入对应的算法识别 模式，其中，算法识别模式包含光学字符识别模 式以及图像特征识别模式；步骤三：在对应的算 法识别模式下，向用户反馈多模态识别结果数 据。本发明能够根据不同的待识别内容物，采用 不同的识别模式进行内容识别，适应的书籍范围 广泛；并且，本申请还能够通过用户的指读指令， A 展开指读识别过程，方便用户的阅读，进一步提 9 升了阅读体验。 6 5 8 2 4 1 1 1 N C CN 111428569 A 权　利　要　求　书 1/1页 1.一种基于人工智能的绘本或教材的视觉识别方法，其特征在于，所述方法包含以下 步骤： 步骤一：采集待识别内容物图像，对内页图像数据进行图像识别； 步骤二：结合所述内页图像数据的清晰程度，判断得到当前待识别内容物的类型，并进 入对应的算法识别模式，其中，所述算法识别模式包含光学字符识别模式以及图像特征识 别模式； 步骤三：在对应的算法识别模式下，向用户反馈多模态识别结果数据。 2.如权利要求1所述的方法，其特征在于，所述步骤一中还包含以下步骤：若未能检测 到当前图像数据包含内页图像数据，则对当前图像进行封面识别。 3.如权利要求1所述的方法，其特征在于，所述步骤二中还包含以下步骤：确定所述内 页图像数据的分辨率信息，与阈值信息进行比较，当所述分辨率信息低于所述阈值信息时， 确定所述待识别内容物为绘本图书，当所述分辨率信息高于所述阈值信息时，确定所述待 识别内容物为教材图书。 4.如权利要求1所述的方法，其特征在于，所述步骤二之后还包含以下步骤：接收用户 输出的所述语音交互数据，对所述语音交互数据进行语义理解处理，得到用户的交互意图。 5.如权利要求4所述的方法，其特征在于，所述步骤二之后还包含以下步骤：当检测到 手型轮廓时，进入指读识别模式，基于所述手形轮廓指向位置的内容信息，结合所述交互意 图得到所述多模态识别结果数据。 6.如权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括： 获取当前用户的身份特征信息，对当前用户的用户属性进行判断，确定当前用户的类 别，其中，用户的类别包含：儿童用户。 7.一种程序产品，其包含用于执行如权利要求1-6中任一项所述的方法步骤的一系列 指令。 8.一种基于人工智能的绘本或教材的视觉识别装置，其特征在于，所述装置包含： 第一模块，其用于采集待识别内容物图像，对内页图像数据进行图像