CN113661495B 视线校准方法及装置、设备、计算机可读存储介质、系统、车辆 （深圳引望智能技术有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113661495B(45)授权公告日2025.07.11

(21)申请号202180001805.6

(22)申请日2021.06.28

(65)同一申请的已公布的文献号申请公布号CN113661495A

(43)申请公布日2021.11.16

(85)PCT国际申请进入国家阶段日

2021.07.07

(86)PCT国际申请的申请数据

PCT/CN2021/1028612021.06.28

(87)PCT国际申请的公布数据

WO2023/272453ZH2023.01.05

(73)专利权人深圳引望智能技术有限公司

地址518129广东省深圳市龙岗区坂田街

道万科城社区华为公司华为总部办公楼101

(72)发明人张代齐张国华袁麓郑爽

李腾黄为

(74)专利代理机构北京龙双利达知识产权代理

有限公司11329专利代理师张卿毛威

(51)Int.CI.

GO6V40/19(2022.01)

GO6V40/18(2022.01)

GO6V10/82(2022.01)

GO6V20/59(2022.01)

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N3/044(2023.01)

GO6N3/0455(2023.01)

(56)对比文件

CN109849788A,2019.06.07

CN110341617A,2019.10.18

审查员张皓静

权利要求书2页说明书20页附图9页

(54)发明名称

根据第一传感器采集的包含用户眼睛的第一图像，获得用户的眼睛三维位置和第一视线方向根据眼睛三维位置、第一视线方向、第一传感器的外参和第二

根据第一传感器采集的包含用户眼睛的第一图像，获得用户的眼睛三维位置和第一视线方向

根据眼睛三维位置、第一视线方向、第一传感器的外参和第二

传感器的外参与内参，获得用户在第二图像中的注视区域.第

二图像由第二传感器采集且包含用户看到的车外场景

根据用户在第二图像中的注视区域和所述第二图像，获得用户在第二图像中注视点的位置

根据用户在第二图像中注视点的位置、所述第二传感器的内参.获得用户的注视点三维位置

根据所述注视点三维位置和所述眼睛三维位置，获得用户的第二视线方向

以用户的第二视线方向和第一图像作为用户的优化样本，基于小样本学习方法优化视线追踪模型

S301

S302

S304

S305

S306

CN113661495B(57)摘要本申请涉及智能驾驶领域，公开了一种视线校准方法及装置、设备、计算机可读存储介质、系统、车辆。本申请通过包含用户眼睛的第一图像获得用户的眼睛三维位置，通过显示屏上的标定位置或者包含用户看到的车外场景的第二图像获得用户的注视点三维位置，并由用户的眼睛三维位置和注视点三维位置获得准确度较高的第二视线方向，有效提升了用户视线估计的准确性，且可适用于座舱场景。此外，本申请还利用包含用户的第二视线方向和其第一图像的优化样本，通过小样本学习方法优化视线追踪模型，提升了视线追踪模型针对特定用户的视线估计精

CN113661495B

(57)摘要

CN113661495B权利要求书1/2页

2

1.一种视线校准方法，其特征在于，包括：

根据第一摄像头采集的包含用户眼睛的第一图像，获得用户的眼睛三维位置和第一视线方向；

根据所述眼睛三维位置、第一视线方向、第一摄像头的外参和第二摄像头的外参与内参，获得用户在第二图像中的注视区域，所述第二图像由所述第二摄像头采集且包含用户看到的车外场景；

根据用户在第二图像中的注视区域和所述第二图像，获得用户在第二图像中注视点的位置；

根据所述注视点的位置、所述第二摄像头的内参，获得用户的注视点三维位置；

根据所述注视点三维位置和所述眼睛三维位置，获得用户的第二视线方向，所述第二视线方向作为校准后的视线方向。

2.根据权利要求1所述的视线校准方法，其特征在于，所述第一视线方向是基于视线追踪模型从所述第一图像中提取的。

3.根据权利要求2所述的视线校准方法，其特征在于，根据所述眼睛三维位置、第一视线方向、第一摄像头的外参和第二摄像头的外参与内参，获得用户在第二图像中的注视区域，包括：根据所述眼睛三维位置、第一视线方向、第一摄像