三维重建技术框架技术模型和技术细节原理详解.pdf

应用领域概述 应用领域概述 应用领域概述 应用领域概述 原型设计 虚拟现实 机械手臂 辅助驾驶 定位与追踪 如何三维重建？ 人工 ，软件等方法慢慢磨 （那是相当的慢啊） 如何三维重建？ 激光雷达等获取深度与3维信息 （这个可贼拉贵） 如何三维重建？ 使用各个视角图像进行三维重建 （这个便宜还容易） 相机成像 这件事有几百年了 ！ 为啥需要小孔成像？ 没有小孔 ，同一点会落很多 整体概述 ：(Truncated Signed Distance Function) f就是焦距 ，o就是光圈；右图为光圈大小对清晰度的影响 相机坐标系与像平面坐标系 空间点p在图像中哪呢？ 要得到其映射关系 （通过相似三角形 ，将摄像机坐标系P->像平面坐标系p’） 像素坐标系 注意偏置(像素不是以中心开始) （看你设备咋样0.01m/像素） 注意还需要转换单位 ： 线性？ 对应关系是线性的？ （例如两个坐标系X的对应 ，其中α固定 ，但是Z呢？） （X变了 ，Z大概率也变了） 如何解决这个问题呢？ （如果非线性的，那就很难转换了） 使用齐次坐标来完成这个任务 齐次坐标 齐次坐标变换 ： 其实就是增加一个维度 ，欧氏空间->齐次空间 在变换回来 ： 坐标转换 齐次坐标中的转换 （就是为了得到变换矩阵，且这个矩阵是不变的） 摄像机内参K 表示空间点到图像中的对应关系 相机本身参数 ，固定的 后续项 目中数据集会给出内参 也是三维重建中必须知道的一个指标 任何定义物体的位置呢？ 你往左 ，我往右会撞上吗？ 这个就需要世界坐标系了 来捋一捋咱们现在有3个坐标系了 现在还得想办法怎么转换世界坐标 世界坐标系与相机坐标系 世界->相机 ，需要一个旋转平移矩阵 ： 其中R是3*3矩阵，T是3*1矩阵 （X,Y,Z三个方向），RT就是摄像机位姿 坐标系变换 像素与世界坐标系的关系 （其实需要我们知道内外参就可以映射） 像素坐标系->相机坐标系->世界坐标系的对应 ： 相机标定 要做一件什么事呢？ 就是求解相机的内外参数 那你就得告诉我像素坐标和世界坐标 ，才能求解中间的参数 相机标定就是利用多组对应位置 ，如上图，来求解相机内外参数的过程 相机标定 商汤 ：NeuralRecon 矛盾点 ：落地所需的设备 高端的食材咋地都好吃 但很多应用要集成到普通摄像头中 NeuralRecon就是单 目解决方案 传统任务流程 输入序列选择 ，深度估计 ，点云 ，融合 你能确定每一步都做的准嘛？ 可能遇到的问题 深度估计结果尺度不一致 ： 各 自为政 ，想玩到一块不容易 重复的计算非常多 ，输入序列中肯定很多位置重复了 每个位置都要取计算它的深度信息 ，速度大打折扣 NeuralRecon要做的事 一句话总结就是 ：擒贼先擒王 ，省略掉中间过程 ，直接预测想要的 中间过程就相当于深度信息 ，点云信息等统统不需要 ，直接输出结果 那中间的事谁管呢？爱谁谁吧，交给神经网络就得了 既不用高端设备 ，也不计算中间结果 ，直接End2End的一个框架 整体框架 1.关键帧选择 ；2.输入序列(9张图) ；3.片段重建 ；4.全局合成 核心就是中间的网络 ，如何利用图像信息估计TSDF值 NeuralRecon框架 核心就是特征映射 ，如何将图像中的特征映射到重建的结果上 其实就是通过相机的内外参将像素坐标系与世界坐标系对应 映射细节 例如输入特征图 ：40*40*80 体素一共有1W个小方块