“在自动驾驶车辆中，视觉传感器是重要的感知系统之一，与其他传感器最大的不同，就是它能够提供行驶环境中的色彩、纹理结构等信息，对红绿灯、车道线等交通标识的识别能力是其他传感器所不具备的。”8月21日晚，在《中国汽车报》与广州智能网联汽车示范区运营中心联合推出的“智能网联汽车精品课”第15讲中，北京中科慧眼科技有限公司CTO兼副总经理崔峰博士以“深度视觉及其应用”为主题，从总体概况、产品类型、技术应用等层面，分析了深度相机及深度视觉在自动驾驶中的应用情况。

深度相机，超越人眼的可视能力

“所谓深度相机，是可以获取成像场景中的物理点距离相机光心的三维物理距离的成像系统，即可获得物理点在相机坐标系信息的成像系统。”崔峰介绍，深度相机通常由多个光学传感器组成，根据测量原理不同，常见的深度相机可以分为，双目立体视觉深度相机、结构光深度相机、飞行时间深度相机、单目深度相机、融合模式深度相机等。

崔峰讲到，深度相机的辅助光源集中在红外波段或微波波段，可以超越人眼的可视能力。深度相机可以获得成像范围内的三维感知信息，像物体表面的纹理、亮度、色彩、距离等等，这是通过人工智能进行检测识别、捕捉运动轨迹以及行为预判的重要依据。

其中，深度相机在智能驾驶中已经有广泛应用，像奔驰、宝马、捷豹、路虎、斯巴鲁等拥有高端智能驾驶功能车型上大量使用了深度相机，模拟人眼“看”世界，由此可以对道路参与者的相对距离、相对速度、相关行为等做出更为精准的判断。

立体视觉，更为精准的感知功能

崔峰讲解了几种深度相机的原理及优缺点。

双目立体视觉深度相机，其原理是利用小孔成像，与人眼的立体神经感觉相似。其优点是不依赖主动光源，适合室外使用。它融合了激光雷达和单目视觉的特点，且成本较低，环境适应性好，适合车载。其缺点是测量精度受成像信号强度及物体表面纹理密度影响，计算量较大，需要的算力较高等。

结构光深度相机，原理是通过主动投影编码纹理，通过比对相同编码纹理在测量时成像的位置与标定时成像位置的差异来实现测距。其优点是投影图案精细，一定范围内可以达到较高的测量精度，技术成熟，距离点云可以做到相对较高的分辨率。其缺点是在室外容易受到强自然光的影响而不适用，有效测量距离较近，多为十几米以内。

飞行时间深度相机，是通过主动发射并接收非可见光脉冲，通过探测光脉冲的飞行往返时间来计算被测物体的距离的深度相机。按调制方案的不同可分为脉冲调制与连续波调制两类。脉冲调制的优点是方法简单，响应较快，测量误差基本固定，缺点是对时间测量精度要求较高，比较适合室内应用等。连续波调制的缺点是，需要多次采样，测量时间较长，对元器件要求高，较难达到高精度。

单目深度相机，是通过分析单个相机的运动轨迹形成虚拟的双目相机成像序列，从而得到静止物体的相对深度。缺点是单凭图像无法确定尺度，测距精度受单目投影限制，同时对算力的要求较高等。

融合模式深度相机，即采用多模式多波段深度测量方案融合，取长补短，提高对光照、纹理的适用性。如将可见光深度相机与远红外相机融合，可提高对雨雪雾、光照的适用性。特点是结构设计复杂度增大后带来的成本增加。

实际应用，智能驾驶的决策先机

“深度相机目前已广泛应用于智能驾驶、智能手机、消费机器人、工业机器人、无人机等智能平台。”崔峰介绍，一是量产的符合L0、L1、L2应用的车规级立体视觉辅助驾驶系统，工作环境温度可以达到摄氏90度到零下40度之间；二是针对无人驾驶的场景，提供L3到L4多维视觉感知的智能传感器。中科慧眼已参与数十款L3、L4自动驾驶车型的研发与配装。其中，以百度Apollo生态为代表的自动驾驶平台大多配置了中科慧眼深度视觉感知系统，覆盖无人商务车、无人送货车、无人清洁车、农机、房车、公交大巴等车型；三是面向二次开发及低速机器人应用的视觉感知功能样件，已经实现了小型化设计，可以为各类低速自动驾驶汽车、自主移动机器人、工业自动化、巡检无人机、地图测绘、安防监控等行业开发者提供精准可靠的感知能力等。

附：精彩问答

在讲座的最后，崔峰还与网友进行了问答互动。记者撷取精华，以飨读者。

Q：视觉感知在自动驾驶中起到怎样的作用？尤其是在L4级以上高级别自动驾驶的车辆上视觉感知具备哪些特性？

A：自动驾驶尤其是高级别的自动驾驶，设计要考虑更多的安全冗余，不仅需要视觉传感器，还需要毫米波雷达、激光雷达、超声波雷达等，以及尚未完全普及的各种新型传感器。像双目视觉、三目视觉等都能形成一些很细腻的点云，为精准测距提供了辅助，甚至在一定程度上作用要大于雷达、摄像头。

当前，人工智能的算法不断演进，不断向视觉传感器赋能。高级别的自动驾驶，视觉感知需要具备的特征，一是要能全场景24小时提供稳定成像，假如信号出现缺失，视觉信号就不再是有效信息。二是视觉传感器要具备在各种严苛的车载环境中稳定运行的能力。三是分辨率会不断提升，因为对识别率要求越来越高，对视角的要求也越来越广。未来，视觉传感器将向度以上视角方向发展。同时，检测距离从目前的七八十米到多米以上在提升。此外，对处理器能力和人工智能分类分析判断能力也有更高的要求。

Q：视觉感知技术在未来无人驾驶汽车中呈现的方式是怎样的，在数字化、电子化飞速发展的时代，其未来有没有可能被替代？

A：未来无人驾驶很重要的一个条件，就是要对路网和车联网进行改造，使车与车之间的V2V，以及车路协同V2X等实现通信交互，从而使车辆实现自动避障与路径规划，减少拥堵和可能发生的碰撞。

视觉传感器就像人的眼睛一样，是无人驾驶的最后一道屏障。如果在突发情况，比如道路上出现了一些行人，或动物以及突发事件等，都需要及时果断的判断决策而不能完全依赖联网信息。所以，视觉传感不会被取代。

Q：深度相机技术发展的趋势如何？融合模式的深度视觉具有哪些优势和哪些不足？如何解决？

A：从目前的相关强制法规，以及欧美日等国的发展情况看，深度相机正向着检测距离更远、视角更广的方向发展，而且要对各种道路目标类型进行精准的识别分类，要求越来越高，体积越来越小，功耗越来越低，这样才能给消费者带来更好的驾驶体验。

融合模式深度相机，可以将可见光与非可见光的感知叠加在一起，提高了其应用范围。一般常见的深度相机，是以被动可见光的感知为主，在雨雪雾和夜间的感知能力是下降的，为此可以用红外光感知补充，从而提升深度相机在恶劣成像环境下的精准感知的能力。

Q：深度相机在智能驾驶环境中会受到哪些环境因素的影响？

A：正如深度相机会受到输入光波信号的影响，任何传感器都有自己的长处和短处，只能通过不断进行技术研发减少其缺点。例如结构光相机在室外、强光或无反射信号下的降质问题，就是因为遇到阳光或强反射面，以及逆光或物体吸光材料导致。为了克服这个问题，可以将其与高品质的可见光双目相机去融合使用，来克服一些应用短板。

再比如，要实现复杂成像环境下的远距离测距，可以使用远红外双目相机，在较大的相对距离和复杂光线或暗光下得到足够的信号强度。目前这种技术方案的成本较高。

Q：深度相机的算法有何特点？它可以解决自动驾驶应用中的哪些问题？

A：车载深度相机的特点包括，一是要满足汽车应用的环境需求，实现稳定运行，就要先解决深度相机的光电设计及结构设计上的难题。同时还要考虑连接方式不同、结构强度不同等因素；二是要解决对自动驾驶视觉相机进行快速准确标定的问题，并能自适应修正变化了的相机模型；三是快速准确的立体匹配算法，目前主要有两类，一类是基于边的匹配算法，另一类是基于面的匹配算法。

免责声明：以上内容转载自中国汽车报，所发内容不代表本平台立场。全国能源信息平台联系-，邮箱：hz