Xilinx社区
首页> 技术专栏> (CES)骁龙820A 将助力于辅助驾驶(ADAS)和自动驾驶的研发
(CES)骁龙820A 将助力于辅助驾驶(ADAS)和自动驾驶的研发
来源:技术专家 时间:2018-01-22

当全球各大车企和芯片企业都在人工智能和自动驾驶上展开激烈角逐时,中国企业已经展现出了傲人的战绩。

在2017年全球最前沿科技展示大会电子消费展上(CES),专注辅助驾驶(ADAS)和自动驾驶研发的纵目科技与高通联合展示了,首个基于骁龙820A平台并运用深度学习的最新ADAS产品原型,赢得了全球业界大佬的广泛关注。

这台搭载ADAS原型系统的装备,运用了运行在骁龙820A神经网络处理引擎(SNPE)上的统一神经网络算法。在纵目科技和清华大学联合自主开发完成,能 够实现高速公路和市区道路场景下的ADAS功能,可对车辆、行人、自行车等多类物体识别,以及对像素级别可行驶区域的实时语义分割。

DeepinScrot-3732.png

毫无疑问,深度学习的尝试已经在服务器上尝试了多年,但挑战在于,如何把复杂的算法放到线下的处理器上,毫无疑问,纵目此次推出的深度学习ADAS演示是高通芯片上的首个案例。

正是由于纵目的展示揭示了高通芯片在自动驾驶领域能够实现的突破,纵目的展示台也成为了CES最热门的展台之一。

在高通的展台一侧,受限于室内展示无法提供真实道路环境,纵目采取了摄像头拍摄显示器播放的行车路况视频的方法,来模拟真实情况中摄像头从前挡玻璃处观察前方路况。

曾任英国CSR汽车事业群全球工程总监的唐锐创建纵目科技的初衷即为推进辅助驾驶和自动驾驶。纵目科技 在创立初期主要提供的是环视ADAS软件算法。2013年至2015年开始有前装产品,2016年开始提供软件、芯片、模组、子系统等产品,主攻乘用车前 装,现在合作的车企包括吉利、奇瑞、凯翼、江淮、上汽大通、北汽银翔等。毫无疑问,环视ADAS产品是纵目向外拓展的根基。

目前自动驾驶是全球汽车行业正在瞄准的一个领域,而对于一个复杂环境的理解,是所有自动驾驶的基石,我们先要通过传感系统来判断出来周边环境,之后才是判断出如何进行驾驶。

对于复杂环境的理解,此前纵目主要都是基于传统计算机视觉算法打造的前装产品。而现在我们与高通展出的ADAS原型系统,是纵目第一款运行深度神经网络算法 的ADAS产品。这套运行在骁龙820A神经网络处理引擎(SNPE)上的统一神经网络算法,由纵目科技和清华大学联合自主开发完成,能够实现高速公路和 市区道路场景下的ADAS功能,可对车辆、行人、自行车等多类物体识别,以及像素级别可行驶区域的实时语义分割。

高通提供了神经网 络处理引擎(SNPE)。这款深度学习开发套件SDK今年五月初发布,可运行于搭载了高通Zeroth机器智能平台的820芯片处理器。开发者可以在 SNPE上搭建自己的深度学习网络模型,纵目这款原型产品使用的网络模型是联合清华大学3D Image实验室共同定义的,清华大学提供了初始的网络模型 原型,后期优化和算法的工程化、细节的调试和实现是由纵目主导完成的。

14829789074456.jpg

在现场来看,这个前置的摄像头已经通过深度学习算法,经过了一定的训练,因此可以看到,他可以把大部分的可行驶区域计算出来。

英伟达确实是推动深度学习和自动驾驶的芯片先驱,此前我们看到学术界曾经在英伟达的芯片上做过这样的展示,但今天我们首次在高通这一能耗非常低的嵌入式平台上完整地运用深度学习实现了复杂的场景感知计算。

不同的芯片将会有不同的优势,但对于未来的产业来讲,如何能够将功能真正落地并结合在汽车量产之中,是是否能真正推进自动驾驶的最重要因素。我们认为高通存在一些产业化方面的优势。

首先,高通骁龙820A是从手机平台进行车规化的,它的功耗优化做得相当好;其次,高通背后是基于手机等移动终端的大规模市场,芯片上的IP研发费用在最大 的手机市场上得到了摊销,具有非常明显的成本优势;最后,未来只是单纯强调计算能力或具备深度学习能力的芯片不太可能成为汽车行业大规模应用的产品。类似 高通820A这样,在一块电路板上集成了5G通信模块、神经网络处理引擎、GPS、DSRC、无线WiFi等诸多功能的芯片,是适应未来智能互联/自动驾 驶汽车发展趋势的产品。

这两三年来自动驾驶的热潮对纵目来说是很大的利好。但我们仍然认为,从目前我们正在做的辅助驾驶到最终的自动驾驶,仍然有一定距离。

目前我们和清华、高通的合作已经证明深度学习的重要性,而这是未来自动驾驶最需要的内容之一,我们会依据产业发展情况不断增加新的算法。纵目的ADAS产品将从低速场景慢慢过渡到高速场景,最终目标是实现有条件的自动驾驶甚至是无人驾驶。

目前自动驾驶的平台开发欠缺的东西还很多,做好真实场景的再现是第一步,驾驶策略的开发、系统控制、如何做好定位以及高精度地图等等都是亟待解决的问题。

我们希望能利用高通820A平台较强的扩展性打造一系列产品,应用场景囊括了从低速的2D/3D环视泊车辅助、自动泊车、自主泊车、高速的AEB/ACC /LDW驾驶辅助,以及属于更高阶段的自动驾驶等范畴。而随着产品功能的变化,会陆续增加摄像头的数量,接入其他功能的传感器。未来再逐步将这些原型产品 推向量产。

more汽车电子市场动态
more技术专栏
more专家答疑
问:配置高通pmd9607的mpp管脚, 设置为模拟输入一直量不到电压,请教。
答:需要注意,MPP管脚并不是所有MPP管脚都可以配置的,请参考spec说明,你需要配置的pin有没有限制。通常模拟输入的话,还要配置ANA_IN_CTL等寄存器,需要外接模拟量,然后读取该pin的值的寄存器中HKADC值。
问:专家请指导: sensor厂家给的sensor相关资料(chromatix + lib)是支持前置摄像头的,“支持”主要是我这边验证过前置已经点亮。 后置摄像也用同sensor, 但用这套相关资料就点不亮了。 kernel层确认已经PROBE, 同时在/dev下有media0 media1,请协助该如何完成后置的点亮. p.s: 1. 该板后置如果使用其他sensor,可以点亮前后置摄像头; 2. 将后置摄像头拆卸, 可点亮前置, 不拆卸后置,同样可以点亮前置; 3. 如果前置后置一样, 前后置都点不亮, 但kernel层确认都probe, dev下有camera0,camera1,camera2; 4. 拆卸前置,仅后置, 依然无法点亮, kernel已经probe,dev下有camera0,camera1 针对前后置同sensor, 在sensor_init.c增加2sensor, 分别命名为: sensor, sensor_rear,同时在sensor_Libs目录下增加sensor,sensor_rear目录,主要是针对lib部分, 同时对lib中camera_id和position做对应修改(前:CAMERA_1,1,后: CAMERA_0,0) 写的太多, 一句话说明下问题: 前后置同sensor如何同时点亮前后置sensor, 是否需要修改lib中的参数,如何修改?还是其他问题?
答:从现象描述看,可以从以下几点排查。 1,sensor的配置,通常后置sensor 4lanes,而前置sensor 2lanes。换不同型号的sensor可以点亮,说明这些配置可能没有修改 导致一些问题。 2,重点看下,“拆卸前置,仅后置, 依然无法点亮,dev下有camera0,camera1,”,对比下前后置不同型号 枚举dev也是这样,看看HAL层dumpimage检查图像是否正常。 3,camera id枚举冲突,无法区分两颗相同的sensor,tuning参数调用是否正确。
问:请教专家,UE 链路层怎么样才能主动和NODE B断开。 设备和基站没有OTA log,也不太清楚是什么原因导致的连接断开。
答:可以通过AT命令CREG可以离线和在线网络。不知道是否是您需要的情况。 http://blog.chinaunix.net/uid-149881-id-2780145.html
问:有没有懂高通平台root 和解网络锁的高手?
答:eng和userdebug版本上通过adb root。你是否需要如下的方法么, https://zhidao.baidu.com/question/557640730.html
Copyright ©2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
京ICP备12027778号-2 北京市公安局备案:1101082052