《第一本无人驾驶技术书》_sample


· . 第-本无人驾驶 攘术书 刘少山唐洁世 吴双李力耘回 穹子 .l. ~ :t. 属材· Publishing House of Electronics Industry 北 京 •BEI 丑NG 内容简介 无入驾驶是一个复杂的系统,涉及的技术点种类多且跨度大,入门者常常不知从何入手 。 本书首先宏观地呈现了无人驾驶的整体技术架构,概述了无人驾驶中涉及的各个技术点。在读 者对无人驾驶技术有了宏观认识后,本书深入浅出地讲解了无人驾驶定位导航、感知、决策与 控制等算法,深度学习在无人驾驶中的应用,无人驾驶系统软件和硬件平台,无人驾驶安全及 无人驾驶云平台等多个主要技术点。本书的作者都是无人驾驶行业的从业者与研究人员,有着 多年无人驾驶及人工智能技术的实战经验。 本书从实用的角度出发,以期帮助对无人驾驶技术(特别是人工智能在无人驾驶中的应用〉 感兴趣的从业者与相关人士实现对无入驾驶行业的快速入门,以及对无人驾驶技术的深度理解 与应用实践。 未经许可,不得以任何方式复制或抄袭本书之部分或全部内容。 版权所有,侵权必究。 图书在版编目( CIP )数据 第一本无人驾驶技术书/刘少山等着.一北京:电子工业出版社, 20 17 .6 ISBN 978-7-121-31355-4 I. ①第… II. ①刘… III. ①人工智能一算法一研究 IV. ① TP18 中国版本图书馆 CIP 数据核字( 2017 )第 077646 号 策划编辑:郑柳洁 责任编辑 :郑柳 洁 印 刷: 三 河市鑫金马印装有限公司 装 订: 三 河市鑫金马印装有限公司 出版发行:电子工业出版社 北京市海淀区万寿路 173 信箱 邮编 100036 开 本: 720 × 1000 1116 印张: 13.75 字数 : 261 千 字 版 次 : 2017 年 6 月第 l 版 印 次: 2017 年 7 月第 3 次印刷 定价: 59 . 00 元 凡所购买电子工业出版社图书有缺损问题,请向购买书店调换 。若书店售 缺,请与本社发 行部联系,联系及邮购电话:( 010) 88254888, 88258888 。 质量投诉请发邮件至 zlts@phei.com.cn ,盗版侵权举报请发邮件至 dbqq@phei.com.cno 本书咨询联系方式: 0 I 0-51260888-819, faq @ phei.com .cn 。 好评袭来 本书深入浅出地呈现了无人驾驶这个复杂的系统。书中包括无人驾驶定位与感知算法 、 无人驾驶诀策与控制算法、深度学习在无人驾驶中的应用、无人驾驶系统、无人驾驶云平 台、无人驾驶安全等章节,既宏观地呈现了无人驾驶技术的架构,又很好地深入到无人驾 驶涉及的每个技术点 。 我相当同意书中的观点:无人驾驶并不是 一 个技术点,而是众多技 术点的集合 。 无人车上路行驶的前提是每一个技术点都要做得很好 ,这就代表在每个技术 点上都有很好的创新机会 。 例如,在无人驾驶芯片的设计上,使用低能耗的 ARM 架构加 上不同的加速芯片( GPU 、 FPGA 、 DSP 、 ASIC ) 在性能与能耗上有很大优势。我仔细读 完本书后 , 对整个无人驾驶系统架构有了很好的认识,当我想更深入地了解一个技术点时, 本书也提供了很好的文献信息让我深入学习 。 毫不夸张地说 ,本书让我在短时间内对无人 驾驶技术有了很好的了解 。 ARM 董事会成员 、 全球副总裁 、 中国区总裁 吴昂雄 作为 一 名科技行业的从业者 ,我 有幸近距离观察了许多所谓的颠覆性技术的生命周期 。 我的感受是人们会将一项技术的近期作用无限夸大,对这项技术的长期演化往往估计不足 。 这 一 次大家对“无人驾驶”的态度也 一样,大多数人仅仅把“无人驾驶”看成 一 项技术, 认为只要搞定算法、搞定传感器、搞定云与端的传输等就万事大吉,我们就进入了完全自 动驾驶的时代 。 我认为这种想法很危险,首先,这是 一 种发明家而非创新家、投机者而非 创业者的心态 ; 其次,这些人没有充分认识到“无人驾驶 ” 有着极大的安全属性与社会属 性,他们可能会谈到政府管制的问题,但很少考虑人口结构及其背后的消费心理及消费习 一寸 第一本无人驾驶技 术 书 惯问题。这种拿着锤子找钉子的做法对“无人驾驶”的落地很不利 。 作为从业者之一 , 我坚定看好“无人驾驶”这一产业的长期趋势及其巨大的经济与社 会效益,但在短期内,我 们 除了做好技术准备外,更应该把眼光放长远,虚心地研究市场、 研究用户、研究监管者、研究利益相关方 , 脚踏实地一步一 个脚印,共同 实 现“无人驾驶” 这一可预见的未来 。 本书是我读过的有关“无人驾驶”最系统、最严谨的著作,值得有志 于从事 此行业的朋友认真阅读 。 舜 宇光 学科技 (集团)有限公 司 总裁 、 执行董事 孙泱 刘少 山 带领的是一个专业而高效的硅谷精英团队 ! 感谢他们的努力,将神秘高端的无 人驾驶技术拉下神坛 , 并以启丁解牛般的专业功底逐层剖析 。这本诞生于工业界的无人 驾 驶图书,将极大 地缩短开发者、爱好者,以及相关人士迅速切入,并深入学习和投身于人 工智能无人驾驶这一热点领域的进程 , 实属 可贵 。 CSDN & 《 程序员》总编孟迎霞 很高兴看到本书书稿 , 我认为这是 一 本无人驾驶方面的专业书籍,对技术发展现状 和工业实现都进行了很好的描述 , 并对未来做出了展 望。书巾 内容包括了各个层面面临的 技术挑战和可能的技术解决方案,特别是在决策控制部分有精 彩 的描述 。 我相信本书对 在校学生、研究生 , 以及工业界相关技术人员都有所帮助 ! 清华大学教授 、 博士生导师 樊平毅 当前,人工智能引起了全球性的关注,是一个可能改变世界的创新技术。无人驾驶技 术是人工智能领域最重要的分支之一,其涉及的学科众多,是一个融会了大量新技术的工 程实践 。 本书试图揭开无人驾驶技术的神秘面纱,使读者能够很快建立对无人驾驶技术的 全面认识。本书从工程师的角度出发,全面介绍了无人驾驶技术涉及的核心方向,包括环 境感知、车载传感器、规划控制 , 等等。书中涉及无人驾驶的多个技术方向自成体系,针 对每个方向中的核心内容讨论了系统的技术思路和解决方案,在很多 重要 的技术上给出 了 颇具深度的细节示例 。 本书作者有深厚的硅谷工程师背 景 ,作者描述的无人驾驶技术已 经 不是象牙塔里的学术,而是贴近社会并即将走进大众生活的新 一 代科技 产品 的 实践。 电 子科技大学教授、博士生导师 雷维礼 ‘ IV 目录 1 无人车:正在开始的未来 1.1 正在走来的无人驾驶..............…................................. . ........................ 2 1.2 自动驾驶的分级......................... . ....….................….. ...................... ...... 4 1.3 无人驾驶系统简介... . .........… .. . . ............ . .................. .. .. . .... . . . .... .. ... ..... .. 7 1.4 序幕刚启.............................…........... . .....……….......…. .. ......………....... 18 1.5 参考资料..........….......… . ................... ..….. .. ...….......….. ....................... 18 2 光 学雷达在无人驾驶技术中的应用 21 2.1 无人驾驶技术简介.......... ..…. .. .. .. .... ............…... ......…................ ........ 21 2.2 光学雷达基础知识............................................................................. 22 2.3 LiDAR 在无人驾驶技术中的应用领域............................ . .. ...... . ...... 24 2.5 展望未来................. . .. . .. . . . .. .. .....…................................. .. .......... . . ........ 28 2.6 参考资料.........…....................... . .........…........…............ . .....…............. 28 3 GPS 及惯性传感器在无人驾驶中的应用 30 3.1 无人驾驶定位技术...............…............. . ....... . ….. .. ...……... .. ....……...... 30 I 第一本无人驾驶技术书 3.2 GPS 简介··········….......…… . .. ....... ....….......… .......…··…··············· · ········ 31 3.3 惯性传感器简介··········· · ·················································…. ..... .......... 34 3.4 GPS 和惯性传感器的融合 . ..... ....…..... ..… .......…............................ . ... 36 3.5 结论······························· · ·····….............................................................刀 3.6 参考资料….................... .. ….......…......................….... .. .….......….... .. .... 38 4 基于计算机视觉的无人驾驶感知系统 39 4.1 无人驾驶的感知.........................…... . ......................…........................ 39 4.2 KITTI 数据集..........….......… ... ......……................………................ 40 4.3 计算机视觉能帮助无人车解决的问题............... . ............….............. 42 4.4 Optical Flow 和立体视觉.............…..... . ...…….......……...................... 43 4.5 物体的识别与追踪....... ... .......… ·· ······ ········ ·….........….......... . .............. 45 4 .6 视觉里程计算法 .......... ..........…··….......….......….... ..... .... ..... ............... 47 4.7 结论............................... . ..........…….......….......…··…...............….......... 48 5 卷积神经网络在无人驾驶中的应用 50 5.1 CNN 简介. .............. ................... ............... . .. ...... ................................. 50 5.2 无人驾驶双目 30 感知.. ...... . ....... . . ... . . ............... .... ......................... . ..引 5.3 无人驾驶物体检测........................................…........ . ............……....... 54 5.4 结论.....................…................................................ .......... ................... 59 5.5 参考资料….......….......….......…················ · ·····…·······…....... . ................. 59 6 增强学习在无人驾驶中的应用 61 lllr... VI 6.1 增强学习简介....................…………………………………………………....... 61 6.2 增强学习算法·····································……·….......... .. .............…....... . .. 63 6.3 使用增强学习帮助决策·········….................….........…......................... 68 6.4 无人驾驶的决策介绍·············………................................................... 70 6.5 参考资料·········· ···…....... ...... .. . .. . ...... ……. ........... ...…….......….... .. ......... 74 - -~ 7 无人驾驶的规划与控制 75 7.1 规划与控制简介..................... .. ..........................................................乃 7.2 路由寻径.............…................. . .......……………………............................ 77 7.3 行为决策.. ... ............…............. ............... ............................................. 84 7.4 动作规划... . ... ... .......…. ............ . ...........….........…................................. 93 7.5 反馈控制... ... .............. . ..... ....…... .. .. ... . ... ... . .................. ... .................. 101 7.6 无人车规划控制结语................................. ............. . . ........ ......... . ..... 105 7.7 参考资料..............….........… ............ . ... .. .. ............. ........ ............... .. .... 105 8 基于 ROS 的无人驾驶系统 108 8.1 无人驾驶:多种技术的集成.. .............. .............. ..... .... . ................... 108 8.2 机器人操作系统( ROS )简介.........………..................................... 110 8.3 系统可靠性..... . ................. . ....... .......... . . ..............……...... . ................. 115 8.4 系统通信性能提升.........…... .. . ..................…... . ....................…......... 116 8.5 系统资源管理与安全性 ............................. ........ .. ......... .. ................. 117 8.6 结论.................…............... . ....... .............. ... ..... ....... ................ . . ......... 118 8.7 参考资料... .. . .…… . ..... ...… ....... . .… ·…... ... . ............. .. ..... .... ....…......... 118 9 无人驾驶的硬件平台 120 9.1 无人驾驶 : 复杂系统....... .. ... ... . ....... . . ................. ... ... .. ..................... 120 9.2 传感器平台............. ....…............................... ..… ... . . .............….......... 121 9.3 计算平台........................................................................................... 140 9.4 控制平台................................. ... .. .. . .................................... . ... . ......... 150 9.5 结论........... ... ............ . . ............. ... ... ........ . ... ... ... ...... .... ... ..................... 157 9.6 参考资料 ...... .... .......... ..... …..... . ...……….......…................................... 158 10 无人驾驶系统安全 160 10.1 针对无人驾驶的安全威胁··· ·· ··· ·…... ......…. . .......................…......... 160 10.2 无人驾驶传感器的安全.........….........……... .. ........................... . .... . 160 10.3 无人驾驶操作系统的安全.........……·………............. . ..........…....... .. 162 VII ,jf 一寸第一本无人驾驶技术书 10.4 无人驾驶控制系统的安全.........…................................................. 163 10 . 5 车联网通信系统的安全性........................….......………................. 165 10.6 安全模型校验方法.............................…........….......….................... 168 10.7 参考资料.........…·················….........….........…...............….............. 169 11 基于 Spark 与 ROS 的分布式无人驾驶模拟平台 171 11.1 无人驾驶模拟技术········································································· 171 11.2 基于 ROS 的无人驾驶模拟器.........................................…........... 173 11.3 基于 Spark 的分布式的模拟平台.....................................…......... 175 11.4 结论....……...............…..................................................................... 178 11.5 参考资料........... . .....….........…......... . ....... .. ......... ....….... .... ... .... .... ... 178 12 无人驾驶中的高精度地图 180 12.1 电子地图分类.........................................…..................................... 180 12.2 高精度地图的特点........................................................….............. 183 12.3 高精度地图的生产·············…........….......…................…................ 185 12.4 无人驾驶场景中的应用·············….........…….................................. 188 12.5 高精度地图的现状与结论.................…..........……..............…........ 190 12.6 参考资料 .............…... ........................... ..... ...................................... 1 引 13 无人驾驶的未来 192 、‘ VIII 13.1 无人驾驶的商业前景..................................................................... 192 13 .2 无人车面临的障碍.................…..........................…........................ 194 13.3 无人驾驶产业·················································…............................. 198 13.4 全球化下的无人驾驶.........................................…......................... 203 13 .5 无人驾驶发展对策........................................……........................... 205 13.6 可预见的未来.........…..................................................................... 207 13.7 参考资料... .. . ... .. ......... . ..... .. ..... ............. ...... ... ........ . .. ............. .. ........ 208 无人车:正在开始的未来 我们已经拉开了全自动无人驾驶的序幕,在幕布之后精彩的未来将如何,让我们先回 顾一 下硅谷的发展历史,再以此展望无人驾驶的未来 。 如图 1-1 所示,现代信息技术始于 2 0 世纪 6 0 年代,仙童电子和 Int e l 通过硅晶体微处理器技术的创新开创了信息技术的新 时代,这也是硅谷的起源 。 微处理器技术极大地提高了工业化生产力 , 推进了现代工业的 发展 。 2 0 世纪 8 0 年代,随着 Xe ro x A lto 、 A pple Lisa 及 Microsoft Windo ws 等软件系统的 发展,图形界面被广泛应用 , 个人电脑的概念出现并开始普及,现代信息技术以此为基础 普惠众人 。 2020 一 ..... 2015 - 2020 国 {Q)ai阳也 U BER 2010 - 2015 Ill~ Ur剧团 2α)() - 2010 Goo gle . 1980 - 2 仪)() Ill Mier田。,ft -国,.. .. @ 1960 一 19 回 ’也,M帽CHILC ~比a啊。, 图 1 - 1 现代信息技术发展史 I 第一本无人驾驶技术书 21 世纪初,在个人电脑逐步普及并被大规模应用的背 景 下, Google 的出现通过互联 网和搜索引擎的方式将人与浩瀚如星诲的信息互联起来了, 至 此,现代信息技术发展到了 第三阶段 。 始于 2004 年的 Facebook 通过革新的社交网络模式将现代信息技术推进到了第 四阶段 。至 此,人类的交往互联方式从线下扩展到了线上,人类社会在万维网上有了初始 的迁移并逐步地成熟完善 。 随着互联网人口规模的膨胀, A i 由lb 与 山町 等公司通过共享经济的思维把人类社会 的经济模式直接推广到了互联网社会,利用互联网+移动设备等直接连接不同用户的经济 行为,得到了大范围的成功 。 信息技术每 一 阶段的发展及其随后驱动的革新,都极大地改 变了人类对信息的访问需求和获取方式 。 尤其对后几个阶段而 言 , 互联网是-个基础性条 件,大多数的服务是通过互联网传达给终端用户的 。 现在,我们走到了信息技术发展的第六 阶段,机器人开始作为服务的承载体出现,其 中的一个具体事例就是无人驾驶的产品化 。无 人驾驶并不是 一 个单 一 的新技术,而是一系 列技术的整合 , 通过众多技术的有效融合,在无人驾车的情况下安全地送达乘客 。本章会 介绍无人驾驶的分级、 ADAS 中的关键应用、无人驾驶中涉及的多项技术并讨论如何安全 高效 地在无人 驾驶系统中完成技术的整合。 1.1 正在走来的无人驾驶 预计到 2 02 1 年,无人车将进入市场,从此开启 一 个崭新的阶段 。 [I ]世界经济论坛估 计,汽车行业的数字化变革将创造 6 70 亿美元的价值,带来 3.1 万亿美元 的社会效益,[ 2] 其中包括无人车的改进、乘客互联及整个交通行业生态系统的完善。 据估计,半自动驾驶和全自动驾驶汽车在未来几十年的市场潜力相当大 。 例如,到 2035 年 ,仅中 国就将有约 860 万辆 自动驾驶汽车 , 其中约 340 万辆为全自动无人驾驶, 520 万辆为半自动驾驶 。 [ 3 ]有行业主管部门人士认为,“中国轿车的销售,巴士、出租车 和相关交通服务年收入有望超过 1.5 万亿美元 。 ”波士顿咨询集团预测,“无人车的全球市 场份额要达到 25% , 需要花 15 ~20 年的时间 。 ”由于无人车预计到 2 021 年才上市,这意 味着 2 035 -2 040 年 ,无人 车将占全球市场 25% 的份 额。 无人驾驶之所以会给汽车行业带来如此大的变革,是因为无人车带来的影响是 空 前的 。 研究表明,在增强高速公路安全、缓解交通拥培、减少空 气污染等领 域,无人驾驶会带来 ~ 2 1 无人车:正在开始的未来 1一… 颠覆性的改善 。 1. 增强高速公路安全 高速公路事故是全世界面临的重大问题。在美国 , 每年估计有 35000 人死于车祸,在 中国这一数字约为 260000 人。 ( 4 ] 日本每年高速公路事故死亡人数为 4000 左右。 ( 5 ]根 据 世界卫生组织统计,全世界每年有 124 万人死于高速公路事故。 ( 6 ]据估计 ,致命车祸每年 会造成 2600 亿美元的损失 , 而车祸致伤会带来 3650 亿美元 的损 失。高速公路事故每年导 致 6250 亿美元 的损失 。 ( 7 ]美国兰德公司研究显示,“在 2011 年车祸死亡事故中 39% 涉及 酒驾。”[ 8 ]几乎可以肯定,在这方面 , 无人车将带来大幅改善 ,避免车祸伤亡。在中国 , 约有 60% 的交通事故和骑车人、行人或电动自行车与小轿车和卡车相撞有关。 [ 9 ] 在美国 的机动车事故中,有 94% 与人为失误有关。( 1 0 ]美国高速公路安全保险研究所的 一项 研究 表明 , 全部安装自动安全装置能使高速公路事故死亡数量减少 31% , 每年将挽救 11000 条生命。[ II ]这类装置包括前部碰撞警告体系、碰撞制动、车道偏离瞥告和盲点探测。 2. 缓解交通拥墙 交通拥培几乎是每个大都市都面临的问题。以美国 为例,每位司机每年平均遇到 40 小时的交通堵塞,年均成本为 1210 亿美元。( 12 ]在莫斯科、伊斯坦布尔、墨西哥城或里约 热内卢,浪费的时间更长,“每位司机每年将在交通拥培中度过超过 100 小时 。 ( 13 ]在中 国 , 汽车数量超过 100 万辆的城市有 35 个,超过 200 万辆的城市有 10 个。在最繁忙的市区, 约有 75 % 的道路会出现高峰拥墙 。 ”中罔私家车总数已达 1.26 亿辆,同比增加 15 %, (14] 仅北京就有 560 万辆汽车 。 P5l Don a ld Shoup 的研究发现 , 都市区 30 % 的交通拥培是由于 司机为了寻找附近的停车场而在商务区绕圈造成的。 (1 6 ]这是交通拥挤、空气污染和环境 恶化的重要原因 。 “在造成气候变化的二氧化碳排放中约有 30% 来自汽车 ” 。 ( 17 ]另外,根 据估算,在都市中有 23%~45% 的交通拥墙中发生在道路交叉处 。 ( 18 ] 交 通灯和停车标志不 能发挥作用,因为它们是静止的,无法将交通流量考虑其中。绿灯或红灯是按照固定间隔 提前设定好的,不管某个方向的车流量有多大 。 一旦无人车逐渐技入使用,并占到车流 量 比 较大的比例 , 车载感应器将能够与智能交通系统联合工 作,优化道路交叉口的车流 量。 红绿灯的问隅 也将 是动态 的,根据道路 车流量实 时变动 。这样可 以通过提高车辆 通行效 率 , 缓解拥堵 。 3 .... I 第一本无人驾驶技术书 3. 疏解停车难问题 完成停车时 , 无人车能将每 侧人为预 留的空间减少 10 厘米 , 每个停车位就可以减少 1.95 平方米 ,此外层高 也可以按照 车身进行设计 。 通过无人车与传统汽车使共 享 车库 ,所 需要的车库空间将减少 26% 。 如果车库直供自动泊车汽车使用,则所需的车库 空 间将减 少 62% 。 节省的土 地可以用 于建设其 他对行车和行人更加友好的街道,同时 也 节省了消 费者停车和取车的 时间 。 4. 减少空气污染 汽车是造成空气质量下降的主要原因之一。兰德公司的研究 表 明,“无人驾驶技术能 提高燃料效率 ,通过更顺畅的加速、减速,能比手动驾驶提高 4% ~ 10% 的燃料效 率。 ” (19] 由于工业区的烟雾与汽车数 量 有关 , 增 加 无人车的数量能减少 空气 污染 。一 项 2 016 年的 研究估计,“等红灯或交通拥墙时汽车造成的污染比车辆行驶时高 40% 。 ”[ 20 ]无人车共 享 系统也 能带来减排和 节能的好处 。 德克萨斯大学奥斯汀分校的研究人员研究了 二氧 化硫、 一氧化碳、氮氧化物 、挥发性有机化合物、温室气 体和细小颗粒物 。 结果发现,“使用无 人车共享系统不仅节省能源,还能减少各种污染物的排放 。 ”[ 21 ]约车公司 Uber 发现,该 公司在旧金 山和 洛杉矶的车辆出行中分别有 50% 和 30% 是多乘客拼车 。 在 全 球范围内 , 这一数字为 20% 。 [ 22 ] 无论是传统车,还是无人 车 , 拼车的乘客越多,对环境越好,也越 能缓解交通拥堵 。 改变一车 一 人的 模式将能大大改 善空气质 量。 1.2 自动驾驶的分级 2013 年 , 美国国家公路交通安全管理局( NHTSA ,制 定各种监管和标准)发布了汽 车自动化的五级标准 , 将自动驾驶功能分为 5 个 级别 : 0-4 级[叫,以应对 汽车主 动 安 全技 术的爆发增长 。 先看 NHTSA 下的 定义 , 如图 1-2 所示 。 ( 1 ) Level O : 无自动 化 。 没有任 何 自动驾驶功能、技术,司机对汽车所有功能拥有 绝对控制权 。 驾驶员需要负责启动、制动、操作和观察道路状况 。 任何驾驶辅助技术 , 只 要 仍 需要 人控制汽车 ,都 属于 Level O 。 所以现有的前向碰撞预警、车道偏离预瞥 ,以及 自动雨刷和自动前灯控 制, 虽然有 一 定的智能化 , 但是都仍属于 Level O 。 ‘ 4 无人车:正在开始的未来寸一 自动驾驶份缎 跚跚酣 LD I J甲啥叫咱华- u ” 问弘E 翩翩 WU 图 1-2 NH TS A 和 SAE 对自动驾驶的分级比较 ( 2) Level 1 : 单一功能级的自动化。驾驶员仍然对行车安全负责 ,不过可以放弃部 分控制权给系统管理,某些功能已经自动进行,比如常见的自适应巡航( Adaptive Cruise Control, ACC )、应急刹车辅助( Emergency Brake Assist, EBA )和车道保持( L ane-Keep Support, LKS ) 。 Level l 的特点是只有单 一 功能,驾驶员无法做到手和脚同时不操控。 ( 3) Level 2 : 部分自动化。司机和汽车来分享控制权,驾驶员在某些预设环境下可 以不操作汽车,即手脚同时离开控制,但驾驶员仍需要随时待命,对驾驶安全负责,并随 时准备在短时间内接管汽车驾驶权。比如结合了 ACC 和 LKS 形成的眼车功能。 Level 2 的核心不在于要有两个以上的功能,而在于驾驶员可以不再作为主要操作者。 Tesla 推送 的 a utopilot 也是 Leve l 2 的功能 。 ( 4) Level 3 : 有条件自动化。在有限情况下实现自动控制,比如在预设的路段(如 高速和人流较少的城市路段) , 汽车自动驾驶可以完全负责整个车辆的操控,但是当遇到紧 急情况 , 驾驶员仍需要在某些时候接管汽车,但有足够的预警时间,如即将进入修路的路段 ( Road work ahead )。 Level 3 将解放驾驶员 ,即对行车安全不再负责 ,不必监视盖路状况 。 ( 5) Level 4 : 完全自动化(无人驾驶) , 无须司机或乘客的干预。在无须 人协助的情 况下由出发地驶向目的地 。 仅需起点和终点信息,汽车将全程负责行车安全,并完全不依 赖驾驶员干涉 。 行车时可以没有人乘坐(如空车货运)。 另 一 个对自动驾驶的分级来自美国机动工程师协会( SAE ) , 其定义自动驾驶技术共 5 ~ 一γ 第一本无人驾驶技术书 分为 0~ 5 级。[ 241 SAE 的定义在自动驾驶 0~3 级与 NHTSA 一 致,分别强调的是无自动化、 驾驶支持、部分自动化与条件下的自动化 。 唯一的区别在于 SAE 对 NHTSA 的完全自动 化进行了进一步细分,强调了行车对环境与道路的要求。 SAE -Level4 下的自动驾驶需要 在特定的道路条件下进行,比如封闭的园区或者固定的行车线路等,可以说是面向特定场 景下的高度自动 化驾驶 。 SAE-Levels 则 对行车环境不加限制,可以自动地应对各种复杂 的车辆、新人和道路环境。 综上所述 ,不同 Level 所实现的自动驾驶功能也 是逐层递增的 , ADAS ( Advanced Driving Assistant System )即高级驾驶辅助系统,属于自动驾驶 0-2 级 。 如表 1-1 所示, LO 中实现的功能仅能够进行传感探测和决策报瞥,比如夜视系统、交通标识识别、行人 检测、车道偏离警告等。 LI 实现单一控制类功能,如支持主动紧急制动、自适应巡航控 制系统等,只要实现其中之一就可达到 LI 。 L2 实现了多种控制类功能 ,如 具有 AEB 和 LKA 等功能的车辆。 L3 实现了特定条件下的自动驾驶 , 当超出特定条件时将由人类驾驶 员接管驾驶。 SAE 中的 L4 是指在特定条件下的无人驾驶,如封闭园区间定线路的无人驾 驶等,例如百度在乌镇景区运营的无人驾驶服务 。 而 SAE 中的 LS 就是终极目标, 完全无 人驾驶 。无人驾驶就是自动驾驶的最高级 , 它是自动驾驶的最终形态 。 表 1-1 逐层递增的自动驾驶功能 NHTSA LO LO L1 LI L2 L2 L3 L3 L4 L4 LS 1 SAE 无自动化 夜视 行人检测 驾 驶支持 部分自动化 有条件臼动 | | 完全自动 1 | 高度自动 化 | I 化 || 化 ! 交通标志识别 功能 | 盲点检测 并线辅 助 自适应巡航驾驶系 统 自动紧急制动 停车辅助系统 车道保持辅助 1 拥挤辅助 驾 | 停车场!'lf;IJ 系统 ! 驶 | 泊车 目 前向碰撞预警系统 后排路口交通警报 | | 车身电子稳定系统 车道偏离瞥告 目 传感探测和决策警 | 单一功能(以上之 | 组合功能 ! 特定条件特征 1 I I ! | 一 ) I ( u1L2 组合) ! 部分任务 特定条件 全部任务 件务条任部部会主一会工 ~ - - - - - - - - - - - - - _A~~~ - - - - - - - - - - _:_ _ - - - - ~旦雪哈 - - - - - - - _: .. 6 1 无人车:正在 牙捕的未来寸一 全自动无人车可能比半自动驾驶汽车更安全 , 因为其可以在车辆行驶 时 排除人为错误 和不明智的判断 。 例如 , 弗吉尼亚理工大学交通学院的调查表明, “ L3 级自动驾驶车辆的 司机回应接管车辆的请求平均需要 17 秒,而在这个 时间内 , 一辆 时 速 65 英里( 105 干米) 的汽车已经开出 1621 英尺( 494 米)一一超过 5 个足球场的长度。”百度的工程 师也 发现 了类似的结果 。 司机从看到路面物体到踩刹车需要 1.2 秒 , 远远长于车载计算机所用的 0 . 2 秒 。 这一时间差意味着,如果汽车时速是 120 千米( 75 英里),等到司机停车 时, 车子 已经开出了 40 米( 44 码) , 而如果是车载计算机做判断 , 则开出的距离只有 6 . 7 米( 7 码) 。 在很多事故中 , 这一差距将决定乘客的生死。由此可见 , 站在自动驾驶最高级的无人驾驶 才是汽车行业未来发展的“终极目标” 1.3 无人驾驶系统简介 无人驾驶系统是一个复杂的系统,如图 1 - 3 所示 , 系统主要由三部分组成:算法端、 Client 端和云端 。 其中算法端包括面向传感、感知和决策等关键步骤的算法 ; Client 端包 括机器人操作系统及硬件平台 ; 云端包括数据存储、模 拟 、高精度地 图绘 制 及深度学习模 型训练 。 ~~主~ ~ ~二JG亟己 ~ ~ E王E 卢~「 图 1-3 无人驾驶系统架构图 α剧,d 例a时orm 算法端从传感器原始数据中提取有意义的信息以了解周遭的环境情况 , 并根据环境变 化做出决策 。 Client 端融合多种算法以满足实时性与可靠性的要求。举例来说 , 传感器以 60Hz 的速度产生原始数据, Client 端需要保证最长的流水线处理周期 也 能在 16ms 内完成 。 云平台为无人车提供离线计算及存储功能 。 通过云平台 , 我 们 能够测试新的算法、更新高 精度地图并训练、更加有效的识别、追踪和决策模型。 丁 A I 第一本无人驾驶技术书 1.3.1 无人驾驶算法 算法系统由几部分组成 : 第一,传感,并从传感器原始数据中提取有意义信息 ; 第二 , 感知,以定位无人车所在位置及感知现在所处的环境;第三,决策,以便可靠、安全地抵 达目的地。 1. 传感 通常来说,一辆无人车装备有许多不同类型的主传感器 。 每 一种类型的传感器各自有 不同的优劣,因此,来自不同传感器的传感数据应该有效地进行融合 。 现在无人驾驶中普 遍使用的传感器包括以下几种 。 ( 1 ) GPS / IMU: GPS / IMU 传感系统通过高达 2 00 Hz 频率的全球定位和惯性更新数 据,以帮助无人车完成自我定位。 GPS 是一个相对准确的定位用传感器,但是它的更新 频率过低,仅有 lOHz , 不足以提供足够实时的位置更新 。 IMU 的准确度随着 时间降低, 因此在长时间距离内并不能保证位置更新的准确性;但是,它有 着 GPS 所欠缺的 实 时性, 比凹 的更新频率可以达到 200Hz 或者更高 。 通过整合 GPS 与 IMU ,我们可以为车辆定位 提供既准确又足够实时的位置更新 。 ( 2) LIDAR :激光 雷达可被用来绘制地图、定位及避障。雷达的准确率非常高,因 此在无人 车设计 中 雷达通常被作 为 主传感器使用。激光雷达是以激光为光源 ,通过探测 激 光与被探测物相互作用的光波信号来完成遥感测量 。 激光雷达可以用来产生高精度地图, 并针对高精地图完成移动车辆的定位,以及满足避障的要求 。 以 Velodyne 64 -束激光雷达 为例,它可以完成 lOHz 旋转并且每秒可达到 130 万次读数 。 ( 3 )摄像头:摄像头被广泛使用在物体识别及物体追踪等场景中,在车道线检测、交 通灯侦测、人行道检测中都以摄像头为主要解决方案 。 为了加强安全性,现有的无人车 实 现通常在车身周围使用至少八个摄像头,分别从前、后、左、右四个维度 完 成物体发现、 识别、追踪等任务 。 这些摄像头通常以 60Hz 的频率工作,当多个摄像头同时工作时,将 产生高达 l.8GB 每秒的巨额数据量 。 ( 4 )雷达和声呐 : 雷达把电磁波的能量发射至空间中某 一 方向,处在此方向上的物体 反射该电磁波,雷达通过接收此反射液,以提取该物体的某些有关信息,包括目标物体至 雷达的距离、距离变 化 率或径向速度、方位、高度等。雷达和声呐系统是避障的最后一道 保障 。雷达和声呐产生的数据用来表示在车的前进方向上最近障碍物的距离 。一旦 系统检 h‘ - 8 1 无人车:正在歼始的未来丁一 测到前方不远有障碍物出现 , 则有极大的相撞危险 , 无人车会启动紧急刹车以完成避障。 因此,雷达和声呐系统产生的数据不需要过多的 处理 , 通常可直接被控制处理器采用 , 并 不需要主计算流水线的介入,因此可实现转向、刹车或预张紧安全带等紧急功能。 2. 感知 在获得传感信息之后,数据将被推送至感知子系统以充分了解无人车所处的周遭环境 。 在这里感知子系统主要做的是三件事 : 定位、物体识 别 与追踪。 1 )定位 GPS 以较低的更新频率提供相对准确的位置信息 , IMU 则以 较高的更新频率提供准 确性偏低的位置信息。我们可以使用卡尔曼滤波整合两类数据各自的优势 , 合并提供准确 且实时的位置信息更新。如图 1-4 所示 , IMU 每 5ms 更新一次,但是期间误差不断累积 精度不断降低。所幸的是,每 lOOms , 我 们可以得 到 一次 GPS 数据更新 , 以帮助我们校 正 IMU 积累的误差 。 因此,我 们 最终可以获得实 时 并准确的位置信息 。 然而,我 们不能 仅仅依靠这样的数据组合完成定位工作。原因有三 : 其一,这样的定位精度仅在一米之内 ; 其二 , GPS 信号有着天然的多路径问题将引入噪声干 扰; 其三 , GPS 必须在非封闭的环 境下工作 , 因此在诸如隧道等场景中 GPS 都不适用。 必 IMU P 陀、而 创sPo皿 Kalman Riter 阳>Se Pr四以恒。 图 1 - 4 基于 GPS /I MU 定位的原理图 G 附 因此作为补充方案 , 摄像头也被用于定位 。 简 化 来说 , 如图 1-5 所示 , 基于视觉的定 位由 三 个基本步骤组成 : ①通过对立体图像的三角剖分 , 首先获得视差图用以计算每个 点的深度信息 ; ②通过匹配连续立体图像 帧 之间的显著特征,可以通过不同帧之间的特 征建立相关性,并由 此 估计这两帧之间的运动情况 ; ③通过 比 较捕捉到的显著特征和已 知 地 图上的点计算车辆的当前位置。然而 , 基于 视觉的定位方法对照明条件非常敏感 , 因 9 .... 一寸 第一本无人驾驶技术书 此其使用受限且可靠性有限。 因此,借助于大量粒子滤波的激光雷达通常被用作车辆定位的主传感器 。 由激光雷达 产生的点云对环境进行了“形状化描述”,但并不足以区分各自不同的点 。 通过粒子滤波, 系统可将已知地图与观测到的具体形状进行比较以减少位置的不确定性 。 国 V恤,•IOcl凹,睛’V 阴阳... 叫 崛帷le h路刷刷 阳嚼。u>Oisp柳树陶p 图 1 -5 基于立体视觉1日|胆的流程图 为了在地图中定位运动的车辆 , 可以使用粒子滤波的方法关联已知地图和激光雷达测 量过程 。 粒子滤波可以在 lOcm 的精度内达到实时定位的效果,在城市的复杂环境中尤为 有效 。 然而,激光雷达也有其固有的缺点:如果空气中有悬浮的颗粒(比如雨滴或者灰尘), 那么测量结果将受到极大的扰动 。 因此 , 如图 1-6 所示,我们需要利用多种传感器融合技 术进行多类型传感数据融合,处理以整合所有传感器的优点, 完成可靠并精准的定位 。 IMU - 刷 0) 一 一· ’”· UM篝 图 1 -6 定位中的多传感器融合 ‘ :- 10 d- E 来 一 未 一 的 - A 口 - 4u 另 一 开 二 在 一 正 一 ! 车 一 人 一 无 一 ! 2 )物体识别与跟踪 激光雷达可提供精准的深度信息,因此常被用于在无人驾驶中执行物体识别和追踪的 任务 。 近年来,深度学习技术得到了快速的发展,通过深度学习可达到较显著的物体识别 和追踪精度 。 卷积神经网络( CNN )是一类在物体识别中被广泛应用的深度神经网络 。 通常 , CNN 由三个阶段组成 : ①卷积层使用不同的滤波器从输入图像中提取不同的特征,并且每个 过滤器在完成训练阶段后都将抽取出一套 “ 可供学习 ” 的参数 ; ②激活层决定是否启动 目标神经元 ; ③汇聚层压缩特征映射图所占用的空间以减少参数的数目,并由此降低所 需的计算量 ; ④ 一旦某物体被 C刚 识别出来,下一步将自动预测它的运行轨迹或进行 物体追踪 , 如图 1 - 7 所示。 图 1 -7 物体识别和跟踪示意 物休追踪可以被用来追踪邻近行驶的车辆或者路上的行人 , 以保证无人车在驾驶的过 程中不会与其他移动的物体发生碰撞 。 近年来,相比传统的计算机视觉技术 , 深度学习技 术已经展露出极大的优势,通过使用辅助的自然图像 , 离线的训练过程可以从中学习图像 的共有属性以避免视点及车辆位置变化造成的偏移,离线训练好的模型直接应用在在线的 物体追踪中 。 3. 决策 在决策阶段,行为预测、路径规划及避障机制三者结合起来实时地完成无人驾驶动作 规划 。 11 A 一寸 第一本无人驾驶技术书 1 )行为预测 在车辆驾驶中主要考验的是司机如何应对其他行驶车辆的可能行为,这种预判断直接 影响司机本人的驾驶决策,特别是在多车道环境或者交通灯变灯的情况下 ,司机的预测决 定了下一秒行车的安全。因此,过渡到无人驾驶系统中,决策模块如何根据周围车辆的行 驶状况决策下一秒的行驶行为显得至关重要 。 为了预测其他车辆的行驶行为,可以使用随机模型产生这些车辆的可达位置集合,并 采用概率分布的方法预测每一个可达位置集的相关概率,如图 1 - 8 所示 。 • 图 1-8 面向行为预测的随机放型示意 2 )路径规划 为无人驾驶在动态环境中进行路径规划是一件非常复杂的事情,尤其是在车辆全速行 驶的过程中,不当的路径规划有可能造成致命的伤害 。 路径规划中采取的一个方法是使用 完全确定模型 , 它搜索所有可能的路径并利用代价函数的方式确定最佳路径 。 然后,完全 确定模型对计算性能有着非常高的要求,因此很难在导航过程中达到实时的效果 。 为了避 免计算复杂性并提供实时的路径规划,使用概率性模型成为了主要的优化方向 。 3 )避障 安全性是无人驾驶中最重要的考量 ,我们将使用至少两层级的避障机制来保证车辆不 会在行驶过程中与障碍物发生碰撞。第一层级是基于交通情况预测的前瞻层级 。 交通情况 预测机制根据现有的交通状况如拥培、车速等,估计出碰撞发生时间与最短预测距离等参 数。基于这些估计,避障机制将被启动以执行本地路径重规划 。 如果前瞻层级预测失效, 则第二级实时反应层将使用雷达数据再次进行本地路径重规划 。一旦雷达侦测到路径前方 lllir.r 12 无人车:正在F始的未来丁一 出现障碍物,则立即执行避障操作 。 1.3.2 用户端系统 用户端系统整合上述避障、路径规划等算法,以满足可靠性及实时性等要求 。 用户端 系统需要克服三个方面的问题 : 其一 ,系统必须确保捕捉到的大量传感器数据可以及时快 速地得到处理;其二 ,如果系统的某部分失效,则系统需要有足够的健壮性能从错误中恢 复 ; 其三 ,系统必须在设计的能耗和资源限定下有效地完成所有的计算操作。 1. 机器人操作系统 机器人操作系统 ROS 是现如今广泛被使用的、专为机器人应用裁剪的、强大的分布 式计算框架。 ROS 为机器人应用提供诸如硬件抽象描述、底层驱动程序管理、消息管理 与传递、程序发行包管理等基本功能 ,同时也提供一系列工具和库用于开发、获取和运行 机器人应用 。 节点( no de )是 ROS 中的基本单位,其粒度范围很广,小到一个传感器大 到一个完整的机器人都可以是一个节点。每一个机器人任务,比如避障,也作为 ROS 中 的一个节点存在。节点与节点之间通过消息互相通信,其通信是端对端的,消息可以按照 主题分类 ,也可以包装成远程服务调用的形式。 ROS 中的节点管理器和消息管理器提供 命名和查找服务以方便节点在运行时能找到彼此,如图 1-9 所示。 ?曹雪 图 1-9 ROS 操作系统结构示意图 ROS 非常适用于无人驾驶的场景,但是仍有一些问题需要解决。 ·可靠性 : ROS 使用单主节点结构,并且没有监控机制以恢复失效的节点。 ·性能:当节点之间使用广播消息的方式通信时,将产生多次信息复制导致性能下降。 .安全 : ROS 中没有授权和加密机制 , 因此安全性受到很大的威胁。 13 Allll1 一? 第一本无人驾驶技术书 尽管 ROS 2.0 承诺将解决上述问题 ,但是现有的 ROS 版本中仍然没有相关的解决方 案。因此,为了在无人驾驶中使用 ROS ,我们需要自行克服这些难题。 1 )可靠性 现有的 ROS 实现只有一个主节点 ,因此当主节点失效时 , 整个系统也随之崩溃。这 对行驶中的汽车而 言是致命的缺陷 。 为了解决此问题 , 我们在 ROS 中使用类似于 Zoo Keeper 的方法。如图 1-10 所示 , 改进后的 ROS 结构包括一个关键主节点及一个备用 主节点。如果关键主节点失效 ,则备用主节点将被自动启用以确保系统能够无缝地继续运 行 。 此外, ZooKeeper 机制将监控并自动重启失效节点,以确保整个 ROS 系统在任何时 刻都是双备份模式 。 Establish direct link 图 1-10 面向 ROS 的 Zoo Keeper 结构 2 )性能 性能是现有 ROS 版本中有欠考虑的部分, ROS 节点之间的通信非常频繁 , 因此设计 高效的通信机制对保证 ROS 的性能势在必行。首先 , 本地节点在与其他节点通信时使用 回环机制, 并且每一次回环通信的执行都将完整地通过 TCP/IP 全协议枝 , 从而引入高达 20 微秒的时延。为了消除本地节点通信的代价,我们不再使用 TCP/ IP 的通信模式,取而 代之地采用共享内存的方法完成节点通信。其次,当 ROS 节点广播通信消息时 , 消息被 多次复制与传输 ,消耗了大量的系统带宽。如果改成目的地更明确的多路径传输机制则将 极大地改善系统的带宽与吞吐量,如图 1-11 所示 。 ..__ 14 1 无人车:正在开始的未来 寸一 5400 。 l 3 4 Number of Suburibers in a Topic 图 1-11 多路传播和广播的通信性能比较 3 )安全 安全是 ROS 系统中最重要的需求。如果一个 ROS 节点被挟制后 , 则会不停地进行内 存分配 , 整个系统最终将因内存耗尽而导致剩余节点失效继而全线崩溃。在另一个场景中 , 因为 ROS 节点本身没有加密机制,黑客可以很容易地在节点之间窃昕消息并完成系统 入侵。 为了解决安全问题,我们使用 Linux containers ( LXC )的方法限制每一个节点可供使 用的资源数,并采用沙盒的方式以确保节点的运行独立 , 这样以来可最大限度地防止资源 泄露。同时 , 我们为通信消息进行了加密操作 , 以防止其被黑客窃听 。 2. 硬件平台 为了深入理解设计无人驾驶硬件平台中可能遇到的挑战 , 让我们来看看现有的领先无 人车驾驶产品的计算平台构成 。 此平台由两个计算盒组成,每一个装备有 INTELXeon 日 处理器及 4 到 8 个 Nvidia Tesla K80 GPU 加速器。两个计算盒执行完全一样的工作 , 第 二个计算盒作为计算备份以提高整个系统的可靠性 , 一旦第一个计算盒发生故障,计算盒 二可以无缝地接手所有的计算工作 。 在极端的情况下,如果两个计算盒都在峰值下运行 , 及时功耗将高达 到oow , 同时 也将遭遇非常严重的发热问题。 因此, 计算盒必须配备有额外的散热装置 , 可采用多风扇 或者 ?)<. 冷的方案。同时,每一个计算盒的造价非常昂贵 , 高达 2 万至 3 万美元 , 致使现有 无人车方案对普通消费者而言无法承受。 15 "" 一寸 第一本无人驾驶技术书 现有无人车设计方案中存在的功耗问题、散热问题及造价问题使得无人驾驶进入普罗 大众显得遥不可及。为了探索无人驾驶系统在资源受限及能耗受限时运行的可行性 , 我们 在 ARM 面向移动市场的 Soc 实现了一个简化的无人驾驶系统,实验显示,在峰值情况 下能耗仅为 15W 。 非常惊人地,在移动类 Soc 上,无人驾驶系统的性能反而带给了我们一些惊喜 : 定 位算法可以达到每秒 25 帧的处理速度,同时能维持图像生成的速度在 30 帧每秒。深度学 习 则能在一秒内完成 2~3 个物体的识别工作。路径规划和控制则可以在 6 毫秒之内完成 规划工作。在性能的驱动下,我们可以在不损失任何位置信息的情况下达到每小时 5 迈的 行驶速度。 1.3.3 云平台 无人车是移动系统,因此需要云平台的支持。云平台主要从分布式计算及分布式存储 两方面对无人驾驶系统提供支持。无人驾驶系统中很多的应用 , 包括用于验证新算法的仿 真应用、高精度地图产生和深度学习模型训练都需要云平台的支持。我们使用 Spark 构建 了分布式计算平台 ,使用 OpenCL 构建了异构计算平台,使用 A lluxio 作为内存存储平台。 通过这三个平台的整合,可以为无人驾驶提供高可靠 、低延迟及高吞吐的云端支持。 1. 仿真 当我们为无人驾驶开发出新算法时, 需要先通过仿真对此算法进行全面测试,测试通 过之后才进入真车测试环节。真车测试的成本非常高昂并且迭代周期异常漫长,因此仿真 测试的全面性和正确性对降低生产成本和生产周期尤为重要。在仿真测试环节,我们通过 在 ROS 节点回放真实采集的道路交通情况,模拟真实的驾驶场景 , 完成对算法的测试 。 如果没有云平台的帮助,单机系统耗费数小时才能完成一个场景下的模拟测试,既耗时测 试覆盖面又有限 。 在云平台 中, Spark 管理着分布式的多个计算节点,在每一个计算节点中 , 都可以部 署一个场景下的 ROS 回访模拟 。 在无人驾驶物体识别测试中,单服务器需起时 3 小时完 成算法测试,如果使用 8 机 Spark 机群,贝lj 时间可以缩短至 25 分钟,如图 1-12 所示。 ~ 16 1 无人车:正在F 始的未来 7一 醉于 1「 - ., - , ;- ,~~~- -- 国 | //飞\ | | ” tl 川 踵虽蹦跚| 加, ;kl ::: ROS ~飞~ 图 1-12 基于 Spark 和 ROS 的模拟平台架构 2. 高精度地图生成 如图 1-13 所 示 , 高精度地图的产生过程非常复杂 , 涉及原始数据处理、点云生戚、 点云 对齐、 2D 反射地图生成、高精地图标注、地图生成等阶段。使用 Spark 可以将所有 这些阶段整合成一个 Spark 作业 。由于 Spark 天然的内存计算的特性,在作业运行过程中 产生 的中间数据都存储在内存中 。当整 个 地 图生产作 业 提交之后 , 不同阶段之间产生的 大量数 据不需要使用磁盘存储 , 数据访问速度加快,从 而 极大提高精度了高地图产生的 性能 。 丽, 圆 圆 HD Map Production Pipeline 图 1-13 基于云平台 的 高 精度地图生成流程图 17 .... 一γ 第一本无人驾驶技术书 1 .4 序幕刚启 无人 驾 驶作为 人 工智能 的 一 个 重大应用发 现从 来就不是某一项单 一 的 技术 , 它是众多 技术 的 整合。它需要有算法上 的创 新、系统上 的 融合 ,以 及来自云平台的支持 。 无人驾驶 序幕 刚 启,其中有着千千万万的 机会亟待发掘。在 此 背景之下 , 过去的几年中,自动驾驶 产业 化在多个方面取得了很大进步,其 中 合作共享已成为共识,产业链不断整合,业界企 业 相继开展合作 , 传感器价格将不 断 下降 , 预计在 2020 年 , 将有真正意义上的无人车面 市 , 让我 们拭目以待 。 1.5 参弩资料 川 2016 年 4 月 8 日 Doug Newcomb 载于气〈福布斯)润文章 “ Volvo ’ s China I 00-Vehicle Autonomous Car Trial Pushes Self-Driving Technology, Regulation " ; 2016 年 7 月 4 日《纽约 时 报》上 John Markoff 的文 章 “ Tesla and Google Take Different Roads to Self-Driving Car ” . [2] 2016 年 1 月,世界经济论坛与埃森哲的合作研究“ Digital Transformation of Industries : Automotive Indus 町人 作者 Bruce Weindelt. [3] 2016 年 6 月 22 日《中国日报》文 章 “ Officials Want to Open Way for Autonomou s Driving ”. [4] 2016 年 5 月 30 日《纽约 时 报》文 章 “ Beiji 吨’s Electric Bike s, the Wheels of E-Commerce , Face Traffic Backlash ” ,作者 Chris Buckley. [5] 2015 年 10 月 28 日彭博技术文章“ Japan ’ s Carmakers Proceed With Caution on Self-Driving Cars ” , 作者 JieMa . [6 ] 世界卫生组织 2010 年报 告 “ Global Health Observatory Data: Number of Road Traffic Deaths" . [7] 2014 年 2 月 25 日摩根斯坦 利研究“ Nikola ’s Revenge : TSLA’ s New Path of Disruption ”, 第 24 - 26 页 [8 ] 兰德公司 2016 年报告 “ Autonomous Vehicle Technology : A Guide for 、 18 1 无人车:正在歼始的未来 丁一 Policymakers ,, ,作者 James Anderson 、 Nidhi Kalra 、 Karlyn Stanley 、 Paul Sorensen 、 Constantine Samaras 罪口 Oluwatobi Oluwatola. [9] 《纽约时报》 2016 年 5 月 30 日文章“ Beiji 吨 ’ s Electric Bikes, the Wheels of E-Cornmerce, Face Traffic Backlash ,,, 作者 Chris Buckley. [10] 2015 年 11 月 18 日 Nathaniel Beuse 在众议院监督和政府改革委员会的证词 。 2016 年 6 月 2 日《华尔街日报》文章“ Baidu Plans to Mass Produce Autonomous Cars in Five Years ” , 作者 Alyssa Abkowitz . [11] Delphi 公司的 Glen De Vos 于 2016 年 3 月 15 在参议院商业、科学和技术委员会 昕证会上的证词 , 第 4 页 [12 ] 美罔交通部 2015 年报告“ Beyond Traffi毗 2045 : Trends and Choices ” , 第 11 页 [13] 2016 年 l 月世界经济论坛与埃森哲联合报告“ Digital Transformation of Industries : Automotive Industry ”, 第 4 页 , 作者 Bruce Weindelt. [14] 2016 年 4 月 2 1 日李书福《华尔街日报》文章“ Paving the Way for Autonomous Cars in China" . [15 ] 《纽约时报》 2016 年 5 月 30 日文章 “ Beijing ’ s Electric Bikes , the Wheels of E-Cornmerce, Face Traffic Backlash ”, 作者 Chris Buckley. [ 16] Access 2007 年第 30 卷文章“ Cruising for Parking ”, 第 16 ~22 页 , 作者 Daniel Shoup . [17] 2016 年 l 月世界 经济论坛与埃森哲联合报告“ Digital Transformation oflndustries: Automotive Industry ” ,第 4 页,作者 Bruce Weindelt. [18] 2016 年 7 月 12 日采访百度专家 . [19 ] 兰 德公司 2016 年报告“ Autonomou s Vehicle Technology: A Guide for Policymakers , ,,作者 James Anderson 、 Nidhi Kalra 、 Karlyn Stanley 、 Paul Sorensen 、 Constantine Samaras 和 Oluwatobi Oluwatola , 第 xvi 页 . [20] 2016 年 8 月 29 日 《纽约时报》文章 “ Stuck in Traffic, Polluting the Inside of Our Cars ”,作者 Tatiana Schlossberg . 19 ...illl I 第一本无人驾驶技术书 [21] Daniel Fagnant 和 Kara Kockelman 在 2014 年 l 月交通研究理事会第 93 次年会 提交的文章" The Travel and Environmental Implications of Shared Autonomous Vehicles Using Agent-Based Model Scenarios ”, 第 l ~ 13 页. [22] 2016 年 6 月 30 日 采访 Uber 公司 Ashwini Chabra. [23] SAE Taxonomy and Definitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles : http: //s tandards.sae .org/j30 l 6 _ 201609/. [24] National Highway Traffic Safety Administration Preliminary Statement of Policy Concerning Automated Vehicles. [25] Creating Autonomous Vehicle Systems: https: //www.oreilly.com/ideas/crea ting­ autonomous-vehicle-systems. ‘ 一20 光学雷达在无人驾驶技 术中的应用 无人车的成功带及了包括高精地图、实时定位,以及障碍物检测等多个技术 , 而这些 技术都离不开光学雷达 。 本章简单介绍了无人驾驶技术,并且深入解释了光学雷达如何被 广泛应用到无人车的各个技术中 。 本章首先介绍光学雷达的工作原理包括如何通过激光扫 描出点云 。 接下来详细解释光学雷达在无人驾驶技术中的应用 , 包括地图绘制、定位 , 以 及障碍物检测 。 最后讨论光学雷达技术目前面临的挑战,包括外部环境干扰、数据量大、 成本高等问题 。 2.1 无人驾驶技术简介 无人驾驶技术是多个技术的集戚,包括传感器、定位与深度学习、高精地图、路径规 划、障碍物检测与规避、机械控制、系统集成与优化、能耗与散热管理等 。 图 2 -1 所示为 无人车的通用系统图,虽然现有的多种无人车在实现上有许多不同,但是在系统架构上都 大同小异 。 在系统的感知端由不同的传感器组成,其中包括 GPS 用于定位,光学雷达用 于定位及障碍物检测,照相机用于深度学习的物体识别,以及定位辅助 。 在传感器信息采集后,进入了感知阶段,主要是定位与物体识别 。 在这个阶段,可以 一寸 第一本无人驾驶技术书 用数学的方法,比如 Kalman Filter 与 Parti cle Filter 等算法,对各种传感器信息进行融合, 并得出当前最大概率的位置。如果使用光学雷达为主要的定位传感器,则可以通过光学雷 达扫描回来的信息跟已知的高精地图做对比,从而得出当前的车辆位置 。 如果当前没有地 图,那么甚至可以把当前的光学雷达扫描与之前的光学雷达扫描用 ICP 算法做对比,从 而推算出当前的车辆位置。在得出基于光学雷达的位置预测后,可以用数学的方法与其他 的传感器信息进行融合,推算出更精准的位置信息 。 图 2 -1 无人 车通用系统架构 示意 图 最后,我 们 进入了计划与控制阶段 。 在这 个阶段,我们根据 位置信息及识别出的图像 信息(比如红绿灯),实 时调节 车辆的行车计划,并把行车计划转 化成 控制信号去操控车 辆 。 全局的路径 规划可以用 A-Sta r 类 似的 算法实现 , 本 地的路 径规划可以用 DWA 等算法 实现 。 2.2 光学雷达基础知识 无人 车涉及了包括高精地图、 实时定位 ,以 及障碍物检测 等 多个技术 ,而 这些技术都 离不开光学雷达 。 本节简单介绍光学雷达的工作原理,特别是产生点云的过程 [I ] 。 2.2.1 工作原理 光学雷达( Light Detection And Rangin g, LiDAR )是 一 种光学遥感技术,它通过首先 向目标物体发射一 束激光 , 然后根据接收一反射的时间间隔确定目标物体的实际距离 。 然 后根据距离及激光发射的角度 ,通过简 单的几 何变化推导出物体的位置信息 。 由于激光的 传播受外界影响小 , LiDAR 能够检测的距离 一 般可达 IOOm 以上 。 与传统雷达使用无线 电波相比较, LiDAR 使用激光射线,商用 LiDAR 使用的激光射线波长 一 般在 600~ IOOOnm, ....... 22 2 光学雷达在无人驾驶技水中的应用 于一 远远低于传统雷达所使用的波长 。 因此 , LiDAR 在测量物体距离和表面形状上可达到更 高的精准 , 一 般精准度可以达到厘米级 。 Li DAR 系统一般分为 三个部分 : 第一部分是激光发射器 , 发射出波长为 600-lOOOnm 的激光射线 ; 第二 部分是扫描与光学部件 , 主要用于收集反射点距离与该点发生的时间和 水平角度( Azimuth );第 三 部分是感光部件 , 主要检 测返回光的强度 。因 此, 我 们检测到 的每一个点都包括了空间坐标信息( x, y, z )及光强度信息< i >。光强度与物体的光反射度 ( reflecti v ity )直接相关,所以从检测到的光强度我们也 可以对检测到的物体有初步判断 。 2.2.2 什么是点云 无人车所使用的 LiDAR 并不是静止不动的 。 在无人车行驶的过程中, LiDAR 同时以 一 定的角速度匀速转动,在这个过程中不断 地发出激光并收集反射点的信息,以便得到 全 方位的环境信息 。 LiDAR 在收集反射点距离的过程 中也会同时记录下该 点发生的 时间和 水平角度( Azimuth ) , 并且每个激光发射器都有其编号和固定的垂直角度,根据这些数据 就可以计算出所有反射点的坐标 。 Li DAR 每旋转一周 , 收集到的所有反射点坐标的集合 就形成了点云( Point Cloud ) 。 如图 2-2 所示, Li DAR 通过激光反射可以测出和物体的距离( distance ),因为激光 的垂直角度是固定的 , 记作 α ,这里我们可以直接求出 z 轴坐标为 sin ( α ) · distance 。 由 cos( a) · distance 可以得到 distance 在砂平面的投影 , 记作乓y_dist 。 LiDAR 在记录反射点 距离的同时也会记录下当前 LiDAR 转动的水平角度 b , 这样根据简单的集合转换就可以 得到该点的 x 、 y 坐标分别为 cos(b) · 乓y_dist 和 s in(b) · 乓y_dist 。 z ; -·…··: :λ...·… LIDAR x 图 2-2 点云产生的坐标示意图 23 ... I 第 一 本无人驾驶技术书 2.3 LiDAR 在无人驾驶技术申的应用领域 本节介绍光学雷达是如何应用在无人驾驶技术中的,特别是面向高精地图的绘制、基 于点云的定位,以及障碍物检测。 2.3.1 高清地图的绘制 这里的高清地图不同于我们日常用到的导航地图。高清地图是由众多的点云拼接而成, 其主要用于无人车的精准定位 。 高清地图的绘制也是通过 LiDAR 完成的 。 安装 LiDAR 的地图数据采集车在想要绘制高清地图的路线上多次反复行驶并收集点云数据 。 后期会经 过人工标注,首先将过滤一些点云图中的错误信息,例如由路上行驶的汽车和行人反射所 形成的点,然后对多次收集到的点云进行对齐拼接形成最终的高情地图 。 [ 2] [3] 2.3.2 基于点云的定位 首先讲讲定位的重要性 。 很多人都有这样的疑问:如果有了精准的 GPS ,就知道了 当前的位置,还需要定位吗?其实不然 。 目前高精度的军用差分 GPS 在静态时确实可以 在“理想”的环境下达到厘米级的精度 。 这里的“理想”环境是指大气中没有过多的悬浮 介质而且测量时 GPS 有较强的接收信号 。 然而,无人车是在复杂的动态环境中行驶,尤 其在大城市中,由于各种高大建筑物的阻拦。 GPS 多路径反射( Multi-Path )的问题会更 明显 。 这样得到的 GPS 定位信息很容易就有几十厘米甚至几米的误差 。 对于在有限宽度 上高速行驶的汽车 , 这样的误差很有可能导致交通事故 。 因此,必须要有 GPS 之外的手 段增强无人车定位的精度 。 上面提到过, LiDAR 会在车辆行驶的过程中不断地收集点云来了解周围的环境 。 我 们可以很自然地想到利用这些观察到的环境信息帮助我们定位[ 4] [5] [6] [7] [8 ] 。 可以把这个问 题用下面这个简化的概率问题表示 : 已知 lo 时刻的 GPS 信息, t。时刻的点云信息,以及 无人车 t , 时刻可能在的三个位置 : P , 、 P2 和 P3 (这里为了简化问题,假设无人车会在这 三个位置中的某 一 个)。求 t , 时刻车在这三点的概率 。 根据贝叶斯法则,无人车的定位问 题可以简化为下面这个概率公式 : P(Xt) ::::: P(ZtlXt) • P(Xt) 右侧第一项 P(ZtlXt ) 表示给定当前位置,观测到点云信息的概率分布 。 其计算方式一 般分为局部估计和全局估计两种。局部估计较简单的做法就是通过当前时刻点云和上 一 时 、_ 24 光学雷达在无人驾驶技术中的应用 丁一2 刻点云的匹配,借助几何上的推导,估计出无人车在当前位置的可能性。全局估计就是利 用当前时刻的点云和上面提到过的高清地图做匹配,可以得到当前车相对地图上某一位置 的可能性。在实际中一般会将两种定位方法结合使用 。 第二项R瓦7表示对当前位置的预 测的概率分布,这里可以简单地用 GPS 给出的位置信息作为预测。通过计算 P i 、 岛 和 P3 这三个点的后验概率 , 可以估算出无人车在哪一个位置的可能性最高。通过对两个概率分 布相乘,可以很大程度上提高无人车定位的准确度,如图 2-3 所示。 P(X,) ·· ι··· · ······ · ··· 图 2-3 基于点云的定位 障碍物检测 众所周知,在机器视觉中一个比较难解决的问题就是判断物体的远近,基于单一摄像 头抓取的 2 D 图像无法得到准确的距离信息,而基于多摄像头生成深度图的方法又需要很 大的计算量,不能很好地满足无人车在实时性上的要求。另一个棘手的问题是光学摄像头 受光照条件的影响巨大。 物体的识别准确度很不稳定 。 图 2-4 所示为由于光线条件不好, 导致图像特征匹配的问题:由于照相机曝光不充分,左侧图中的特征点在右侧图中没有匹 配成功。图 2 -5 中左侧图展示了 2D 物体特征匹配成功的例子 : 啤酒瓶的模板可以在 2D 图像中被成功地识别出来,但是如果将镜头拉远,如图 2-5 中右图所示 , 则只能识别出右 侧的啤酒瓶是附着在另一个 3D 物体的表面而已 。 2D 的物体识别由于维度缺失的问题很 难在这个情境下做出正确的识别 。 25 "' 2.3.3 -寸第一本无人驾驶技术书 图 2 -4 暗光条件下图像特征匹配的挑战 图 2 -5 2D 图像识别中存在的问题 而利用 LiDAR 生成的点云可以很大程度上解决上述两个问题,借助 Li DAR 本身的特 性可以对反射障碍物的远近、高低,甚至是表面形状有较准确的估计,从而大大提高障碍 物检测的准确度,而且在算法的复杂度上低于基于摄像头的视觉算法,因此更能满足无人 车的实时性需求 。 2.4 LiDAR 技术面临的挑战 前文我们专注于 LiDAR 对无人驾驶系统的帮助,但是在实际应用中, Li DAR 也面临 着许多挑战 。 要想把无人车系统产品化,必须解决这些问题 。 本节讨论 LiDAR 的技术挑 战、计算性能挑战 , 以及价格挑战 。 2.4.1 技术挑战:空气中的悬浮物 LiDAR 的精度 也 会受到天气的影响 。 空气中悬浮物会对光速产生影响 。 大雾及雨天 都会影响 LiDAR 的精度 。 测试环境为小雨的降雨量小于 lO mm/h ,中雨的降雨量在 lOrnm/h ~ 25rnm/h ,如图 2-6 所示 。 ii.. 26 :i$;PDF仅是将室,书籍版仪归著者和出版社所苔 , 未经允许不能在网上传锚, 如高需要, i音尽窒购买正版实体书,以表示对知识的尊重!实在育必要获 阪完整版本PDF,i青联系QQ:2415996420,谢谢! 2415996420
还剩35页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 10 金币 [ 分享pdf获得金币 ] 2 人已下载

下载pdf

pdf贡献者

mozai

贡献于2018-06-13

下载需要 10 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf