（一） 项目简介
为了增强车辆对外界环境的感知能力，提高车辆智能驾驶能力，我们计划设计研发一款基于多传感器融合的车辆避障算法。
我们的算法系统分为两个部分，一是环境感知，二是智能决策。汽车通过激光雷达、摄像头等模块，获取外界路况信息，对道路障碍物进行识别。经过预测模块的计算，生成预测轨迹。反馈控制模块将轨迹点信息转化为车辆油门、刹车、方向盘等信息，实现对车辆的控制，使其按预定轨迹进行行驶，实现对道路的识别以及智能避障。
（二） 研究目的
随着汽车数量的增加，在给人类生产和生活带来舒适与方便的同时，交通事故也在不断增加，据资料统计，世界上平均每分钟就有一个人死于交通事故，让我们付出惨重的代价。随着科技的进步，智能汽车能够自动避开道路中出现的行人和障碍物，对于减少交通事故的发生保证人们的生命安全具有相当重要的意义。
在“中国制造2025”重大战略部署中，对无人驾驶技术提出了高标准的要求。无人驾驶汽车的研究能够极大提高交通安全,而动态障碍物检测跟踪、动态障碍物识别和动态车辆轨迹预测是无人驾驶汽车动态障碍物避撞涉及到的三项关键技术,不解决这些关键技术中存在的问题，无人驾驶智能车就无法在真实的交通环境中使用。
图2-1 大型车辆追尾事故
我们的无人车避障项目旨在通过多传感器的协同使用，让小车对当前路段的障碍物进行识别，并进行及时避让，来实现智能避障。同时我们的团队也能紧跟互联网科技的最前沿，学习和研究最新的专业知识，努力提升自己的专业水平及提升团队的协作能力。
（三） 研究内容
一、调研
分析当前主流的无人车技术路线及优缺点，确定所选用的技术方案。
2018年3月23号，一辆蓝色的特斯拉Model X在进行自动驾驶时，撞上中间隔离栏后汽车发生起火，之后又被车道后方驶来的一辆马自达和一辆奥迪相继撞上。
图2-2 特斯拉无人车事故
这起事故是由于无人车所搭载的毫米波雷达探测距离低以及容易受天气的干扰，没有识别出前方静止或低矮的障碍物所导致的。所以我们拟使用激光雷达配合摄像头协同作用，来提高障碍物识别的准确度，避免此类事故的发生。
二、环境感知
（1）激光雷达是一种采用非接触激光测距技术的扫描式传感器，其工作原理与一般的雷达系统类似，通过发射激光光束来探测目标，并通过搜集反射回来的光束来形成点云和获取数据，这些数据经光电处理后可生成为精确的三维立体图像。
 
图2-3 激光雷达 图2-4 激光雷达内部结构图
图 2-5 基于激光雷达的地图构建
（2）研究摄像头的使用，包括图像的获取、行人检测、车辆检测、距离测量。通过深度学习的方法，我们可以识别在行驶途中遇到的物体，比如行人、空旷的行驶空间、地上的标志、红绿灯以及旁边的车辆等。由于行人以及旁边的车辆等物体都是在运动的，我们需要跟踪这些物体以达到防止碰撞的目的。
图2-6摄像头
光流分析法：目标与摄像头之间发生相对运动的时候，摄像头所拍摄到的目标表面上的亮度会随之变化。光流法主要有三个必要的组成要素，首先，检测对象与摄像头之间必须存在相对的运动。其次检测目标必须具备有很明显的光学特点。最后，必须能够形成空间之间的投影关系，只有这样图像坐标上的点才能与世界坐标系上的点相互对应起来，才可以使目标被检测出来。
边缘检测：主要用来滤除图像中灰度信息产生的突变。它具有方向和幅度，与边缘相平行的灰度值一般不会产生剧烈的变换，而与其相垂直的方向，灰度值的变化就会有很明显的突变，因此依据边缘周边灰度值的变换幅度就可以利用微分算子顺利的将边缘提取到，进而识别障碍物，进行避障动作。目前比较常用的微分算子主要有两种，一阶导数微分算子主要检测的是边缘的最大值，而二阶导数微分算子主要检测的是边界的过零点。
图2-7障碍物边缘检测
三、智能决策
决策规划控制部分，包含了无人车行为决策、动作规划以及反馈控制这三个模块。
感知模块负责从传感器数据中探测计算出周边环境的物体及其属性，这些物体信息经过预测模块的计算，生成预测轨迹传递给决策规划控制系统中的行为决策模块，动作规划模块负责具体的无人车的规划问题。反馈控制模块直接与无人车底层控制接口对接，负责消化上层动作规划的输出轨迹点，结合车身属性和外界物理因素的动力学计算，转换成对车辆油门、刹车、方向盘的信号，反馈控制模块主要涉及对车辆自身控制，以及和外界物理环境交互的建模。其流程如图2-8所示。
图2-8 小车控制流程图
（四） 国、内外研究现状和发展动态
1、国内外研究现状：
随着技术的发展与时代的进步，汽车行业正在朝着智能化方向发展。而无人驾驶就是汽车智能化发展方向最重要的表现形式。无人驾驶汽车主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶，是计算机科学、模式识别和智能控制技术高度发展的产物，也是衡量一个国家科研实力和工业水平的一个重要标志，在国防和国民经济领域具有广阔的应用前景。而智能避障作为智能驾驶这一技术的重难点，避障算法的优劣直接决定着无人驾驶汽车的行驶是否安全，因而成为众多无人驾驶汽车研发团队的首要攻克对象。
美国特斯拉公司所研发的特斯拉Model S可实现自动泊出车库、自动保持跟车、自动更换车道与自动泊入车位这四大功能。依靠毫米波雷达和双目摄像头的配合作为感知系统，可自动更换车道，实现智能避障。
在我国， 清华大学研制成功了THMR-V型自主车辆，它不仅能够在高速公路上行驶，还可以在普通的道路上行驶。采用道奇7厢式汽车作为其车体，如图2-9所示。应用彩色摄像机和激光测距仪作为其环境感知系统，另外还应用了差分GPS、磁罗盘和光码盘作为其定位系统。依靠两套计算机系统对视觉信息进行处理，完成数据的融合以及行驶路径的规划。它已经可以在校园内的道路上行驶和避障。
图2-9 清华大学THMR-V型无人车
2、发展动态：
对于车辆在行驶过程中的障碍物检测是车辆感知道路环境信息研究领域中极其重要的环节。近年来，国内在智能车辆的研究领域，针对道路环境中障碍物的检测方法研究，提出了相当多的处理算法和实施办法,针对障碍物的检测主要采用的方法有单目视觉、立体视觉、激光雷达和多传感器数据融合。
基于单目视觉对障碍物的检测技术,它主要通过安装车体上的单个摄像头，采集道路环境信息。结合图像处理技术对摄像头采集到的图像进行处理，通过分析和对比摄像头采集的连续几帧图像信息的变化来检测障碍物,该方法的优点采集到的道路信息比较丰富，不需复杂的图像匹配算法，因此计算量相对较小，且使用和维护起来比较方便。
基于立体视觉的障碍检测技术是自主行驶车辆研究中经常采用的一种。目前使用比较广泛的是双目和三目摄像机这两种,它的基本原理是:首先，采用参数性能比较相近的两个或者多个摄像机在不同的方向同时采集道路环境信息；然后，依靠立体匹配的方法获取障碍物体与图像间存在的视差；最后，根据障碍物在图像坐标系中的坐标、视差以及摄像机的内外参数求得车体前方障碍物的距离。这个方法的不足之处在于计算方法十分复杂，实时性比较差。障碍物的检测对系统的实时性要求非常高,经典的匹配算法不能够很好的满足其需求。
基于激光雷达的障碍物检测技术主要是通过车体搭载的激光雷达来对障碍物进行检测和定位。激光雷达主要应用在障碍物定位、速度计算和方位角测量等方面。但是,激光雷达技术也具有很多缺点，主要是体积过于庞大，使用维护复杂，设备造价高昂，其发射的激光束有较强的能量，这些因素都制约了激光雷达的广泛应用。
目前，自主行驶车辆主要采用的方法是机器视觉，依靠机器视觉获取道路环境的图像信息。图像的信息量十分丰富，主要通过改善图像处理的算法可以提高系统运行的实时性。图像信息对目标的描述十分完整，并且与人们的认知特点相同，所以其优势非常明显。此外摄像机的价格普遍较低，维护比较简单，并且可以将环境信息实时的记录下来供开发人员分析，其传输方式也有很多种，比如wifi、ZigBee和微波等。所以采用机器视觉采集和处理图像信息并对障碍物进行定位是非常值得研究的。当然，它也存在着各种不足，容易受光照的影响，图像信息很大对其计算比较耗时。
（五） 创新点与项目特色
1.采用实时系统采集激光雷达数据并进行三维成像；
2.采集摄像头的图像数据并通过光流和边缘检测算法来感知道路信息；
3.采用多传感器的方式提高准确度，改进融合算法来平衡实时性和准确性。
（六） 技术路线、拟解决的问题及预期成果
1、技术路线
（1）调研分析现状：通过网络、书籍等进行调查研究，分析当前智能车避障方法，查找当前避障算法的缺点和不完善之处，确定具体的研究方向，并做出具体的规划。
（2）模块调试：根据调研结果，确定环境感知系统所用模块，并分模块进行调试，在计算机上做初步分析。
（3）算法设计：确定图像处理算法和系统所用融合算法，将各模块数据进行数据融合，模拟道路环境。
（4）移植和整合：利用已有的嵌入式知识架构系统的硬件基础，对建立的模型和算法进行移植并整合，初步实现智能避障的功能。
（5）系统优化环节：进一步优化算法，让小车在平稳运行的情况下提高图像识别效率和优化数据融合。
2、拟解决的问题
（1）提高障碍物检测的实时性。车辆在正常行驶时速度较快，若障碍物的检测速率慢，则极大的威胁着行驶安全，因而需要提高系统的实时性。但由于传感器自身原因、CPU运行速度、算法复杂度等影响，限制着障碍物的检测速度。我们拟选用高速CPU与摄像头、激光雷达，并通过一定程度的降低图片像素来减少数据量，配合合适的算法来提高系统障碍物检测的实时性。
（2）提高障碍物检测的准确率。若车辆无法准确识别道路上的障碍物，则对行人、对其他车辆、对自身的安全都是一种极大的威胁。我们计划通过多传感器的协同使用来提高障碍物检测的正确率，同时通过提高图片画质，增加清晰度，来实现对障碍物的准确识别。
（3）平衡系统实时性与检测准确性之间的矛盾。一方面，要提高实时性，需尽量减少处理的数据量，另一方面，要增加检测的准确性，需要高精度的图片进行处理，配合多个传感器的数据来进行检测，而这又增加了数据处理所需的时间。我们将设计合适的融合算法，来实现两者之间的平衡。在保证障碍物检测的准确性的同时，又能在适当的时间进行识别判断，保证行车安全。
3、预期成果
（1）撰写项目总体报告。
（2）实现搭载激光雷达和摄像头的小车在存有障碍物的道路上自动行驶且能准确避障。
（3）申请软件著作权一项。
（4）争取公开发表论文一篇
（七） 项目研究进度安排
2019年度：
2019年2月到2019年5月，调研分析现状，确定具体路线，做出预期问题的解决方案。
2019年6月到2019年9月，搜集并学习参考文献，硬件系统设计及各功能模块调试。
2019年10月到2019年12月，载人车各模块调试，确保各个模块的正常工作，熟练掌握各个模块的应用。
2020年度：
2020年1月到2020年4月，组装载人车各模块并进行算法优化、小车结构优化。
2020年5月到2020年8月，在测试道路上运行，测试载人小车各模块是否能识别当前环境准确避障。
2020年9月到2020年12月，优化算法，使载人小车更快识别当前环境，做出更准确的判断，最后撰写论文并提交项目总结报告。
（八） 已有基础
1. 与本项目有关的研究积累和已取得的成绩
（1）本项目有关的研究积累：
① 在项目组成立之前，项目组中大部分成员曾参与设计过电磁循迹小车，熟悉小车的工作原理，并且在“恩智浦”智能车大赛中获得过优异成绩。
② 项目组成员已了解了小车的组成结构，能够利用驱动板来驱动电机的工作。同时对PID控制算法有过一定的研究，懂得调节PID参数的基本方法，实现用手柄控制小车行驶。如图2-10所示。
图2-10 小车实物图
③ 项目组成员在图像处理方面有深刻理解，参加过机器视觉方面的相关项目，通过摄像头取代人工对物料进行边缘检测，从而提高生产效率。并掌握激光雷达的工作原理，实现道路信息的采集，创建三维地图。
（2）学生已取得的成绩：
王俊杰：熟练掌握C语言和C++语言，熟练掌握STM32开发板，能应用K60单片机进行系统设计，能够使用Orcad和PADS绘制小车原理图与PCB图。参与过2018年华南赛区“恩智浦”智能车大赛两轮直立小车的设计和研发。
2018年新利luck在线·（中国）有限公司官网第三届“恩智浦杯”智能车大赛一等奖。
2018年新利luck在线·（中国）有限公司官网第十三届“物电杯”一等奖。
2018年新利luck在线·（中国）有限公司官网第十二届“电苑杯”二等奖。
2018年节能减排校园选拔赛二等奖。
唐俊：掌握C语言，C++编程语言，能够使用AD绘制小车原理图和小车PCB板，熟悉STM32 开发流程，开发过基于STM32的单火线取电开关，熟练应用opencv进行图像处理。
2018湖南省物联网大赛二等奖。
2018年新利luck在线·（中国）有限公司官网第十三届“物电杯”一等奖。
唐媛媛：熟悉掌握了stm32单片机的使用，学习了C、C++编程以及模电、数电知识，能够使用OrCAD绘制原理图和PADS绘制PCB板，参与过2018年华南赛区“恩智浦”智能车大赛两轮直立小车的设计和研发。
2018年新利luck在线·（中国）有限公司官网第三届“恩智浦杯”智能车大赛一等奖。
张炜健：擅于计算机编程，C/C++语言基础牢固。已基本掌握单片机相应的知识，对嵌入式开发与应用有一定的知识储备和动手实践能力。
2018年新利luck在线·（中国）有限公司官网第十三届“物电杯”一等奖。
侯鸿儒：能够熟练使用C语言、C++编程语言编写具有一定复杂度的程序，熟悉STM32单片机的使用。
2. 已具备的条件，尚缺少的条件及解决方法
（1）已具备的条件
本团队成员均有过一定的比赛、科研经历，在小车控制方面有经验，并且参加过机器视觉相关的项目，能熟练使用摄像头并进行图像处理的工作。
本团队独立设计了一辆载人小车，已经实现了在操作员的远程操作下在道路上正常行驶，利用安装在小车前端的摄像头获取道路信息，并与上位机进行实时的信息传输。
（2）尚缺少的条件
① 尚未进行摄像头与激光雷达的数据融合，多传感器的数据融合是我们算法的核心，利用传感器之间的协同作用来提高障碍物的检测正确率。
② 将预测轨迹点转化为车辆控制信息的准确度有待提高。由于车身属性和外界物理因素的影响，在轨迹点信息转化时存在一定的偏差，需要分析车辆的具体结构以及外界的具体环境。
（3）解决方法
① 广泛查阅资料，寻找合适的方法对多传感器的数据进行融合处理，提高车辆对外部环境的感知能力。
② 对小车物理结构进行建模，分析油门、刹车、方向盘之间的关系，并对外界物理环境进行分析，实现在不同环境下对小车的精准控制。
|
