学校名称

新利luck在线·（中国）有限公司官网

学生姓名

学  号

专      业

性 别

入学年份

贺佐强

201554080231

通信工程

男

2015

郭开敏

201558080101

网络工程

女

2015

罗选强

201654080130

通信工程

男

2016

章锐

201630010229

计算机科学与技术

男

2016

刘灵坤

201756110207  

计算机科学与技术

男  

2017

指导教师

熊兵/桂彦

职称

副教授/讲师

项目所属

一级学科

计算机科学技术

项目科类(理科/文科)

理科

学生曾经参与科研的情况

本项目组成员均为新利luck在线·（中国）有限公司官网学生，他们勤奋好学，喜欢钻研计算机硬件与程序设计，对物联网应用开发有着浓厚的兴趣。项目组成员已经在创新实验室学习掌握了嵌入式开发技术，已经有了本项目开发所需的专业技术能力。项目组成员具体介绍如下：

贺佐强：计算机与通信工程学院2015级学生，曾参与开发智能垃圾桶、智能出行盲杖等IT创新作品，并荣获中国大学生计算机设计大赛全国二等奖、中国大学生智能设计大赛三等奖、湖南省大学生物联网应用创新设计大赛三等奖、湖南省大学生程序设计竞赛应用开发类三等奖。掌握51单片机/STM32裸机开发、熟悉linux操作系统下的设备驱动开发，积累了较丰富的嵌入式开发经验，拥有良好的团队合作精神。

郭开敏：计算机与通信工程学院2015级学生，学习认真努力，连续两学年获校奖学金。同时担任院分团委学生会分团委副书记，责任感强，有良好的组织协调与团队合作能力，曾参加新利luck在线·（中国）有限公司官网物联网大赛并获团队一等奖，参加湖南省第十三届“中仁教育杯”计算机程序设计大赛获团队三等奖。

罗选强：计算机与通信工程学院2016级学生，学习能力强，有较强的团队合作精神。熟悉51单片机和stm32系列芯片编程，曾参加新利luck在线·（中国）有限公司官网“物电杯”比赛和“IT创意设计大赛”，参与的“盲人的第三只眼”和“空气净化器”均荣获二等奖。

章锐：计算机与通信工程学院2016级学生，学习认真，有较好的团队合作精神，基本掌握了C/C++，曾参加2016-2017年计算机与通信工程学院卓越工程师创新课题《基于图像融合技术的真实场景重现系统设计与实现》，并已顺利结题。

刘灵坤：计算机与通信工程学院2017级学生，基本掌握了C/C++，学习踏实，有一定动手能力和团队责任感，曾参加2017年新利luck在线·（中国）有限公司官网ACM新生赛。

指导教师承担科研课题情况

熊兵，男，1981年生，博士，副教授，硕士生导师，主要研究方向：未来网络、网络安全、物联网。2009年12月博士毕业华中科技大学计算机科学与技术学院，获计算机应用技术专业博士学位，2010年3月进入新利luck在线·（中国）有限公司官网计算机与通信工程学院任教，2010年5月认定为讲师，2016年12月晋升为副教授。以第一作者身份在《Computer Networks》、《Journal of Network and Computer Applications》等国际高水平期刊上发表论文十余篇。目前主持的科研项目有：

[1] 国家自然科学基金青年项目 ,SDN数据平面中大规模流表的高性能查找方法研究(61502056)，23万，2016.1-2018.12，主持；

[2] 湖南省自然科学基金青年项目，软件定义网络架构下虚拟流表高性能查找方法研究（2015JJ3010），4万，2015.1-2017.12，主持；

[3] 湖南省教育厅科学研究优秀青年项目，SDN架构下大规模OpenFlow流表查找方法研究（15B009），5万，2015.9-2018.9，主持；

[4] 湖南省教育厅科学研究一般项目，高速网络环境下恶意行为检测关键问题研究（11C0036），1万，2011.9-2013.9，主持；

[5] 新利luck在线·（中国）有限公司官网人才引进基金，面向高速网络的数字取证模型及关键技术研究，8万，2010.6-2012.6，主持；

[6] 中冶长天国际工程有限责任公司，烧结球团能效计算软件系统开发，11.8万，2014.3-2014.9，主持；

[7] 长城信息金融设备有限公司，金融IC卡互联网终端安全接口包研发，4万，2012.3-2012.9，主持。

桂彦，女，1985年生，博士，讲师，中国计算机学会(CCF)会员，主要研究方向为：计算机图形学、计算机视觉、可视媒体智能编辑与处理等。以第一作者身份在《The Visual Computer》、《Journal of Zhejiang University - Science C (Computers & Electronics)》等国际高水平期刊以及CGI2010、VRCAI2011、COMPSE2016等国际会议上发表论文10篇，其中SCI收录论文4篇，EI收录论文6篇。目前主持的科研项目有：

[1] 国家自然科学基金青年项目 , 利用外观相似性和全局拓扑结构的重复元素提取与合成技术研究(61402053)，24万，2015.1-2017.12，主持；

[2] 湖南省教育厅科研项目，基于DNN的灰度图像彩色化在图像编辑处理中的应用研究，1万，16C0046，2016.9-2018.9，主持。

项目研究和实验的目的、内容和要解决的主要问题

一、研究目的

中国是全世界盲人最多的国家。根据世界卫生组织数据：2010年，中国盲人824.8万，低视力人口6727.4万，视力残疾人口是两者的总和7551.2万，每年在中国约有45万人失明。假定按照目前的趋势保持不变，到2020年预期中国盲人将增加4倍。然而，由于相关政策缺失、盲道建设不合理、国内导盲犬培训水平有限且周期太长等等原因，视障人士面临着很大的生活阻力，以致我们在日常生活中很难见到盲人的身影。

近年来，物联网技术的不断成熟和智能硬件的日益兴起，为解决视障人士出行问题提供了新的解决思路。我们可以对视障人士的常用生活辅助工具——盲杖进行改造，赋予智能，使其更好地解决盲人出行过程中遇到的各种问题。为此，本团队以传统的盲人手杖为载体，引入智能物联技术，设计并研制一款智能导航盲杖，以解决视障人士的出行问题，让其更好地融入大众生活。

二、研究内容

针对视障人士无法识辩道路状况这一根本问题，本团队拟研制一款基于盲道识别的智能导航盲杖。首先在盲杖上嵌入摄像头代替盲人的眼睛，然后采集并分析图像，检测并识别路况（盲道），以弥补盲人的视觉缺陷。在此基础上，通过加载GPS模块、超声波模块、GSM模块、NRF模块等传感器，实时获取地理位置，感知周围环境，进而实现语音导航、障碍物提醒、紧急呼叫、无线寻杖等功能。智能导航盲杖的系统逻辑结构如图1所示。

图1.系统逻辑结构图

智能导航盲杖以盲道识别功能为核心，包括语音导航、障碍物提醒、紧急呼叫、无线寻杖、后台管理五大功能。其中，盲道识别功能以盲杖所嵌入的摄像头为基础，通过采集路面（含盲道）图像信息，利用图像识别算法在对图像中的盲道进行检测和识别，以便进一步为盲人提供精准的导航服务；语音导航功能在利用GPS模块与WIFI相结合进行精确定位的基础上，通过内置地图提供的接口计算导航路线，进而结合盲道识别功能为盲人实现精确导航；障碍物提醒功能通过超声波模块检测障碍物，并实时测距，进而通过蓝牙耳机及时播报提醒盲人，以保障盲人的行走安全；紧急呼叫功能通过GSM模块支持与监护人或常用联系人的及时通信，同时也方便盲人在遇到突发状况时，能在第一时间与监护人取得联系；无线寻杖功能采用NRF模块，通过随身携带的遥控器控制盲杖发出声响，以确定盲杖位置，从而快速找到盲杖；后台管理模块负责接收并管理盲杖的实时状态数据，为监护人提供盲人的实时位置、历史轨迹等信息，此外还可提供常用地址管理。

三、要解决的主要问题

依据上述系统构建方案，综合本项目组已经实现了的技术，需要重点解决如下关键问题：

1. 盲道识别算法的鲁棒性问题：目前，盲道的建设与施工标准并不统一，如新式的有明显的色彩与纹理特征、老式的仅有条状或点状纹理特征等。另外，盲道上可能存在部分脏污、损坏、乃至障碍物遮挡的情况。因此，盲道识别算法应该具有鲁棒性，能够消除现实场景中各种异常情况的干扰，正确识别盲道。

2. GPS定位漂移问题：电离层和对流层对GPS信号的延迟、卫星时钟误差、星历误差及多径效应等因素导致GPS获取的坐标出现漂移现象。考虑通过自相关系数校正法判断是否出现定位漂移，通过速度或加速度的归一化自相关系数曲线的尖峰，根据相关程度判断出现漂移的位置，删除相关的奇异点数据，并同时进行修正，进而降低定位漂移。另外，系统还考虑通过周围wifi热点辅助定位，进一步提高定位精确度。

3. 系统供电问题：由于系统搭载了多个传感器，同时图像处理算法需要CPU高速运转，所以提供电源的电路必须考虑到减少功耗、限流保护、防雷脉冲保护、兼容多种类型电源等方面的因素。

4. 后端管理系统的设计：后端需要同时与众多的盲杖保持通信，实时收集盲杖状态数据，并及时响应盲杖发出的请求。随着盲杖用户的增加及出行次数的增多，数据并发量和历史数据量都会显著增长，后台管理系统需要精心设计，以保证系统正常稳定运行。

5. 盲杖外观设计：智能导航盲杖搭载了多个传感器，需要考虑传感器如何合理的嵌入杖体及嵌入位置，最终使得盲杖整体外形美观实用。

国内外研究现状和发展动态

一、 国外动态

    早在2010年5月，日本秋田县立大学副教授刚按光博开发了一款电子导盲杖，在秋田县举行的日本全国盲人福利大会上公布。在国外盲杖发展的历程当中，最具代表性的有：带有面部识别的“XploR盲杖”、能让使用者绘制出心理地图的“智能导盲仪”。

1.XploR盲杖

美国伯明翰城市大学3名学生借助智能手机技术发明的XploR盲杖，有望让盲人解决错过熟人的问题。这种智能盲杖里有一些特殊的部件。首先是个摄像机，只要有人走近，进入它的“视野”(比如10米距离)，它就扫描来人的面孔；而盲杖内置的面部识别软件会提取来人面容的诸多识别特征，与配套的数据库进行比对。其识别示意图如图2所示。

图2 XploR盲杖识别示意图

数据库装载在盲杖里一张SD卡中，内有盲杖使用者的亲戚朋友、老师医生等一应熟人的照片资料。来人的脸一旦与照片库有匹配，盲杖判定有熟人靠近，它就会振动报告。盲杖借助蓝牙，与使用者的耳机连接，报告是谁来了。更特别的是，盲杖还会在GPS的辅助下，为使用者导航，一步一步向熟人靠近。

2.智能导盲杖

该导盲杖内置GPS功能，盲人在外出的时候走过一些自己有特殊记忆的地方按下按钮记录，盲杖会记录并拍下该点照片，使用者还可以语音输入提醒自己的话。在下次经过该点的时候盲杖会震动，并语音提醒，帮助盲人回忆和记忆，经过记录点的积累让使用者形成心理的空间地图，让盲人能更自信的出行。智能导盲杖的概念图如图3所示。

图3智能导盲杖概念图

盲杖上的摄像头可在盲人外出遇到困难的时候，通过盲杖把路况等信息传给亲友的手机上，让他们帮助盲人更好的出行。在盲人外出时，亲友想了解盲人的状况可以通过GPS定位了解外，还可以连接到盲杖的摄像头上，更直接的了解盲人出行状况。盲杖上的摄像头还可以全程拍下出行的视频记录，盲杖上还带有无线耳机，在人多嘈杂的地方可以用耳机。

二、 国内动态

    在2011年的清华大学的“Bright Eyes 智能盲道系统”曾引起过人们的关注，该作品集盲道的识别、路线规划，蓝牙功能于一体，为盲人的出行带来了极大的帮助。而“我是你的眼”智能盲杖和“杖，非障”智能盲杖是最近几年最具代表性的智能盲杖。

1.“我是你的眼”智能盲杖

这款盲杖在最下面多了一个方盒子，安装有万向轮，实物图如图4所示。可以毫不费力的推着盲杖前行，盲杖前方一根像钟摆一样不断来回摆动的“触角”，这根用碳纤材料制成的“触角”是扫动传感器，每当检测到前方有障碍物时，“触角”就会发出语音提示。该盲杖还配备了一个小型遥控器，只要按动按钮，盲杖就会发声：“您的拐杖在这里。”如果光线不足，盲杖还会自动亮灯，提示过往车辆和行人注意。

图4基于盲道识别的智能导航盲杖实物图

2.“ 杖，非障”智能盲杖

这款盲杖集超声波避障、太阳能电池充电和GSM基站定位等特点于一体。工作时，它通过超声波传感器监测盲人面前的障碍物和其距离，进而发出警报声提醒盲人提前规避障碍物。它采用太阳能电池和电源适配器混合供电，在户外使用时太阳能电池可以向锂电池供电，闲置时可由电源适配器供电。它采用了GSM基站定位技术后，当盲人迷路走失时，家人可以通过向盲杖发送短信获取盲人的位置，减少危险的发生。

本项目学生有关的研究积累和已取得的成绩

一、有关研究积累

本项目组以stm32f103c8t6作为主控芯片，目前已经开发了一款智能盲杖原型如图5所示，后台管理界面如图6所示，主要实现了以下几个功能。

图5 智能盲杖

(a) 常用地址管理                           (b)轨迹查询

图6 后台管理界面

（1）障碍物探测功能：当视障人士行走路径的前方0.6m处有障碍物时，手杖便立即以语音播报的方式提醒视障人士避开障碍物。

（2）实时定位功能：视障人士独自外出时，其家人可通过监护端查看其实时位置，如出现走失情况则可第一时间找到其具体位置，避免其出现意外。

（3）语音导航功能：视障人士单独出行时，可通过手杖导航去往目的地，智能手杖通过语音播报提示视障人士行走方向，解决了视障人士使用智能手机导航困难的问题。

（4）紧急呼叫功能：视障人士在遇到紧急情况或需要帮助时，可通过此功能一键呼叫其家人电话，得到其家人的及时帮助。

（5）后台管理功能：云服务端负责接收智能手杖的状态数据，并为其提供导航等服务。监护端基于云服务端收集的数据，为监护人员提供视障人士的实时位置查看、历史轨迹查询、出行信息管理等功能。

二、已取得成绩

1. 2017年第十届中国大学生计算机设计大赛一等奖

2. 2017第七届“华为杯”中国大学生智能设计竞赛二等奖

3. 2017年第十三届湖南省大学生计算机程序设计竞赛应用开发类三等奖

项目的创新点和特色

1. 盲道识别功能：基于图像识别的智能出行盲杖解决了盲人在外出行过程中，对所处环境一无所知，对路况感知太过薄弱的问题，它能通过摄像头采集路况信息，分析处理后进行语音播报道路实时信息，达到精准立体导航，盲人出行安全得到更进一步保障

2. 语音导航功能：盲杖GPS模块用于获取卫星定位坐标，raspberry pi 3b通过手机热点连接到互联网后将实时坐标与目的地坐标发送到后台服务器，通过与后台进行信息交互，对盲人出行路线精确导航，所得规划路线信息将通过方便携带的蓝牙耳机播报给盲人，同时在服务器端将会实时显示盲人所处位置，监护人可及时准确的获取盲人位置信息，为盲人安全再加一层保障。

3. 障碍物检测与提醒：在行进中遇到障碍物时，超声波模块及时感知，语音播报提醒盲人避让，保障盲人安全。

4. 无线寻杖功能：盲人按下相应按键，主控单元与相应模块近距离无线通信后，控制语音模块语音提示盲人帮助其寻找离手的盲杖，解决手杖离手后视障人士寻取困难的问题。

5. 紧急呼叫功能：盲人按下相应按键，盲杖通过GSM模块完成与视障人士与常用联系人的通信，使其在遇到突发状况时可以第一时间与外界取得联系从而寻求帮助

项目的技术路线及预期成果

一、技术路线

本项目拟开发的智能导航盲杖以rasberrypi 3b为主控芯片，搭载摄像头、GPS模块、超声波模块、GSM模块、NRF模块,实现盲道识别、语音导航、障碍物提醒、紧急呼叫、无线寻杖等功能。智能导航盲杖的物理硬件部署如图7所示。

图7 盲杖硬件部署图

(一) 盲道检测识别

盲道检测识别部分主要摄像头模块和图像处理算法部分组成，由摄像头模块提供实时路面情况并交由图像处理算法进行处理，如图8所示。整个图像处理算法是先由预处理模块处理输入图像，再由图像分割模块进行分割，最后由边界检测模块检测盲道边界。

图8 盲道检测识别处理流程

1) 预处理模块

色彩空间转换：由于目前生活中不同盲道的差异极大，因此它们的分析方法以及解决方案也是非常不一样的。虽然系统采集到的图像是彩色的，但是为了处理方便，通常会将之转化成单通道的一维的灰度图片进行处理。然而，这一转化过程中却将图片中的大部分颜色信息都丢失了，甚至有一些人眼看起来很明显的差异，在转成灰度图后却儿乎分辨不出来了。

Lab色彩空间是颜色-对立空间，带有维度L表示亮度，a和b表示颜色对立维度，基于非线性压缩的CIE色彩空间坐标。不像RGB和CMYK色彩空间，Lab色彩空间被设计来接近人类视觉。因此，对于有颜色差异的盲道图像，将把它转化成Lab色彩空间，然后再做处理。

由于RGB色彩空间无法直接转换成Lab色彩空间，需要先转换成XYZ色彩空间再转换成Lab色彩空间，略去中间过程，RGB色彩空间转换成XYZ色彩空间的公式如下：

注:上述转换过程中使用了Gamma函数，用来对图象进行非线性色调编辑，目的是提高图像对比度，该函数不唯一。

XYZ色彩空间转换成Lab色彩空间的公式如下：

其中， ,取值分别为95.047、100.0和108.883。

高斯平滑与灰度级图像下扩展形态学操作：由于对所有的盲道图像的分割目标都是盲道区域与人行道区域，因此，可以舍去小面积的分割结果，并且尽量地把小区域合并成大块的区域。在预处理阶段为了减少分割时产生的小区域干扰最终的聚合结果，可以对图像进行如高斯平滑等方式的处理。

在一些情况下，高斯平滑可能达不到预期的效果，此时可以采用灰度级图像下的扩展形态学操作。在二值图像中，对Z中的集合A和B使用B对A进行腐蚀，用表示，并定义为：

也就是说，使用B对A进行腐蚀是所有B中包含A中的点Z的集合用Z平移。

将腐蚀操作扩展到灰度级图像。假定f（x,y）是输入图像，而b(x,y)是一个子图像函数，并且它们都是离散函数。则定义灰度腐蚀为：

其中，分别是f和b的定义域。

整个预处理流程如图9所示。

图9 预处理流程

经过上述处理后，在进一步的阈值分割或者纹理分割中都能取得更精确的结果。

2) 图像分割模块

对于不同的盲道而言，所采用的分割策略是不同的，如对于有明显颜色特征的盲道而言，采用基于阈值的分割就能够获得很好的效果，但对于只具备纹理特征的盲道，则需要采用其他的分割方式。

a) 基于阈值的分割

对于和周围取余有明显色彩特征的盲道，可以采用基于阈值的分割方式来进行快速分割。阈值分割就是简单地用一个或几个阈值将图像的灰度直方图分成几个类，认为图像中灰度值在同一个灰度内的像素属于同一个区域。这是一种直观且易于实现的方法，因此在图像分割应用中处于中心地位。

由于在实际的盲道分割应用中往往涉及的场景较为复杂，因此通过预设阈值的方式来实现分割的方法在实际应用中效果无法达到预期要求，采用Ostu（最大类间方差法）进行阈值分割是一种较好的解决方案，具体如下：

输入图像中所有灰度值的统计信息可以用一维直方图来表示，该直方图用来表示。可以看成是对背景和对象物的混合概率密度函数的一个估计。对阈值，记:

定义类间差以及类内差：

在上述的基础上，Ostu可以通过最大化下列式子来选取最佳阈值t:

经阈值处理后的图像f(x,y)定义为：

由于盲道图像都是有着大块的连续区域，因此大多数情况下阈值分割都可以得到不错的效果。

b) 基于纹理差异的分割

有些盲道图像由于各种各样的原因，它们的不仅没有颜色差异，甚至在转成灰度图或Lab色彩空间下，各个分量的强度都没有显著和区域性差异。对于这种情况，需要采用基于纹理差异的分割方法。

利用纹理分割的方法将这一类盲道图像分割出来需要做到两点，第一，描述盲道的纹理特征，第二，利用这些纹理特征进行选择，将图像分块。

i. 纹理特征描述

盲道纹理特征的描述可以通过一种改进的排列组和熵获得，该算法流程如下：

(1) 将整幅图像分成4×4像素块的集合；

(2) 以4×5像素块为中心取大小为16×16的窗口；

(3) 分别设置4个方向上的松驰变量;

(4) 在16×16的窗口中，分别对4个方向上间距为1的像素对进行统计，计算3种排列情况出现的概率，最后获取各个方向上的排列组合熵);

(5) 计算16×16窗口中像素块的灰度均值E和灰度方差D；

(6) 用这个6维特征矢量作为表述图像纹理特征的量。

ii. 聚类方法

在能够描述盲道的纹理特征之后，即可以选用合适的聚类方法来确定分割结果，可以采用K-means聚类、模糊C-均值聚类（FCM）等方法，以K-means聚类方法为例，典型流程如下：

(1) 从图片中随机选取K个作为质心；

(2) 对剩余的每个像素测量其到每个质心的距离，并把它归到最近的质心的类；

(3) 重新计算已经得到的各个类的质心；

(4) 迭代2～3步直至新的质心与原质心相等或小于指定阈值，算法结束。

整个图像分割流程如图10所示。

图10 图像分割流程

3) 边界检测模块

a) 边缘检测

一般的，图像中的边缘部分是两个不同子区域的交接处，体现在图像中的数字信息上，边缘部分是图像的强度变化最剧烈的部分。图像的强度变化程度指的就是图像中的点像素间的离散导数值。因此大部分边缘检测的算法都是基于对对应于图像的函数f(x,y)的求导和阈值化结果。

由于图像函数f(x,y)都是离散的，因此一幅数字图像的一阶导数是基于各种二维梯度的近似值的，图像f(x,y)在位置(x,y)的梯度定义为下列向量：

梯度向量的大小表示为：

计算图像的梯度可以用不同的梯度算子得到，应用在下图 所示的图像领域和Sobel算子可以得到z5的检测结果为：

Z₁

Z₂

Z₃

1

2

1

1

Z₄

Z₅

Z₆

2

Z₇

Z₈

Z₉

1