一、研究的目的及意义
机器视觉是人类视觉的扩展和延伸。随着研究的不断深入，新的描述方式、求解手段的不断探索和创新以及微处理器性能的快速提高，机器视觉的研究必将会迎来一个更加繁荣的时代，机器视觉技术与产品将会被广泛地应用于更为复杂的场合。
近年来，随着国民经济快速增长、社会迅速进步和国力不断增强，银行、电力、交通、安检以及军事设施等领域对安全防范和现场记录报警系统的需求与日俱增，要求越来越高，视频监控在生产生活各方面得到了非常广泛的应用。虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但现有的视频监控系统通常只是录制视频图像，提供的信息是没有经过解释的视频图像，只能用作事后取证，没有充分发挥监控的实时性和主动性。为了能实时分析、跟踪、判别监控对象，并在异常事件发生时提示、上报，为政府部门及时决策、正确行动提供支持，视频监控的“智能化”就显得尤为重要。
由人盯着监视屏幕，人总有疲劳限度的。研究表明，监控操作人员盯着电视墙屏幕超过10分钟后将漏掉90%的视频信息。由于人工筛选数据的低效率和低可靠性，视频监控系统不能局限于被动地提供视频画面，要求集成智能算法，能够自动识别不同的物体，发现监控画面中的异常情况，实现不再要人去盯、用计算机代替人进行监控，即实现“自动监控”或“智能监控”。智能视频监控是基于机器视觉对视频信号进行处理、分析和理解，在不需要人工干预的情况下，通过对序列图像自动分析对监控场景中的变化进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，能在异常情况发生时及时发出警报或提供有用信息，从而有效地协助安全监管人员处理危机，并最大限度地降低误报和漏报现象，成为应对突发事件的有力辅助工具。
本项目研究成果的一个典型实际应用。湖南省共有2573个渡口，3468条渡船，渡口数量稳居全国第一。水运交通事故导致的人员伤亡、财产损失、环境污染、以及社会和政治影响不容忽视。最近几年，湖南省连续发生多起较大以上的水运交通安全事故，给人民生命财产安全造成了极为重大的损失。为解决渡口码头运营安全管理中的实际问题，用现代科技去替代“人海战役”，我们通过与湖南省水运管理局的反复沟通和到渡口码头调研，将重点研究从技术上保障自动识别督查客渡船“六不发航”制度中的“超载不发航”、“乘客不穿救生衣或不带浮具不发航”。超载判断是通过基于图像或视频的乘客检测与跟踪技术来实现的。由于现有架设在岸边的摄像头受气候、光照变化、乘客上下船时有互遮挡、雨伞和帽子的干扰、目标距离等因素影响，不少情况下采集到的视频质量一般，先天不足对乘客检测和跟踪是个挑战。在客渡船船舱顶部加装摄像头，获取船内图像，这样采集图像的质量受外界影响小，有利于提高识别准确率。
二、主要研究内容
基于指导老师在嵌入式系统、图像处理和模式识别领域的积累，针对各种智能监控系统的实际需求，我们研发的基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统可安装在汽车、船舶、地铁等交通工具内部，更加准确的自动识别所监视区域内部的情况。
我们研发的基于树莓派开源硬件平台与无线网络的嵌入式智能视频监控系统，摄像头现场采集图像，树莓派现场分析理解图像进行人员检测和计数，无线网络将识别结果传送给监控中心计算机。只有出现违章情况时，如客车超载、客渡船乘员超载和未穿救生衣等，才将监控区域的图像传送给监控中心服务器并将违章代码传送到相关人员手机上，减少了传输数据量。通过嵌入式系统的使用，可以在现场进行乘员检测与计数、行人检测与姿态估计等，第一时间发现违章现象，从而进行有效监管，具有较高的实用价值。
（1）熟悉树莓派的硬件结构及其性能，掌握构建基于树莓派的应用系统硬件，利用板载的GPIO通用接口、I2C总线接口、SPI总线接口、串口等外部设备接口扩展树莓派的功能。
（2）基于安装在监控现场的通用USB摄像头或树莓派专用CSI摄像头，设计开发运行在树莓派上的图像和视频采集程序模块，并设置摄像头的帧频、视频压缩格式和图像参数等。
（3）基于（2）中采集的图像，研究行人检测与跟踪、乘员检测和计数、人脸检测与识别、计数等算法。算法运行在树莓派上，能够理解图像的内容，能准确定位到人。采用开源的计算机视觉函数库（C/C++使用OpenCV），实现这些程序模块以及开发接口支撑其扩展。
（4）采用TCP/IP协议或Socket编程，将（3）中的图像内容分析结果传回的远程监控中心电脑，中心电脑对其远程控制。若监控现场出现异常现象，则将现场图像也传回，起到取证的作用。
（5）设计实现运行在监控中心电脑或监控人员手机上的程序，接收来自树莓派的采集图像并实现屏幕显示和文件保存，实现远程智能视频监控。
三、主要研究成果
搭建基于树莓派与多种网络连接方式的硬件系统；开发嵌入式智能视频监控软件系统（包括树莓派前端、基于PC或移动终端的后端）；具有适应各种网络的稳定传输能力，并能实时接收请求，给出响应；综合其(1) (2) (3)个目标，从而完成基于视频的人员识别系统，前端检测识别，后端控制监控的一个便携式系统；
发表专业论文1篇；申请软件著作权1项。主要成绩如下：
1. 张鹏飞, 金晓康, 汤倩, 张建明. 学习字典下自适应稀疏度估计的分解去噪算法[J]. 福建电脑, 2015, (01): 10-12+31.
2. 陆朝铨, 李旭东, 张鹏飞, 金晓康, 张建明. 基于树莓派硬件平台与无线网络的嵌入式智能视频监控系统, 软件著作权正在申请, 已缴纳申请费和代理费.
3. 张鹏飞, 金晓康. 基于树莓派开源硬件平台与无线网络的嵌入式视频监控系统, 2015年"华为杯"湖南省大学生计算机作品赛一等奖, 指导老师: 张建明.
4. 张鹏飞, 金晓康, 李旭东. 基于视频的便携式人员身份识别系统, 2015年获"北大青鸟郴州科泰杯"湖南省第十一届软件应用作品大赛三等奖(嵌入式软件类), 指导教师: 张建明, 熊兵.
5. 金晓康获硕士研究生推荐免试资格, 已保送新利luck在线·（中国）有限公司官网2016级硕士研究生, 导师: 张建明.
四、研究方法和研究成果创新及特色
室内场所人数统计是当今智能视频系统研究中一个十分活跃的新领域。该技术能够被应用在不同的公共室内场所，发挥不同的作用。在程序化的工作场合中人数统计可预测人群流量，提高建筑设施或者公共设施的利用率。
人脸的自动检测是一类具有很大挑战性的问题，其主要难点在于：
1）人脸是一类高度非刚性的目标，存在相貌，表情，肤色等差异；
2）人脸上可能会存在一些附属物，诸如，眼镜，胡须等；
3）人脸的姿态变化万千，并且可能存在遮挡物；
4）待检测图像性质的差异。比如：待检图像的分辨率；摄录器材的质量等；
5）光源的种类和角度。不同种类和角度的光源会对待检测的人脸产生不同性质的反射和不同区域的阴影。
当前国内外人流自动技术的方法主要有一下几种：
1）基于形状的人脸检测计数
2）基于肤色特征的人脸检测计数
3）基于模型学习的人脸检测计数
这些主流的算法都有一定程度上的困难和存在不确定的因素：（1）中鉴于行人行走情况下姿势的千变万化，如何将重叠的行人目标分割开来。行人穿着颜色差异不大时又将行人如何区分出来。（2）中当人脸肤色差异不大时，如何将行人分离。（3）中利用统计的方法，采用SVM检测架构，取得了非常好的检测效果。综合上述，本系统采用将人脸训练，将HOG特征和Adaboost分类器相结合，保持了检测效率的情况下提高检测速度。
项目的创新点和特色：
1）本项目研究成果可广泛应用于各种智能视频监控系统、可视倒车系统、行车记录仪、安防设备等电子产品的开发实现。
2）不依靠有线线路提供电力与网络，使监控系统的灵活性、便携性、可靠性得到有效保障。
3）系统具有行人计数、救生衣检测等功能，可以减小监控人员的劳动强度。
4）使用最新推出的树莓派这种开源硬件标准平台进行开发，使得产品功能的扩展更加方便。
|
