大学生创新训练项目申请书
项目编号 S201910536016
项目名称
如果您无法在线浏览此 PDF 文件，则可以
下载免费小巧的 福昕(Foxit) PDF 阅读器,安装后即可在线浏览 或
下载免费的 Adobe Reader PDF 阅读器,安装后即可在线浏览 或
下载此 PDF 文件
项目负责人 郭行格 联系电话 15574954330
所在学院 电气与信息工程学院
学 号 201751050132 专业班级 自动化1701
指导教师 胡建文、张辉
E-mail 360995018@qq.com
申请日期 2019.04.22
起止年月 2019.05-2020.05
新利luck在线·（中国）有限公司官网
填 写 说 明
1、本申请书所列各项内容均须实事求是，认真填写，表达明确严谨，简明扼要
2、申请人可以是个人，也可为创新团队，首页只填负责人。“项目编号”一栏不填。
3、本申请书为大16开本（A4），左侧装订成册。可网上下载、自行复印或加页，但格式、内容、大小均须与原件一致。
4、负责人所在学院认真审核, 经初评和答辩，签署意见后，将申请书（一式两份）报送××××大学项目管理办公室。
一、 基本情况
项目
名称
基于深度卷积神经网络的智能柑橘采摘机器人设计
所属
学科
学科一级门：
工学
学科二级类：
自动化类
申请
金额
20000元
起止年月
2019 年 05月至 2020 年 05 月
负责人
姓名
郭行格
性别
男
民族
汉族
出生年月
1999年03月
学号
201751050132
联系
电话
15574954330
指导
教师
胡建文、张辉
15116292898 18673199176
负责人曾经参与科研的情况
1) 2017年，新利luck在线·（中国）有限公司官网“物电杯”电子设计竞赛，获优胜奖（郭行格）
2) 2018年，新利luck在线·（中国）有限公司官网化学与生物工程学院“兴森杯”校园光立方挑战赛，获二等奖（郭行格、李鸿文、陈金海、文晨鑫）
3) 2018年，新利luck在线·（中国）有限公司官网物理与电子科学学院第一届大学生创新创业项目策划大赛，获一等奖（郭行格，参赛项目：基于FPGA的眼镜框选择系统）
4) 2018年，新利luck在线·（中国）有限公司官网创新创业学院第一届“BP大赛”，获三等奖（郭行格，参赛项目：基于FPGA的眼镜框选择系统）
5) 2018年8月，湖南省大学生电子设计竞赛（TI杯），获三等奖（郭行格，D题：婴儿无线监护系统）
6) 2018年10月，本组全体成员参加电气与信息工程学院“博众精工杯”“人工智能+”创新大赛，获一等奖（参赛项目：基于深度学习的智能分拣机器人）
2018年12月，第五届湖南省大学生工程训练综合能力竞赛，获三等奖（郭行格、李鸿文、陈金海、文晨鑫，参赛项目：物料搬运机器人）
7） 2019年4月，新利luck在线·（中国）有限公司官网“挑战杯大学生课外学术科技作品竞赛”，获二等奖。（郭行格、李鸿文、成诗辉、陈金海、文晨鑫，参赛项目：基于卷积神经网络的双目视觉分拣机器人）
指导教师承担科研课题情况
胡建文，讲师，博士，硕士生导师，近年来，一直从事图像处理、深度学习、模式识别等方向的研究工作。主持承担国家自然科学青年基金等项目。 在IEEE Transactions on Image Processing, Information Fusion, IEEE International Conference on Image Processing等国内外期刊与会议上发表论文 14篇，其中 SCI 期刊论文 5篇， ESI高被引论文3篇，发表的论文 Google Scholar 检索被引用 1300余次，获授权发明专利和软件著作权各 1 项。担任 Information Fusion、电子学报等期刊审稿人。主持科研项目：[1]国家自然科学基金项目，61601061，基于结构化压缩感知的高光谱成像方法研究，2017.1-2019.12，21万元，在研，主持。
张辉，副教授，博士。2013年7月进入湖南大学控制科学与工程博士后科研流动站和湖南千山制药机械股份有限公司从事博士后的研究工作，主要从事模式识别、机器视觉检测技术、智能机器人等领域研究工作。
已主持完成了湖南省博士论文创新基金项目、长沙市科技计划重点项目，并作为主研人员参与完成了国家863项目（大型高速医药自动化生产线上的产品检测包装智能机器人-2007AA04Z244）、国家自然科学基金重点项目（高速精密制造生产线的视觉检测与智能优化控制技术研究-60775047）等。
目前，负责主持国家自然科学基金项目、国家支撑计划项目课题、江苏省重大科技成果转化项目、湖南省自然科学基金、教育厅优秀青年项目、长沙市科技计划重大专项课题等多项省部重点项目，在国内外刊物上发表30多篇论文，授权国家发明专利16项，计算机软件著作权4项，获2018年国家技术发明二等奖1项，省部级科学技术进步奖12项，硕士学位论文获湖南省优秀硕士论文，在工业机器人控制、模式识别与图像处理、智能机器人系统等领域具有扎实的研究基础和独立承担国家级科研项目的能力。
主持科研项目：
[1] 国家自然科学基金项目：医药大输液微小异物视觉检测与识别方法研究（61401046），2015-2017，主持人：张辉，经费：28万元
[2] 国家科技支撑计划项目子课题：大型医药制造机器人自动化生产线关键技术与成套装备(2015BAF11B01)，2015-2017，主持人：张辉，经费：43万元
[3] 江苏省重大科技成果转化项目：高速高精度理瓶清洗检测包装自动化生产线研发与产业化(BA2015156)，2015-2017，主持人：张辉，经费：50万元
[4] 湖南省自然科学基金项目：医药大输液微小异物目标视觉检测识别方法研究 (13JJ4058)，2013-2015，主持人：张辉，经费：4万元
[5] 湖南省教育厅科学研究青年项目：液体药品中可见异物视觉检测与识别方法研究（13B135），2013-2015，主持人：张辉，经费：5万元
[6] 长沙市科技计划重大专项子课题：先进铸铁件自动精整工业机器人产业化推广应用（K1404019-11），2014-2016，主持人：张辉，经费：90万元
[7] 2017湖南省教育厅科学研究项目：医药大输液图像特征描述与可见异物检测跟踪方法研究（17C0046），2017-2018，主持人：张辉，经费：1万元
[8] 湖南省重点研发计划项目子课题：生物制药机器人自动化生产线成套设备关键技术研究与应用（2018GK2022），2018-2020，主持人：张辉，经费：18万元
指导教师对本项目的支持情况
1.对项目提供前期方案设计指导与申报书攥写指导。
2.对技术难点提出专业解决思路与指导。
3.提供开发用麦克纳姆轮式移动平台、多自由度工业级机械臂、深度相机等硬件设备。
4.提供3D打印机等执行末端设计测试设备。
5.提供适合团队进行开发工作的工作场地。
项
目
组
主
要
成
员
姓 名
专业班级
所在学院
项目中的分工
自动化1701
电气与信息工程学院
视觉检测
李鸿文
201751050128
运动控制
成诗辉
201751050114
资料整理
文档撰写
文晨鑫
201751050218
自动化1702
神经网络搭建
陈金海
201751050221
末端设计
二、 立项依据（可加页）
1．研究背景
1.1我国柑橘产量现状及预测
我国柑橘的产量，自2007年以来一直呈增长态势。从2007年至2017年的11年间柑橘产量连续增加，分别由2058.3万吨增加至3 816.8万吨（如图1所示），每年平均增加159.86万吨。到2020年预计柑橘产量略有增加，产量增加到4 100万吨左右[1]。
图1 2007年-2017年我国柑橘产量统计图
1.2我国柑橘采摘与其面临的问题
在我国，每到柑橘收获季节，都有大量的柑橘需要在短期内采摘。而目前的柑橘采摘工作依然主要依靠人工完成，工作量大，工作强度高。但是，随着人口老龄化以及农村青壮年劳动力人口向城市转移，柑橘采摘工人数量与质量均出现下滑。我国柑橘生产迫切需要自动化的采摘设备。
2．研究的目的与意义
在果蔬生产作业中，采摘效率低，费用占成本的比例约为50% ～70%，并且作业的质量直接影响到果蔬的储存、加工及销售[2]。目前，国内的果蔬采摘基本上采用手工方式.随着人口老龄化以及农村青壮年劳动力人口向城市转移，迫切需要自动化的采摘设备。但是果蔬的生长随时空环境的变化而变化，存在非结构性和不确定性，果实娇嫩、果梗坚硬、果实青熟夹杂并且枝叶茂密，工作环境复杂，这些都制约着自动采摘设备的研发[3]。现在国内外的果蔬采摘机器人的主要工作目标多为非结构性和不确定性较小的果蔬，诸如西红柿[4,5]、黄瓜[6]、茄子[7]、樱桃、草莓[8]、苹果[9]葡萄[10]及蘑菇等，而柑橘因为果梗短且木质化程度高，较为坚硬[11]，果实青熟夹杂并且枝叶茂密易造成对果实的遮挡，因此，以此为采摘目标的机器人较少。因此，本项目提出一种基于深度卷积神经网络的智能柑橘采摘机器人设计，包括视觉识别系统和末端执行器设计，实现自动检测柑橘成熟度并自行采摘的预期目标，以期代替人工劳动，一是将人从繁杂劳累的柑橘采摘过程中解放出来；二是提高柑橘采摘效率、降低柑橘生产的成本，增加果农收入；三是保证柑橘品质；四是在人口老龄化趋势日益严重、农村青壮年劳动力不断向城市转移的时候，弥补农村劳动力的不足；五是加快农业生产自动化的进程。
3．研究内容
整体流程梗概
3.1系统硬件部分
3.1.1机械臂结构设计
就农作物采摘而言，采摘的执行效果非常依赖于机械臂的结构设计与控制。对于植株式的柑橘，其果实在空间上的分布较为立体且极具随机性，因此串联型多自由度机械臂较适合这样的工作环境，结构可参考ABB IRB 4600型号机械臂，如图2所示，最终能满足机械臂采摘工作的所需的精度与强度。
3.1.2采摘末端结构设计
末端执行器安装在机械手的末端，其功能类似于人手，是直接与目标物体接触的部件。在末端执行器设计之前，不仅需要研究工作对象的物理特性(物体大小、体积、形状、重量)和机械特性(摩擦阻力、剪切阻力等)，还包括生物学特性等。末端执行器的形式主要有吸盘式(真空式吸盘、喷射式负压吸盘、扩散式负压吸盘、挤压排气式吸盘、电磁式吸盘等)、针式、喷嘴式、杯状、多关节手爪式、顺应型指结构等，如图3所示，通常是末端执行器都是专用的，最终，能够在在不对果实造成创伤的情况下，实现果实的有效分离。
3.1.3深度相机类型
实现采摘，目标的检测与空间定位，则是本项目的核心。实际生产环境下场景可能偏复杂，自然光条件多变，因此，我们需要一个分辨率较高，同时对自然环境下有一定抗干扰的能力的深度相机方案，以进行后续图像分割，识别，跟踪等方面的工作。目前市场的主要的：1、双目方案2、TOF方案抗3、结构光方案 以及方案对比，如图4所示。
1、结构光方案优势在于技术成熟，深度图像分辨率可以做得比较高，但容易受光照影响，室外环境基本不能使用
2、TOF方案抗干扰性能好，视角更宽，不足是深度图像分辨率较低，做一些简单避障和视觉导航可以用，不适合高精度场合。受环境影响小，传感器芯片并不成熟，成本很高，实现量产困难。
3、双目方案，成本相对前面两种方案最低，但是深度信息依赖纯软件算法得出，此算法复杂度高，难度很大，处理芯片需要很高的计算性能，同时它也有普通RGB摄像头的缺点：在昏暗环境下以及特征不明显的情况下并不适用
在本项目中，双目方案得到的图像分辨率更高，而我们则希望通过图像分割和相关深度学习模型来弥补其精度上的不足。
图2 IRB 4600型号机械臂 图3 顺应型指结构 图4双目,TOF,结构光三种深度相机对比
3.2系统软件部分
3.2.1机械臂运动控制
结合MATLAB Robotics toolbox工具箱对检测到的空间坐标进行逆运动求解。我们采用的机械臂结构满足Pieper准则即：机器人的三个相邻关节轴交于一点或三轴线平行。因此若采用六自由度结构可求出唯一逆解。结合果实的空间分布范围，将单次抓取范围限定在2m*1m范围内，如图5所示，由MATLAB建模如下，运行效果如图6:
L1 = Link('d', 1, 'a', 0, 'alpha', 0,'offset',pi/4);
L2 = Link('d', 0, 'a', 0, 'alpha', pi/2,'offset',pi/4);
L3 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',pi/4);
L4 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',pi/2);
L5 = Link('d', 0, 'a', 1, 'alpha', 0,'offset',0);
b=isrevolute(L1); %Link 类函数
robot=SerialLink([L1,L2,L3,L4,L5]); %SerialLink 类函数
robot.display(); %Link 类函数theta=[0,0,0,0,pi/4];
robot.plot(theta); %SerialLink 类函
以机械臂底座为坐标标系原点，得到目标的适当夹取姿态后，即可通过MATLAB快速求得逆解，实现夹取。
图5单次抓取范围 单位mm 图6 robotics 工具箱仿真
3.2.2深度相机的误差处理以及像素匹配
实现采摘，最重要的就是深度信息的获取。双目摄像头在理想情况下可假定两个成像平面平行，但实际上两摄像头的极平面并不平行，而造成得到的深度信息存在误差，因此在计算深度信息之前需要对同时获取的图像进行校正与匹配。目前可以参考的矫正方法：通过分别对两张图片用单应（homography）矩阵变换（可以通过标定获得图8），把两个不同方向的图像平面（图8中灰色平面）重新投影到同一个平面且光轴互相平行（图8中黄色平面），以此来逼近理性的平行情况。
双目相机的像素匹配精度高低，也会影响实际的目标定位效果。像素点过少比较匹配起来鲁棒性很差，很容易受到光照变化和视角不同的影响，那么，可以参考几个匹配算法。1基于滑动窗口的图像匹配，如图9。对于左图中的一个像素点（图9左图中红色方框中心），在右图中从左到右用一个同尺寸滑动窗口内的像素和它计算相似程度，相似度的度量有很多种方法，比如 误差平方和法（Sum of Squared Differences，简称SSD），图9左右图中两个窗口越相似，SSD越小。图9右下图中的SSD曲线显示了计算结果，SSD值最小的位置对应的像素点就是最佳的匹配结果。2基于能量优化的图像匹配 这是基于能量优化的方法来实现匹配。能量优化通常会先定义一个能量函数。比如对于两张图中像素点的匹配问题来说，我们定义的能量函数如下图7公式a 。那么：
1、在左图中所有的像素点和右图中对应的像素点越近似越好，反映在图像里就是灰度值越接近越好，也就是下图7公式b的描述。
2、在 同一张图片里，两个相邻的像素点视差（深度值）也应该相近。也就是图7公式c的描述。
图7 a、b、c公式
通过对能量函数最小化，我们最后能得到一个最佳的匹配结果。有了左右图的每个像素的匹配结果，根据前面的深度计算公式就可以得到每个像素点的深度值，最终得到一幅深度图。
图8 矩阵变换以达平衡
图9基于滑动窗口的图像匹配
3.2.3基于卷积神经网络下图片中的目标识别
现如今许多优秀的深度学习模型中总能发现卷积神经网络的影子，卷积神经网络是近年来深度学习能在计算机视觉中取得突破性成果的基石。
如图10所示，LeNet-5是一个较简单的卷积神经网络，输入二维图像，先经过两次卷积层到池化层，再经过全连接层，最后使用softmax分类作为输出层。
图10 LeNet-5卷积神经网络的结构
卷积层
卷积层是卷积神经网络的核心基石。对二维图像而言，卷积简单的讲就是二维滤波器滑动到二维图像上所有位置，并在每个位置上与该像素点及其领域像素点做内积（如图11、12所示）。不同的卷积核可以提取出图像中不同的特征，如边沿，线性角等特征，因此在卷积神经网络中通过卷积操作可以提取出图像低级到复杂的特征。
图11 卷积提取图像特征、滤波器与图像对应区域进行内积
池化层
池化是非线性下采样的一种形式，主要作用是通过减少网络的参数来减小计算量，并且能够在一定程度上控制过拟合。通常在卷积层的后面会加上一个池化层。池化包括最大池化、平均池化等。
总结：卷积神经网络可以很好的利用图像的结构信息，高效地提取出图像中的结构信息，同时卷积网络参数较少，可以很好地训练和控制过拟合。
3.3系统综合运行性能分析
本项目的核心在于对果实进行较为准确的空间定位。将RGB图像通过优化后的卷积神经网络，来对图像中被遮挡果实进行更准确的识别，同时结合深度相机返回的深度图像，二者叠加得到果实的空间位置。通过增加不同光照环境下样本的训练量，能较好地克服自然光变化对深度相机成像的影响，保证定位精度。
在移动平台停止后，单次识别后的计划采摘速度:20+pcs/min(个每分)。
4. 面临问题
很多国家对柑橘采摘机器人的研究都进行了大量的工作并且取得了一定的成果, 但是柑橘采摘机器人仍然处于研究的阶段，并没有达到商业化水平, 仍存在以下问题需要改进。
4.1 果实的识别率、定位精度不高
目前识别果实主要有灰度阈值、颜色色度法和几何形状特性等方法[12]。其中, 前两者主要基于果实的光谱反射特性, 但在自然光照情况下, 由于图像中存在噪声和各种干扰信息, 效果并不是很好。采用形状定位方式, 要求目标具有完整的边界条件, 由于水果和叶子等往往容易重叠在一起, 很难真正区别出果实的具体形状, 这就会给机器臂末端执行器抓取果实增加难度, 进而影响果实的采摘成功率。
4.2果实采摘效率较低、损伤率较大
柑橘采摘机器人在实际工作过程中, 柑橘的生长随时空环境的变化而变化，存在非结构性和不确定性，果实青熟夹杂并且果树枝叶茂密，都会影响柑橘的采摘时间, 因此目前大多采摘机器人的效率不高。
柑橘果实娇嫩、果梗坚硬，采摘机器人采摘柑橘的方式一般是拧断、剪断, 都是模仿人们在自然地条件下采摘[11]。柑橘因为果梗短且木质化程度高，较为坚硬，现如今的采摘机器人虽然是智能控制, 但是也不可避免地会对果实造成内部的挤压变形以及表面的划伤。所以需要更加适合于机器采摘的末端执行机构。
5．解决的主要问题
5.1解决面对自然光变化和枝叶部分遮挡情况下的果实定位问题
在自然生长情况下，从单方向的角度观察，多数果实往往被枝杈、树叶掩盖，摄像机只能捕捉到果实的部分图像。而一般的方法难以准确定位果实位置，这要求我们采用建立数学模型的方法，还原果实的轮廓，从而找到的果实的中心位置坐标。
果实的形状、尺寸、颜色 、成熟度、表皮外伤程度差异性大, 而且果实总是随机分布生长, 这给果实的识别带来很大的困难。目前识别果实的方法主要有灰度阈值、颜色识别法和区域识别法等。前两种方法都要基于果实的光谱反射特性, 因此还极易受到自然光照的影响 。而区域定位方式 , 则要求目标具有完整的边界条件 ,但是由于果实往往被枝干和叶子遮挡 ,很难真正区别出完整的轮廓 。我们在现有方法的基础上，采用建立柑橘形态数学模型与基于深度学习的图像识别方法，综合各方法的优势，以期达到较好的定位效果。
5.2机械臂末端采摘器的设计优化
采摘机器人的运动部分主要包括轮式移动平台及其搭载的多自由度机械臂。
在实验室研发测试阶段，已有的轮式移动平台采用麦克纳姆轮结构。该平台需与相机反馈回来的柑橘位置信息运动调整，使目标柑橘能处在机械臂的工作区域范围之内。
机械臂主体部分保留，仅对末端执行机构进行重新设计制作，使其更加适用于柑橘的采摘工作，达到高效采摘、不损伤果实的目的。在机械臂运动方面，由于枝叶的覆盖，除机器视觉系统需要准确识别定位出果实所在的位置，机械臂及其末端还应能具体实现采摘动作，尤其是如何绕开前方的枝叶、其它相邻的果实等。
6.国内外研究现状和发展动态
6.1. 国内外研究现状
20世纪60年代美国开始了机器人及收获自动化的研究[3]，采用的收获方式主要是机械震摇式和气动震摇式，但是收获效率不高，果实易损伤，特别是无法进行选择性的收获[13,14]。20世纪 80年代中期开始，计算机技术发展迅速，促进了果蔬采摘机器人在图像处理技术以及人工智能技术方面的迅速发展。其中，日本、荷兰、美国、意大利、英国、韩国等国家在采摘机器人的研究上开展了大量的工作，主要是以番茄、草莓、黄瓜、柑橘等为研究对象，成功地研制出了多种采摘机器人样机。
6.1.1 番茄采摘机器人
日本KNODO N, YATA K等研制了一种番茄采摘机器人，如图13所示。它采用三菱RH-6SH5520型4个自由度的工业机器人, 是在单个果实采摘机器人的基础上研制的[15]。该机器人只能进行整串番茄的采摘, 且最大的承重为6 kg, 其采用光电传感器对主果梗进行定位, 利用机械手的末端执行器, 把一整串果实剪下来。该番茄采摘机器人适合在高密度种植的绿色温室大棚使用, 采摘单串番茄需要15 s, 而且成功率只有50%, 采摘成功率较低。该机器人存在的主要问题:①末端执行器对果梗的夹持力度不够;②末端执行器偏大, 无法在密集的环境中准确地夹持。
图13 KNODO N, YATA K等研制的一种番茄采摘机器人
6.1.2 草莓采摘机器人
日本Hayashi等开发的3自由度草莓收获机器人，如图14 所示。它主要由1个极坐标式机械手、机器视觉、末端执行器和移动平台组成[16,17]。机器视觉单元由1个二极管和电荷耦合器件摄像机组成, 两侧的摄像机用来确定成熟果实在三维空间的位置和果实的成熟度, 中间的摄像机用来检测果梗位置及其倾斜度。末端执行器包括1个夹持器切梗和反射式光电传感器, 缓冲材料粘贴到手指的接触面以使它能够同时夹持和切梗。该机的平均收获成功率为54.9%。采摘成功率较低的原因:①收获过程中容易被其他草莓遮挡而难以实现单个草莓的采摘;②视觉系统不能准确识别, 最终导致机器人不能成功地采摘草莓。
图14 Hayashi等开发的3自由度草莓收获机器人
6.1.3 黄瓜采摘机器人
荷兰农业环境工程研究所的Van Henten等研制出的一种多功能黄瓜收获机器人[18-20]，如图15所示。该机器人包括自制车辆、机械手、末端执行器、两个计算机视觉系统。其采用三菱公RV—E2的6自由度机械手并在底座增加了一个线性滑动，变成7个自由度的机器人。同时采用近红外视觉系统辨识黄瓜果实, 探测它的位置, 然后控制机械臂末端执行器只采摘成熟的黄瓜, 而不损伤其他未成熟的黄瓜。试验时无人干扰, 机器人自行采摘, 成功率80%, 平均45 s采摘1根黄瓜。
图15 荷兰农业环境工程研究所研制出的一种多功能黄瓜收获机器人
6.1.4 柑橘采摘机器人
佛罗里达大学的Mehta等研制的7自由度柑橘采摘机器人[21],如图16所示。该系统采用闭环控制, 可进行及时反馈, 同时采用双摄像头, 一个安装位置固定, 另一个安装在末端执行器的中心位置, 随机械手移动。机器人在实验室内对柑橘进行随机的采摘试验, 采摘成功率达到95%。但是该采摘机器人只适用于采摘大中型品种的柑橘, 对小品种的柑橘采摘效果不太好。
图16 佛罗里达大学的Mehta等研制的7自由度柑橘采摘机器人
6.2发展趋势
6.2.1采用高精度的视觉系统和图像处理技术
使用视觉传感器配合测距仪来精确定位， 使用模糊神经网络对图像进行智能化处理。
6.2.2研发有多指及冗余自由度的机械手爪
机械手爪要针对作业目标的物理、生物特性设计，保证采摘时的生产质量。采用合适的轨迹规划，使得移动和采摘时能够绕过障碍物而不发生碰撞。使用神经网络系统，机器人就能通过前次轨迹而自我学习，下次自动采用最近似的轨迹运动。
6.2.3采用开放式结构
采用开放式的控制系统, 以提高采摘机器人的通用性, 只要简单更换机械手的末端执行器和软件, 就可改变果蔬采摘机器人的用途, 提高利用效率, 降低使用成本。例如, 温室大棚里的机器人通过更换不同的末端执行器就能完成不同果蔬的采摘以及施肥等作业。
6.2.4降低操作难度及生产成本
果蔬采摘机器人的操作者, 大多是没有受过专业教育的农民, 所以操作起来一定要简单方便;另外, 由于农民的收入很有限, 在研发的时候一定要考虑到成本的问题, 生产出来的机器人能在农民接收的范围内。
7.本项目学生有关的研究积累和已取得的成绩
7.1项目1：基于卷积神经网络的智能分拣机器人（Smart-Arm）
7.1.1 Smart-Arm组成
图17 Smart-Arm组成图
7.1.2 Smart-Arm实物图
图18 Smart-Arm实物图
7.1.3 可实现的功能
通过大量图片训练卷积神经网络，使其可实现对待抓取物体的准确识别与定位，相关信息通过Wi-Fi无线传输至树莓派3B+，后由其驱动控制六自由度机械臂进行准确地抓取。
7.1.4 通过这个项目掌握的技术
CNN卷积神经网络，机械臂DH参数法，图像的采集与预处理，Wi-Fi无线通信等。
7.1.5 对后续开展柑橘采摘机器人项目可能具有的优势
(1) 柑橘采摘机器人的机器视觉软件主要采用深度学习的方法，而图像的采集和预处理也是非常重要的一个环节，这在以上项目中已有基本的实现
(2) 机械臂的运动控制仍然可能用到DH参数法
(3) 在柑橘采摘机器人与用户的通信或是多台采摘机器人的集群联合作业等都可能用到无线通信相关的技术
7.2项目2：湖南省大学生工程训练竞赛“物料搬运机器人”
7.2.1 竞赛任务流程简介
竞赛任务需要机器人自动扫描二维码并检测识别物体位置，将物体夹取并摆放进对应的摆放区内。我们采用以摄像头为主的感知方式，它可同时完成多种任务需求，而且精度较高。而为了将物块准确的放进色环中心位置，我们采用摄像头图像巡线以及超声波测距等方式，反馈当前的机器人偏转角度与距离信息，从而精确控制机器人位置，进而可以较快较好地完成任务。
7.2.2 主要硬件组成
步进电机及其驱动板，OpenMV摄像头，串口显示屏，STM32f407ZGT6,连续舵机，机械手，超声波传感器，红外循迹传感器等。实物如图19、20所示。
图19 1号车 图20 2号车
7.2.3机器人工作流程设计
图21 物料搬运机器人工作流程图
7.2.4 通过这个项目掌握的技术
步进电机驱动及控制，舵机控制，超声波传感器的使用，红外循迹传感器的使用，串口显示屏的显示与用户交互，OpenMV图像处理的方法，3D打印等。
7.3对后续开展柑橘采摘机器人项目可能具有的优势
1) 柑橘采摘机器人在采摘过程中，除运用激光深度相机进行目标测距外，末端执行机构可能还会用到其它的传感器进行抓取辅助。
2) 在研发此机器人硬件等结构件的过程中，可能使用3D打印技术进行物理模型的构建与验证。
3) 采摘机器人上会附带屏幕，以显示当前系统运行信息并实现与用户的交互。
8.项目的创新点和特色
1）对图像分割后，输入卷积神经网络对图像进行识别，提高果实的识别效果
2）通过建立待采摘水果的数学轮廓模型，配合深度相机，更加精准地定位水果的方位
3）机械手夹持机构可更换设计，使得一套机型可胜任多种不同水果的采摘任务
9.项目的技术路线及预期成果
9.1技术路线
9.1.1 机器视觉系统软件
1）收集整理前人已有的研究及由自身的项目积累，形成本项目的视觉软件方案
2）学习使用Intel公司的realsense系列深度相机
3）建立相关的神经网络模型，同时收集训练样本
4）结合深度相机与训练得出的数据进行果实定位并优化效果
5）根据具体使用的处理器，移植已形成的相关软件、算法
6）在特定处理器平台上进行调试
7）与运动系统进行通信，联调
9.1.2 运动系统
1) 收集整理前人已有的研究及由自身的项目积累，形成本项目的运动及硬件方案
2) 前期使用小型移动平台进行运动算法的测试与验证。必要时，使用Matlab等软件进行系统仿真
3) 形成一套可靠的、带冗余的运动策略与方案
4) 根据具体的移动平台硬件，移植相关软件、算法，并进行调试
5) 与机器视觉系统进行通信联调
9.2 预期成果
1）完整样机一台
2）中期及结题报告各一份
3）相关论文1-2篇
4）发明专利若干项
10.年度目标和工作内容（分年度写）
² 2019年2月-3月，项目总体规划及资料收集工作
² 2019年3月-10月，组内分工分别进行项目的视觉系统与运动系统的研发
² 2019年10月-2020年2月，各子系统进行融合、总成、调试。期间整理形成系列相关技术报告、论文、专利等
² 2020年2月-5月，样机的实际测试，功能改进
参考文献
[1]沈兆敏.我国柑橘生产现状及未来发展预测[J].果农之友,2019(02):1-4.
[2]王丽丽,郭艳玲,王迪,刘幻.果蔬采摘机器人研究综述[J].林业机械与木工设备,2009,37(01):10-11+14
[3]宋健,张铁中,徐丽明,汤修映.果蔬采摘机器人研究进展与展望[J].农业机械学报,2006(05):158-162.
[4]王丽丽. 番茄采摘机器人关键技术研究[D].北京工业大学,2017.
[5]李昱华.番茄采摘机器人目标检测与抓取的关键技术研究[J].中国新技术新产品,2018(23):55-57.
[6]戚利勇. 黄瓜采摘机器人视觉关键技术及系统研究[D].浙江工业大学,2011.
[7]宋健,孙学岩,张铁中,张宾.茄子采摘机器人机械传动系统设计与开发[J].机械传动,2009,33(05):36-38+109.
[8] Shigehiko Hayashi, Kenta Shigematsu, Satoshi Yamamoto, et al. Evaluation of a strawberry-harvesting robot in a field test [J]. Biosystems Engineering, 2010, 105(2):160-170.
[9]王丹丹,宋怀波,何东健.苹果采摘机器人视觉系统研究进展[J].农业工程学报,2017,33(10):59-69.
[10]许睿,赵明富,张利伟.葡萄采摘机器人研究进展与展望[J].河南科技学院学报(自然科学版),2018,46(04):74-78.
[11]卢伟,宋爱国,蔡健荣,孙海波,陈晓颖.柑橘采摘机器人结构设计及运动学算法[J].东南大学学报(自然科学版),2011,41(01):95-100.
[12]徐铭辰,牛媛媛,余永昌.果蔬采摘机器人研究综述[J].安徽农业科学,2014,42(31):11024-11027+11057.
[13] 赵匀, 武传宇, 胡旭东, 等.农业机器人的研究进展及存在的问题[J].农业工程学报, 2003, 19 (10) :20-24.
[14] 耿端阳, 张铁中, 罗辉, 等.我国农业机械发展趋势分析[J].农业机械学报, 2004, 15 (4) :208-210.
[15] KNODO N, YATA K, SHIIGI T, et al. Development of an end-effector for a tomato cluster harvesting robot [J]. Engineering in Agriculture, Environment and Food, 2010, 3 (1) :20-24.
[16] HAYASHI S, SHIGEMATSU K, YAMAMOTO S, et al. Evaluation of a strawberry-harvesting robot in a field test [J]. Biosystems Engineering, 2010, 105:160-171.
[17] HAYASHI S, YAMAMOTO S, TSUBOTA S, et al. Automation technologies for strawberry harvesting and packing operations in Japan [J]. Journal of Berry Research, 2014 (4) :19-27.
[18] Van HENTEN E J, HEMMING J, VAN TUIJL B A J, et al. An autonomous robot for harvesting cucumbers in greenhouse [J]. Autonomous Robots, 2002, 13 (3) :241-258.
[19] Van Henten E J, Henmming H, Van Tuijl B A J, Kornet J G, Bontsema J. Collision-free Motion Planning for a Cucumber Picking Robot [J]. Boi-systems engineering, 2003, 86(2): 135-144.
[20] Van Henten E J, Henmming H, Van Tuijl B A J, Kornet J G, Meuleman J, Bontsema J, Van OsEA. Field Test of an Autonomous Cucumber Picking Robot [J]. Bois stems engineering, 2003, 86(3): 305-313.
[21] MEHTA S S, BURKS T F. Vision-based control of robotic manipulator for citrus harvesting [J]. Computers and Electronics in Agriculture, 2014, 102:146-158.
三、 经费预算
开支科目
预算经费
（元）
主要用途
阶段下达经费计划（元）
前半阶段
后半阶段
预算经费总额
20000
用于完成项目计划。
15000
5000
1. 业务费
共7200
业务费
3700
3500
（1）计算、分析、测试费
1000
分析、咨询、测试产生相关费用
500
（2）能源动力费
200
室外场地产生的水、电等费用
0
（3）会议、差旅费
长沙市内相关技术培训学习及会议的交通、餐费（拟参加2次，每次5人，2*5*100=1000元）
（4）文献检索费
无
（5）论文出版费
1-2篇相关论文（平均每篇2500元，共计2500*2=5000元）
2500
2. 仪器设备购置费
9800
“NVIDIA Jetson TX2”开发板、3D打印机、深度相机。（每套分别为5800、2000、2000元，拟各购一套，共计5800+2000+2000=9800元）
3. 实验装置试制费
2000
机械零部件试制（铝制耗材一批，共计1400元）、PCB板加工（一批，共计600元）等
4. 材料费
3D打印耗材（单价50元，拟购4件，共计50*4=200元）、电子元件（拟购一批，共计300元）、机械零部件（拟购一批，共计500元）
学校批准经费
共批准20000元
四、 指导教师意见
项目立项符合国家机器人技术发展需求，研究内容详实，技术路线可行性强，学生团队基础好，能顺利完成课题。建议资助立项。
导师（签章）：
2019年4月23日
五、 院系大学生创新创业训练计划专家组意见
推荐校级项目。
专家组组长（签章）：
2019年4月25日
六、 学校大学生创新创业训练计划专家组意见
推荐省级项目。
负责人（签章）：
2019年4月29日
七、 大学生创新创业训练计划领导小组审批意见
同意推荐。
上一篇：漏电电流排查装置 下一篇：基于stc89c52单片机的电阻电容电感测量仪设计与制作
