湖南省大学生研究性学习和创新性实验计划
项 目 申 报 表
项目名称:
如果您无法在线浏览此 PDF 文件,则可以
下载免费小巧的 福昕(Foxit) PDF 阅读器,安装后即可在线浏览 或
下载免费的 Adobe Reader PDF 阅读器,安装后即可在线浏览 或
下载此 PDF 文件
|
学校名称
|
新利luck在线·(中国)有限公司官网
|
学生姓名
|
学 号
|
专 业
|
性 别
|
入 学 年 份
|
兰林涛
|
201550080535
|
计算机科学与技术
|
男
|
2015
|
郑镇潮
|
201550080134
|
计算机科学与技术
|
男
|
2015
|
柳邓一漫
|
201550080430
|
计算机科学与技术
|
男
|
2015
|
黄如钊
|
201550080333
|
计算机科学与技术
|
男
|
2015
|
罗京
|
201550080111
|
计算机科学与技术
|
男
|
2015
|
指导教师
|
桂彦
|
职称
|
讲师
|
项目所属
一级学科
|
计算机科学与技术
|
项目科类(理科/文科)
|
理科
|
学生曾经参与科研的情况
本学生团队的五名组员均来自新利luck在线·(中国)有限公司官网2015级计算机科学与技术卓越班,团队成员之间联系紧密,配合默契,组员学习成绩优良,喜欢钻研,有较强的创新能力与动手能力,特别是对新鲜事物敏感,在学好自身专业的同时,均希望参加大学生研究性学习和创新实验计划项目夯实计算机科学专业基础,同时进一步提高实际动手能力和创新能力,为以后的学习深造和工作就业打下良好的基础。其中,兰林涛同学曾参加第九届中国大学生程序设计大赛,并获得了国赛三等奖、中南赛区二等奖、第十一届新利luck在线·(中国)有限公司官网程序设计比赛三等奖的成绩,并已在期刊《软件》上发表论文一篇。本小组所有成员在2015-2016年申报并实施了计算机与通信工程学院卓越工程师创新课题,并已顺利结题。
新利luck在线·(中国)有限公司官网计算机与通信工程学院已将“智能感知与计算机视觉方向”作为计算机科学与技术专业的重点培养方向之一,该专业是国家级特色专业、教育部“卓越工程师教育培养计划”试点专业。小组成员均为计算机科学与技术专业卓越班学生,在软硬件技术方面有良好的基础,我们已经学习了C/C++语言、可视化编程、汇编语言,在程序的数据结构、算法分析与设计上有了一定的基础,了解了计算机网络原理与应用技术,初步具备了将Android平台与Web云服务结合起来的条件。
小组成员在桂彦老师的带领下已初步了解了图像融合的原理以及过程,并研究了图像融合的算法。并在暑假期间进行分组学习了Android平台与Web后台的开发,为接下来的创新实验打下了基础。目前小组成员正积极学习和研究基于图像融合技术的云端真实场景重现系统,这对于我们来说仍是一项全新的挑战。
|
指导教师承担科研课题情况
桂彦,女,1985年1月出生,湖南永州人,博士,新利luck在线·(中国)有限公司官网计算机与通信工程学院讲师、中国计算机学会(CCF)会员。目前主要研究方向为计算机图形学、计算机视觉、可视媒体智能编辑与处理等,主要在纹理合成/视频纹理合成、图像/视频分割与修补、流体动画等方面取得了一些创新性的研究成果。已在《The Visual Computer》、《Journal of Zhejiang University - Science C (Computers & Electronics)》等国内外权威际期刊以及CGI2010、VRCAI2011、COMPSE2016等国际会议上发表论文10篇,其中SCI收录论文4篇,EI收录论文6篇。目前主持国家自然科学基金青年基金项目1项(名称:利用外观相似性和全局拓扑结构的重复元素提取与合成技术研究,项目编号:61402053);湖南省教育厅科研项目1项(名称:基于DNN的灰度图像彩色化在图像编辑处理中的应用研究项目编号:16C0046)。
|
项目研究和实验的目的、内容和要解决的主要问题
一、项目研究的背景及意义
数字图像处理与应用在国际计算机学术界和工业界一直都备受关注,只不过由于过去受到计算平台处理性能的限制,很多理论的实现不能在实际应用上取得使人满意的效果。随着移动互联网的发展和智能手机的普及,设备的处理性能也获得了进一步的提升,部分图像处理技术也从理论走向了商用化。目前市场上已经出现了许多基于安卓平台的图像处理软件,如Skitch、Photowonder、美图秀秀等,并且已经获得了市场的肯定。
相比于过去的照相机拍照—电脑处理模式,手机的摄像镜头虽然在硬件上有一定的劣势,但是手机摄影轻便、快捷、简单等特点也是传统处理方式无法比拟的。因而智能手机市场上的数字图像处理取得了快速的发展。不过,目前市面上数字图像处理软件的功能主要集中在滤镜、马赛克、贴图等,大多是对拍摄的图片进行即时、简单的处理,缺少高级的图像处理功能。
目前,随着互联网的发展,特别是国家推进了我国信息基础设施的建设,用户的互联网接入速度已经获得了极大的提升,使云计算平台的实现有了现实基础。目前云平台具有极大的想象空间,云存储、云端计算、云服务等都有着广泛的前景。包括微软、谷歌、腾讯、百度在内的知名企业都在大力推动“云”的发展,微软已将“移动优先,云优先”作为公司的发展战略。云计算能使用户只要身边有互联网接入,便可访问所有功能,其基于云端的计算平台具有“快速弹性”的特性,即服务器的资源可由多个用户共享,极大提高了计算效率与资源的利用率。
二、实验目的
目前,智能手机上图像处理软件高级功能的缺少,最重要的一个原因在于目前手机的处理性能仍然无法支撑高分辨率图像处理的计算量,受限于手机处理器主频与电池容量,无法获得一个较好的用户体验。
为了解决智能手机处理图像性能与功耗的短板,我们结合当下蓬勃发展的云计算概念,提出了“先由终端提供用户交互,再由云端服务完成计算任务”的处理流程,目的是通过结合已有的智能手机平台在用户交互的优势与云计算不耗费本地资源的特点,来实现具有较高处理性能要求的图像处理算法,达到1+1>2的效果。通过该系统的设计实现,我们可以深入探讨图像处理与云端服务两者在实际生活中的应用,以及如何更好地发挥互联网的优势来将实验内容真正应用到生活实践中。
三、实验内容
基于指导老师在计算机图形学、计算机视觉、可视媒体智能编辑与处理等方面的积累,针对移动终端数字图像处理的实际需求,我们开发的基于图像融合技术的云端真实场景重现系统可以在保证具有良好用户体验的同时,兼顾了计算速度与智能手机应用对耗电量、发热等方面的要求。
我们开发的基于图像融合技术的云端真实场景重现系统主要分为Android与Web云服务器两个部分:
1)Android平台主要分为图像处理及交互模块、用户登陆与历史管理模块、辅助模块三大功能。其中,图像处理及交互要求系统整体拥有良好的用户界面设计、动画效果,并实现多点触摸屏上的多指缩放、旋转图片等功能以提供良好的用户体验,并且能够通过网络进行融合渲染;用户登陆与历史管理模块使得用户可以通过账号登陆来在不同的平台上对处理文件的管理,并可以访问历史渲染图像进行下载、查看、删除等操作;辅助模块主要用于用户操作指引、照相取景辅助等功能,通过这些功能来增强软件的使用价值。
2)Web云服务器部以全分辨率图像融合处理、用户管理与历史记录保存为主,并提供与Android终端通信接口。其中,图像融合处理模块具有处理队列、实时融合存储等功能,并通过数据库进行数据管理;用户管理与历史记录模块为终端的账号登陆提供了接口,使得终端可以通过该接口实现对具体文件的操作。
相较于传统图像处理模式将所有计算全部放在本地处理导致的处理速度慢、功耗大、手机发热高等的问题,我们采用的Android与Web云服务相结合的方式,通过将计算任务发送至云端处理的方式,在保留手机良好用户交互体验的同时,又避免了传统方式的缺点, 具有良好的实用价值。
四、拟解决的主要问题
1)图像融合算法的实现,并确保其在性能与资源使用上取得良好的平衡。
2)实现Android平台上的用户交互功能,包括但不限于图像内容读取、图像区域框选、实时融合预览、辅助取景等功能。
3)完成Web云服务平台,实现其与Android的通信功能,云平台应当具有图像融合、多用户管理、历史记录等功能。
4)搭建Web云服务的软硬件平台,并能够通过互联网与用户终端通信。
5)设计实现能够响应多用户访问处理的云平台系统。
|
国内外研究现状和发展动态
一、图像融合技术研究现状与动态
数字图像处理在工业领域与民用领域一直有着广泛的应用。图像融合(Image Fusion)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率,利于使用。
在工业领域,图像融合有许多值得研究的方面,比如地球观测卫星能够提供包括不同空间、时间、谱段的电磁光谱的不同部分的数据。为了充分利用日益增长的多源数据,数据融合技术应运而生了。 融合后的图像在结合了不同传感器特征之后,它能更好的反应现实,提高容量,得到更可靠的结论。图像拥有时间、空间、光谱等特征,因此,这样可以更全面的观测对象[1],如图1所示,通过将卫星不同传感器获取的图像数据经行融合后,可以获得更加全面的观测信息。
图1 图像融合在卫星遥感方面的应用
在民用领域,在医学图像分析、安全导航、交通检测等方面都有着重大的应用价值。如图2所示,在医学图像分析上,通过将MRI与PET扫描图像进行融合,可以更好地辅助医生对患者情况做出判断。除此之外,在日常生活中,图像融合还可用于无缝添加原图像所缺失的内容,或通过融合技术进行艺术的在创作,营造出普通摄影无法表达的意境。
图2 图像融合在医疗方面的应用
Patrick Pérez在2003年发表了论文《Poisson Image Editing》,其在图像无缝融合方面的研究成为了后来图像融合领域的一个经典方法。如图3所示,在采用该方法处理图像之后的融合效果可以达到令人满意的水准,为本系统的实现提供了理论支持。
图3 采用论文方法实现的图像融合效果
二、Android平台发展现状与应用
Android是一个基于Linux内核的开放源代码移动操作系统,由Google成立的Open Handset Alliance(开放手持设备联盟)持续领导与开发,主要设计用于触屏移动设备如智能手机和平板电脑。Android从最早的1.0版本已经发展到了现在的7.0(Android Nougat),据统计,全球每天有超过100万部Android设备被激活。2009年Android只占据全球智能手机操作系统市场2.8%的份额,这个数字在2010年增长到了33%,而根据市场研究公司凯度(Kantar Worldpanel ComTech)的最新研究报告,Android手机在全球市场上的占有率已经达到了惊人的76.4%[2],这意味着每十个人里面,就有7-8个人使用基于Android平台的智能设备。安卓系统发展如此迅速和其开源、易移植的特点时分不开的,它可以被用在大部分的电子产品上,包括智能手机、各类电脑、电视等,其中比例最大的还是移动智能终端[3]。
Android操作系统的核心属于Linux内核的一个分支,具有典型的Linux调度和功能[4],除此之外,Google为了能让Linux在移动设备上良好的运行,对其进行了修改和扩充。如图4所示,Android的系统架构大致分为了四层,分别为Linux内核层、库和进行时、框架层和应用层。Android的体系架构是鼓励系统组件重用,共享组件之间的数据,并定义组件间的访问权限控制。可以说,这些层次结构相互独立,又互相关联[5]。
图4 Android 系统架构图
在2014年Google I/O 大会上,Android正式发布了其5.0版本,该版本最大的改进为将原有Android 使用的Dalvik虚拟机完全废弃,彻底采用了全新的ART模式。Dalvik模式与ART模式最大的不同在于Dalvik采用的是实时编译(JIT:Just in time),即在应用程序运行时将程序的Java字节码翻译成机器码(native code)执行[5],导致每次应用运行时都需要重新将字节码翻译,浪费了大量的时间与机器资源;而ART采用的是预编译(AOT:ahead of time),即在应用安装时一次性将本地代码编译完毕,从而节省了运行时开销,并降低了电量的消耗,显著提升了运行效率。如图5所示,在Nexus5上Art模式相较于Dalvik有着较高的优势。
图5 Nexus5上ART模式与Dalvik模式效率对比
近年来,随着智能终端行业的不断发展,其机身搭载的摄像镜头素质也得到了巨大的提升。目前市面上的手机搭载的镜头像素数量已经普遍达到了一千三百万,且成像质量也已达到了令人满意的水平,因而智能手机已经从事实上取代了专业摄影设备成为了人们日常拍照的首选。正是因为如此,智能手机领域的图像处理软件得到了极大的发展,人们对照片后期处理的需求也在不断攀升。根据腾讯应用宝提供的数据,Android手机上美图秀秀软件的下载量已经达到了3.3亿人次[6],可见图像处理软件在市场上拥有广泛的需求。如图6所示,目前手机上图像处理软件功能还是以滤镜、拼图等功能为主,仍然具有极大的发展空间。
图6 指划修图软件界面
三、Web云计算服务的应用与发展
云计算是一种基于互联网的计算方式,如图7所示,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。继1980年代大型计算机到客户端-服务器的大转变之后,云计算成为了下一个巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需直接进行控制[7]。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源[8]。这种方式极大提高了资源的利用率,并降低了使用成本。
图7 通用云计算共享软硬件资源
近年来,随着世界互联网建设的不断发展,云计算已经从实验室的构想正式走向了现实应用。在国家层面,各个国家都十分重视其发展研究,特别是我国在积极推进了信息基础设施的建设,提出了“互联网+”的创新理念,李克强总理在首届互联网大会上指出了互联网是大众创业、万众创新的新工具,是中国经济提质增效升级的“新引擎”,可见其重要作用[9]。云计算作为“互联网+”中必不可少的一环,可见其重要性与广阔的发展前景。
此外,不少国际知名公司都将云计算作为公司发展的战略目标。微软在2014年便提出了以“移动为先,以云为先”的转型之路[10],在其最新操作系统Windows 10上深度整合了云计算服务,在商用领域,微软公司的Azure计算也是业内标杆,体现了云计算巨大的潜能。云计算的普及应用使得广大用户得到了切实的体验提升,目前国内智能手机上均搭载了各个厂商提供的云服务,通过云端同步、备份等功能真正使得“云”这个概念深入人心,成为了人们日常生活中必不可缺的一环。
图8 云计算部署模型
美国国家标准和技术研究院的云计算定义中涉及了关于云计算的部署模型[11]。如图8所示,按照部署模型分类,其可以分为公有云、私有云、社区云和混合云这四种类型:
l 公用云(Public Cloud)
公用云服务可通过网络及第三方服务供应者,开放给客户使用,“公用”一词并不一定代表“免费”,但也可能代表免费或相当廉价,公用云并不表示用户数据可供任何人查看,公用云供应者通常会对用户实施使用访问控制机制,公用云作为解决方案,既有弹性,又具备成本效益。
l 私有云(Private Cloud)
私有云具备许多公用云环境的优点,例如弹性、适合提供服务,两者差别在于私有云服务中,数据与程序皆在组织内管理,且与公用云服务不同,不会受到网络带宽、安全疑虑、法规限制影响;此外,私有云服务让供应者及用户更能掌控云基础架构、改善安全与弹性,因为用户与网络都受到特殊限制。
l 社区云(Community Cloud)
社区云由众多利益相仿的组织掌控及使用,例如特定安全要求、共同宗旨等。社区成员共同使用云数据及应用程序。
l 混合云(Hybrid Cloud)
混合云结合公用云及私有云,这个模式中,用户通常将非企业关键信息外包,并在公用云上处理,但同时掌控企业关键服务及数据。
作为一个新兴的发展领域,云计算服务在未来仍然具有极大的想象空间,其弹性计算的特性也意味着它能使用与传统计算方式相比更少的资源去实现更多的功能。
回顾图像处理、Android平台与云服务的发展,其之所以得到了巨大的发展,很重要的一点是,在其发展历程中都不断切合了用户需求,三者都提供了一个全新的功能平台,方便人们随时随地享受科技进步带来的便利。我们希望通过基于图像融合技术的云端真实场景重现系统的设计,让更多使用者受益的同时,也能提高自己的开发水平,完善自己的知识结构。
参考文献:
[1]扈少华, 郭宁. 图像融合方法及应用[J]. 科技信息, 2010(28):115-115.
[2]安卓市场份额已接近8成.http://www.ithome.com/html/iphone/216610.htm
[3]储韬溢. 交互式图像分割的图割算法及安卓应用[D]. 南京邮电大学, 2014.
[4]Androidology – Part 1 of 3 – Architecture Overview(Video). YouTube. 2008-09-06.
[5]http://huangzihao.me/android_heroes/1、Android体系与系统架构/
[6]美图秀秀.http://sj.qq.com/myapp/search.htm?kw=美图
[7]Danielson, Krissi. Distinguishing Cloud Computing from Utility Computing. Ebizq.net. 2008-03-26.
[8]Gartner Says Cloud Computing Will Be As Influential As E-business. Gartner.com. [2010-08-22].
[9] 新华网评:中国有了“互联网+”计划.http://www.netofthings.cn/GuoNei/2015-03/5505.html
[10] 微软Cloud OS愿景:让数据为每个人服务.http://storage.it168.com/a2014/0410/1611/000001611995.shtml
[11]NIST. 美国国家标准与技术研究院对云计算的定义. 美国国家标准和技术研究院. 2011年9月.
|
本项目学生有关的研究积累和已取得的成绩
一、有关研究的积累
(1)总结了卓越创新课题中的收获与不足、复习了C++、MFC等知识,还分组学习了Android软件开发、Web后台开发等方面的知识。
(2)已初步了解了Android平台与Web服务平台通过网络协作的基本要点,购置了树莓派、USB接口键盘鼠标、SD卡等设备作为搭建云端服务的开发测试平台,并了解了树莓派的性能和使用,并进行了基本的调试与实验。
(3)熟悉了树莓派的主要组建与构造,了解了树莓派启动方式及支持的系统,并下载了相应的镜像进行系统安装测试。
(4)深入学习了Android与Web后台开发内容,并就实验内容进行了多次讨论,在讨论中逐步完善了系统的功能划分、云端协作等,为实验开展奠定了基础。
二、已取得的成绩
[1] 计算机卓越班2015级卓越工程师创新课题:基于目标对象移除技术的图像修复系统设计与实现, 2015。
[2] 兰林涛,桂彦,郑镇潮,柳邓一漫,罗京,王朦.基于Qt开源框架的跨平台图像修复系统设计与实现,软件,2016,37(8),pp.47-50.
[3]《梦之站官网2.0》,第九届中国大学生程序设计大赛全国三等奖,2016。
[4]《梦之站官网2.0》,第九届中国大学生程序设计大赛中南赛区二等奖,2016。
[5]第十一届新利luck在线·(中国)有限公司官网程序设计比赛三等奖,2016。
|
项目的创新点和特色
一、项目的创新点
(1)本项目创新性采用了云端服务进行图像处理,使应用场景摆脱了设备处理性能的限制,使本系统的灵活性、便携性、可靠性得到了有效保障。
(2)系统通过手机端进行图像融合的交互与预览,符合用户使用习惯,降低了操作门槛,同时通过云端进行高性能的融合计算,在保证快速得到高质量效果的同时降低了用户终端的电量消耗。
(3)项目研究成果在日常生活中有广泛的应用,并且提供具有兼容性的后台接口,可在日后快速扩展到其他平台,实现全平台覆盖。
二、项目特色
(1)系统具有基于图像融合的真实场景重现功能、辅助信息采集、云端实时处理、多用户登陆管理与云端存储等功能。
(2)云端系统采用高度兼容的开发方式,不仅能够在高性能服务器上为大规模用户提供服务,而且兼容廉价硬件平台,为个人搭建私有平台提供了解决方案。
(3)项目工作将获得一套实用系统(Android用户端与Web服务端),可以作为互联网时代下交互协作的一个案例。
|
项目的技术路线及预期成果
一、项目技术路线
1. 系统目标功能设计与工作框架
1.1 系统总体功能
本系统总体功能设计如图1所示。
图1 系统总体功能设计
l 源图像区域选取模块:用户打开源图像后,可直接通过手指进行目标区域点选的点选操作,支持主流图像格式;
l 目标区域融合定位模块:提取用户在上一步点选的区域,以悬浮的形式置于目标图像内,用户可自由拖动其位置、改变大小;
l 本地实时预览模块:待全部调整完毕后,Android本地在降低图像分辨率后进行融合,并显示融合效果;
l 云端处理接口与结果获取模块:将图像及融合信息发送至云端服务器进行处理,待服务器处理完毕后再进行读取;
l 最终结果导出模块:用户可选择导出最终结果到本地存储器,也可以直接分享至微博、微信等社交平台;
l 用户注册登陆模块与历史图像查看模块:系统提供了用户注册与管理功能,用户第一次注册之后,即可在页面对历史的融合图像进行查看或删除操作;
l 图像融合队列:当云端服务器待融合图像过多时,将待融合图像按世间顺序入队,依次进行融合操作。
本系统目前还在设计阶段,后期会添加如用户摄影融合辅助等功能,丰富系统功能。
1.2 系统工作流程设计
本系统采用本地平台与云端服务相结合的模式,通过本地操作提升用户交互的友好度、便利程度,使用云端服务进行对应目标的即时融合,避免了本地融合导致的速度过慢、发热、耗电量大等问题。系统主要工作流程如图2所示。
图2 系统主要工作流程设计图
1.3 系统网络结构设计
当用户需要在云端上进行下一步的融合工作时,由Android平台程序通过互联网络向服务器发送请求,并将相应的信息内容发送至服务器,必要信息内容如表1所示。云端服务在接收到数据之后,将待处理图像加入至处理队列中,并将处理状态码发回客户端。
表1 用户端发送的信息内容设计
|
序号
|
内容
|
|
|
|
|
|
1
|
源区域图像信息
|
|
|
|
|
|
2
|
源区域选定区间信息
|
|
|
|
|
|
3
|
目标区域图像
|
|
|
|
|
|
4
|
选取内容相对位置、缩放信息
|
|
|
|
|
|
5
|
用户唯一识别码
|
|
|
|
|
|
如图3所示,用户在智能终端上完成交互操作之后,通过Internet将上述表中信息发送到Web云端服务器,服务器通过内容的跳转分发模块识别用户的功能请求,并将请求进一步分发到图像处理模块执行图像融合或是历史内容查询等功能。在图像处理模块完成功能之后,再交由数据库经行所有数据的管理,并通过Internet返回用户所需的内容,完成全部的功能操作。
图3 系统网络结构设计图
2. Android平台
Android是一个基于Linux内核的开放源代码移动操作系统,由Google成立的Open Handset Alliance(OHA,开放手持设备联盟)持续领导与开发,主要设计用于触屏移动设备如智能手机和平板电脑。
根据市场研究公司Strategy Analytics公布的最新数据显示, 2016年第三季度(6月下旬-9月下旬)Android手机的全球市场份额达到了创纪录的87.5%,在中国也有近80%的占有率,这意味着每10中就有7-8人使用基于Android平台的智能设备。本系统用户端采用安卓平台作为目标,目标人群广泛,具有极强的实用性。
在中国互联网浪潮与各大设备厂商的推动下,目前市场上占有量最大的千元机也具有了极佳的运算性能与图像采集性能,为本系统的广泛应用提供了可能,以千元机魅蓝3S为例,其具体参数如下:
l SOC:MTK MT6750芯片(含CPU,GPU, SDRAM等)
l CPU:ARM® Cortex®-A53™ 1.5GHz x4 + ARM® Cortex®-A53™ 1.0GHz x4
l GPU:ARM Mali T860,支持vULKAN1.0,OpenGL ES 3.2,OpenVG 1.1,OpenCL Full Profile 1.2,Direct3D 11.2,feature level 11_1
l 内存:2GB/3GB LPDDR3
l 摄像头:1300 万像素,ƒ/2.2 (后置),500 万像素、ƒ/2.0 (前置)
l 网络支持:802.11 a/b/g/n 无线网络(支持 5GHz 和 2.4GHz 频段)、Bluetooth 4.0、GSM 850/900/1800/1900MHz、TD-SCDMA 1900/2100MHz、WCDMA 900/2100MHz、CDMA 2000/1x ev-do、TD-LTE B38/B39/B40/B41、FDD-LTE B1/B3/B7。
l 音源输出:3.5mm插孔
l 板载存储:板载16GB/32GB ROM,支持Micro SD卡扩展
l 总体尺寸:141.9 x 69.9 x 8.3mm
3. Web云平台
3.1 云平台的硬件环境
(1)高性能服务器要求
高性能服务器以可承载多用户访问、具有高速运算性能与网络访问性能为目标,以ThinkServer RD450机架式服务器为例,其具体参数如下:
l CPU:Intel Xeon E5-2609 v3,1.9Ghz,22nm制程,QPI 6GT/s,六核心六线程
l 内存:1×4GB DDR4 2133,最大可至512GB
l 硬盘:SAS,1×1TB热插拔SATA3.5寸硬盘(7200转),最大可拓展到32TB存储空间,支持RAID 0/1/10
l 网络接口:1×1Gb独立网络管理端口,可由PCI-e接口拓展
l 网络带宽:视用户数量确定,建议100Mbps或更高上下行对等带宽
(2)私有云平台要求
私有云平台以服务较少数量用户为目标,需要兼顾功耗、成本等方面取得平衡,测试系统采用的树莓派硬件平台可以较好地兼顾上述要求,为探究低成本解决方案提供了参考思路。
树莓派是一款基于Linux系统的只有一张信用卡大小的单板机计算机,目前最新版本已到了3代B型,使用Micro SD卡作为存储媒体,其具体参数如下:
l SoC:Broadcom BCM2837芯片(含CPU,GPU,DSP和SDRAM)
l CPU:ARM Cortex-A53 1.2GHz 64-bit quad-core ARMv8 CPU
l GPU:Broadcom VideoCrore IV,OpenGL ES 2.0,1080p 30 h.264/MPEG-4 AVC高清解码器
l 内存:1GB (LPDDR2)
l USB 2.0接口个数:4(支持USB hub扩展)
l 视频输出:RCA视频接口输出(仅1代B型有此接口),支持PAL和NTSC制式,支持HDMI (1.3和1.4),分辨率为640 x 350 至 1920 x 1200 支持PAL 和NTSC制式
l 板载存储:Micro SD卡插槽
l 网络接口:10/100以太网接口、802.11n Wireless LAN
l Bluetooth 4.1、Bluetooth Low Energy (BLE)
l 外设:17个GPIO及HAT规格铺设
l 电源与额定功率:5V / 通过MicroUSB或GPIO头、800mAH(4.0W)
l 总体尺寸:85 x 56 x 17mm
3.2 云平台的操作系统
采用开源的Linux系统。Linux是一套免费使用和自由传播的类Unix操作系统,是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。它能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承了Unix以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。
3.3 云平台采用框架
系统采用目前社会上软件开发领域流行的MVC开发模式,该开发模式是基于Spring+SpringMVC+Hibernate 三大框架的整合。框架的系统从职责上分为四层:表示层、业务逻辑层、数据持久层和域模块层,以帮助开发人员在短期内搭建结构清晰、可复用性好、维护方便的Web应用程序。本系统使用SpringMVC作为系统的整体基础架构,负责MVC的分离,控制业务跳转,利用Hibernate框架对持久层提供支持,Spring做管理,管理SpringMVC和Hibernate。
4. 系统开发语言与功能库
本系统Android平台与Web云平台均采用Java作为开发语言,使用OpenCV库来支撑图像融合算法。
Java是由Sun Microsystems公司推出的Java面向对象程序设计语言(以下简称Java语言)和Java平台的总称。由James Gosling和同事们共同研发,并在1995年正式推出。Java最初被称为Oak,是1991年为消费类电子产品的嵌入式芯片而设计的。1995年更名为Java,并重新设计用于开发Internet应用程序。用Java实现的HotJava浏览器(支持Java applet)显示了Java的魅力:跨平台、动态Web、Internet计算。从此,Java被广泛接受并推动了Web的迅速发展,常用的浏览器均支持Javaapplet。另一方面,Java技术也不断更新。Java自面世后就非常流行,发展迅速,对C++语言形成有力冲击。在全球云计算和移动互联网的产业环境下,Java更具备了显著优势和广阔前景。2010年Oracle公司收购Sun Microsystems。
OpenCV是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发,以BSD许可证授权发行,可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的IPP进行加速处理。采用C++语言编写,该库拥有有大量的Python, Java 和 MATLAB/OCTAVE (版本2.5)的接口。这些语言的API接口函数可以通过在线文档获得。
5. 我们开发的用户与云端协同设计的应用系统
基于图像融合技术的云端真实场景重现系统分为Android用户端和Web云端两个部分:
l Android用户端:Android用户端承担了用户交互与源文件获取的操作,通过多点触控交互界面的设计、账户登陆设计等,可以使用户具有良好的操作体验。后期进行辅助功能如摄影融合辅助等的设计,可以探讨本系统在进行艺术创作方面的应用前景。
l Web云端:Web云端承担了图像融合与最终结果管理等的操作,通过与云服务相结合,可以有效降低融合算法对本地的电量消耗、避免如发热等带来的不良体验。Web云端的功能是可扩展的,项目完成后,可以探讨云端在其他平台或网页方面的应用。
二、预期成果
(1)搭建基于图像融合技术的云端真实场景重现服务系统。
(2)以基于图像融合技术的云平台为基础,开发具有良好交互与用户体验的Android端软件平台。
(3)发表论文1篇,及申请软件著作权1项。
年度目标和工作内容(分年度写)
2017年:
主要完成与项目相关的知识储备,确定用户终端与云端平台的交互方式、规划系统功能并设计交互界面及其功能,完成测试平台的全部搭建工作。具体安排如下:
(1)2017年1月-2017年2月
小组成员进行测试平台软硬件环境的搭建工作,深入了解平台特性。
(2)2017年3月-2017年4月
小组成员学习Adoriod平台与Web云平台的开发,熟悉Linux环境下服务器的部署与运行调试。
(3)2017年5月-2017年6月
小组成员进行Android平台与Web云平台的工作流程与对应接口设计,并在完成真实环境下的测试工作。
(4)2017年7月-2017年8月
完成用户交互界面的UI/UE设计,确定界面设计语言风格,优化用户交互体验。
(5)2017年9月-2017年12月
规划设计系统辅助功能模块,并根据用户需求调查进行动态调整。
小组成员进行系统设计与搭建,Android平台使用Android Studio作为开发工具,Web云平台暂选Spring + Spring MVC + Hibernate 作为开发框架。Android Studio 是一个由Google官方发布维护的Android集成开发工具。对Android平台具有极佳的兼容性,并且能够紧跟最新Android版本的特性。Web云平台采用目前流行的MVC开发模式,使用Spring MVC作为系统的整体基础架构,负责MVC的分离,控制业务跳转,利用Hibernate框架对持久层提供支持,Spring进行管理。
2018年:
主要完成图像融合算法实现、Android平台与Web云平台系统的功能实现、整个系统的调试及后续工作。具体安排如下:
(1)2018年1月-2018年2月
实现Android平台的用户交互功能,并完成与Web平台的数据对接工作。
(2)2018年3月-2018年6月
完成图像融合算法在Android平台与Web云平台的实现,并进行功能调试。
(3)2018年7月-2018年10月
进行系统辅助模块的功能实现,优化用户界面及体验,进行整体系统的内外网环境下的测试工作。
(4)2018年11月-2018年12月
对系统成果进行封装、调试,检测系统稳定性,完善系统性能。撰写用户使用手册,提交项目结题材料。总结项目执行经验,以方便后续研究。
图像融合算法主要基于JAVA语言与OpenCV库进行实现。整体系统功能实现后,将在内网环境下进行部署测试,并进行调试工作。内网调试完成后,将会将系统部署在外网服务器上进行测试。
|
指导教师意见
图像处理与云服务是近年信息产业尤其是互联网领域的热门话题,许多IT企业都将其作为今后的重点发展方向。特别是随着以Android平台为代表的智能手机的普及,使二者的应用场景获得了极大的扩展,实现了从专业领域到消费领域的全面覆盖。
目前,图像处理与云服务整合的形式大多还停留在初级阶段,多数仍以简单的云备份为主,两者间少有深度整合的案例,因此,本项目具有很深的理论意义和广泛的应用前景,项目对二者结合的构思也为未来提供了一个参考方向,具有良好的创新意义。
本项目组前期研究充分,提出问题实际,解决问题思路清晰可行。所有组员均具备自我学习和实践动手能力,有很强的创新精神,并已经具备一定的专业基础,所做技术方案合理,对项目的重点和难点分析准确,难点有替代方案,能够执行相关项目实验。
综上,本人推荐本项目组申报大学生研究性学习和创新性实验计划项目。
签字: 日期:
|
附录1:系统主要硬件设备清单
序号
|
名 称
|
描 述
|
单价(元)
|
外观
|
1
|
Android终端
|
为Android平台软件的调试、测试、发布等提供支持
|
1000
|
|
2
|
台式服务器
|
发送、接收、处理用户端发送的数据,为Web服务器提供硬件支持
|
4000
|
|
3
|
树莓派
|
为项目初期测试提供硬件支持
|
250
|
|
4
|
树莓派电源、保护壳、散热器
|
为树莓派供电、散热,以保证其稳定运行
|
50
|
|
5
|
32GB存储卡
|
用于在树莓派上安装系统及存储数据
|
60
|
|
6
|
USB键鼠
|
用于操作树莓派
|
100
|
|