(一) 项目简介
本项目努力解决现有智能物联网终端设备基础数据可视化水平较低实际情况,努力实现基于物联网的多维数据可视化分析系统。随着实体企业在生产过程中对于生产的智能物联网终端数据质量要求掌控程度不断提高,实体企业希望获取更多实际有效数据同时,能直观针对生产过程中实际产生数据进行可视化分析与处理,希望软件系统能够针对实际生产数据进行解析与展示,向企业直接通过图表形式展示生产过程问题与细节提供便捷方式。
(二) 研究目的
本项目计划以指导教师目前正在执行的长沙市科技计划项目(重大专项)“基于边缘计算的物联网终端研制及应用”(湖南中联重科智能技术有限公司、新利luck在线·(中国)有限公司官网联合申请立项)为基础条件,充分实践新利luck在线·(中国)有限公司官网、湖南省教育厅一贯倡导的“教学促进科研,科研反哺教学”,结合湖南中联重科智能技术有限公司现有研制智能物联网终端设备为基础设备,努力解决现有智能物联网终端设备基础数据可视化水平较低实际情况,努力实现基于物联网的多维数据可视化分析系统。
可视化数据分析系统能够满足实体企业对于智能物联网终端设备上位机的实际数据分析需求,以本科生团队为主体设计实现可视化数据分析系统为智能物联网终端设备关键技术研究工作提供有效解决方案和原型系统。
(三) 研究内容
本项目中选用智能物联网终端已具备功能:
(1)具备针对底层协议进行解析操作的分析能力(例如:通讯协议:Modbus、OPC等;总线协议:CAN、PROFIBUS等;无线协议:Wireless、BT等);
(2)具备对云端平台的协议进行对接的操作能力,对云平台的即时通讯能力(例如:以太网、Wifi、4G、NB-IoT等);
(3)结合微机电系统(MEMS)传感节点技术,具备对上层和对下层私有协议完成二次开发的设计能力;
(4)支持设备数据主动采集、描述式理解以及用户自定义条件过滤和汇聚;
(5)具备开放融合系统能力,能够配合云端为手机APP程序提供支持。
图1 设备整体核心技术结构图
随着实体企业在生产过程中对于生产的智能物联网终端数据质量要求掌控程度不断提高,实体企业希望获取更多实际有效数据同时,能直观针对生产过程中实际产生数据进行可视化分析与处理,希望软件系统能够针对实际生产数据进行解析与展示,向企业直接通过图表形式展示生产过程问题与细节提供便捷方式。本项目研究设计可视化数据分析系统属于图1所示“物联网终端”设备整体核心技术框架图中“数据平台及利用”方面,基于智能物联网终端进行上位机软件系统设计与实现同时为企业提供便捷操作方法是项目核心研究内容。
(四) 国、内外研究现状和发展动态
全球新一轮科技与产业革命方兴未艾,从德国“工业4.0”到美国“工业互联网”,世界各国在智能制造领域激烈角逐,争夺制造业发展主动权。国务院发布《中国制造2025》作为我国实施制造强国战略的行动纲领,提出了建设制造强国目标,即:通过“三步走”步伐实现制造强国的战略目标。其中,第一步就是截止到2025年,中国要迈入制造强国序列。
在国家发布“中国制造2025”行动纲要之后,湖南省科技厅和长沙市就先后发布《湖南省高新技术产业开发区创新驱动发展提质升级三年行动方案(2017-2019年)》、《国家智能制造中心创建方案》,长沙依托本土高校的科研优势,积极引进北斗产业高技术人才,初步建成了集高端技术、高端产品、特色应用示范、产品检测为一体的具有自身核心优势的产业集群。为加快推进长沙“国家智能制造中心”核心区建设工作,抢抓“中国制造2025”和“互联网+X”行业机遇,作为制造业智能化的核心部分,必须加速物联网终端核心技术的研究与建设,通过物联网技术实现工业连接、工业网络化。
本项目设备支持实体企业湖南中联重科智能技术有限公司(中联智能)作为长沙智能制造示范企业,已通过移动互联网、云计算、大数据、物联网等与智能装备制造行业的结合来推进智能制造产业,促进企业转型升级。以物联网作为有效手段来形成层次更丰富的信息系统,将人与人、物与物、人与物实现全面连接。目前,中联智能已开展物联网云平台建设工作,通过智能装备行业几十万台数据的连接,以及海量连接后的数据分析,从而为行业提供新的业务价值,为长沙智能制造推进发展起到示范作用。中联智能现有设备应用框架图和智能物联网框架图,如图2所示。
图2 现有设备应用框架图
物联网通过网络实现感应器、设备和终端的联接。边缘计算是指在靠近物或数据源头的网络边缘侧,就近提供边缘智能服务。全球将有超过500亿的终端和设备联网,超过50%的数据需要在网络边缘侧进行处理和分析。IDC的报告早就向我们揭示了未来网络发展的新趋势:未来,网络流量的50%将来自物联网,而40%的物联网流量将在边缘进行处理。
国内外目前已有诸多企业着手开展很多边缘计算与雾计算方面的技术研究工作,同时也研制相应产品。国外,Intel在全球范围内推动了三个联盟,分别是工业互联网联盟IIC,开放互联基金会OCF,开放雾计算联盟OFC(Open Connectivity Foundation),其中OCF就是主要针对边缘计算,针对物联网的理解它是端到端的系统,分为边缘和后端平台两部分,中间通过网络进行连接,在边缘部分,认为它包含数据采集、网关及数据处理等等模块,在后端完成的是数据的处理机设备的远程管理。戴尔追加发布专门针对工业应用边缘计算产品,从汽车、无人机、医疗设备到机器人领域设备连接数量增长趋势可以看到,越来越多企业正在从云计算模式转向雾计算应用。2017年4月,国际雾计算产学研联盟大中华区在上海宣布正式成立,此举标志着国际雾计算产学研联盟(OpenFog联盟)在大中华地区的正式落地。国际雾计算产学研联盟大中华区的成立与不断发展将有力促进前沿技术交流,加速实现国际主流物联网技术与国内产业需求的深度融合,大力推动物联网技术在中国的产业化进程,全面开启与国际接轨的物联网产业新生态。
图3 现有智能物联网框架图
“雾计算”概念由思科首创。有别于云计算,雾计算所采取的架构更分散、更接近网络边缘。雾计算可利用靠近终端的设备进行数据处理,从而对于物联网庞大的信息量传送至云计算中心时引发的占用带宽过多或负载过重的情况进行有效的改善。通过将计算、通信、控制和存储资源与服务,分配给离用户或数据源最近的设备和系统,雾计算可以帮助实现云能力的延伸和拓展,从而提供统一的端到端云+雾平台、服务和应用。利用开放的标准方法,OpenFog架构将云端的无缝智能与物联网终端联合在一起,从传统封闭式系统以及依赖云计算模型,进化成为一种全新的计算模型。
物联网互连、机器与机器的通信、实时计算需求和联网设备需求正驱动雾计算市场不断发展。国际雾计算产学研将有效聚合行业资源及技术能量,推动中国产学研各界在雾计算等物联网领域实现合作共赢,促进多元化物联网技术应用普及和产业发展,充分释放雾计算的无限潜力,合力构建中国物联网产业新生态。雾计算与云计算互相协同工作,共同促进行业转型:云计算聚焦非实时、长周期数据的大数据分析,在周期性维护、业务决策支撑等领域发挥特长;雾计算聚焦实时、短周期数据的分析,能更好地支撑云端应用的大数据分析。
可视化技术是为了从高维数据中获取有用信息和了解数据结构将数据进行图形化展示的过程。可视化技术为分析和理解高维数据提供了有效手段,它能显示数据隐藏的变化规律,帮助用户进行决策判断和信息理解。中联智能的智能物联网终端设备基础数据就属于高维数据集。国外针对可视化技术研究比国内开始的时间要早,从20世纪80年代末国外就提出了可视化技术,国外对于可视化技术的研究比较深入且在可视化技术上取得了比较好的成果,可视化技术在国外得到了很大发展并得到了广泛应用,例如在地质学、气象学、海洋学、生物学、医学等诸多科学和工程领域都应用了可视化技术。我国可视化技术起步相对国外来说较晚,近年来我国可视化技术才得到较高重视和普及。
(1)平行坐标可视化
平行坐标可视化是高维数据显示的一种常用技术,它能在二维空间内对高维数据进行直观展示。随着数据维度的增加和数据量的增大,传统的平行坐标可视化产生数据杂波的问题。高维数据可视化的结果是非常混乱的,用户很难分析和理解数据样本。近年来,科研人员已经做出很大努力,以减少平行坐标可视化杂波问题,提高高维数据可视化结果。
针对平行坐标可视化方法的研究改进主要有两个方面:一方面是增强平行坐标可视化效果,在可视化效果的增强上有很多代表性成果,其中Ying-Huey Fua[1]等人提出了分层平行坐标可视化技术,这种可视化技术将高维数据集合用树形结构进行展示,可以帮助用户分析隐藏的信息和数据结构,但分层平行坐标可视化时间复杂度较高。Liang FuLu[2]等人介绍了一种对平行坐标可视化维度进行重排的算法,在文中描述了一种非线性相关方法来计算维度之间的相似性,调整维度位置以便相似维度之间是相邻的。Wei Peng[3]等人概述了平行坐标可视化维度重排算法,并简单介绍了几种启发式的维度重排方法。Koto Nohno[4]等人提出的重排算法和Almir Olivette Artero[5]等人文章中提出的维度重排算法对于高维数据平行坐标可视化效果显示也起到了重要作用,提高了高维数据可视化效果的可读性。Jing Yang[6]等人提出了一种交互平行坐标可视化方法,用户可以操作平行坐标可视化的结果,例如进行维度重排、调整维度间距等,加强交互性,提高可视化效果。但在这些可视化方法中,没有对高维数据集合的数据进行处理,主要是优化了维度之间关系。
另一方面,主要是将平行坐标可视化方法和其他数据挖掘技术进行结合,也有很多代表性的成果,通过使用这种方法,用户可以从高维数据集中获取有效信息,并将数据挖掘结果进行可视化。Khadidja Ameur[7]等人提出了一个可视化方法,结合聚类技术和平行坐标可视化,通过这种可视化方法,用户可以直观分析数据集中有用信息和隐藏的数据结构。Almir Olivette Artero[8]等人优化平行坐标可视化中聚类的结构,以便更好帮助用户进行分析。Hong Zhou[9]等人展示了聚类平行坐标可视化。Alfredo Cuzzocrea[10]等人在文中总结了平行坐标可视化数据挖掘的优缺点。Geoffrey Ellis[11]等人总结了平行坐标可视化杂波的各种方法,文中将杂波消除技术进行分类并简单介绍几种启发式方法,其中聚类方法是一种关键技术。但在这些代表性成果中,它不能保证数据进行聚类和可视化之前数据已有一个很好的维度顺序。
(2)散点图可视化
散点图可视化也是一种重要的高维可视化技术,在高维数据显示上起到了重要作用,它主要是通过降维技术进行低维空间的显示。散点图可视化方法可以直接显示数据之间的相互关系,发现数据隐藏规律,方便用户进行分析。目前散点图可视化得到广泛应用。
B. Dash[12]等人提出了一种结合PCA和K-means聚类的方法用来处理高维数据集合,并进行散点图效果展示。在这种方法中,首先将高维数据降维到二维空间然后进行聚类分析,在散点图中进行结果显示。这种方法可以有效地挖掘高维数据集合。D. S. Rajput[13]等人通过特征选择和聚类算法实现高维数据分析,并将结果进行散点图可视化。A. Musdholifah[14]等人的文章中也是利用降维技术将高维数据集合进行数据挖掘和可视化分析,当数据量特别大时,数据挖掘和可视化的效率都比较低。
随着聚类技术不断发展,I. Asseent[15]等人提出了子空间聚类结果应用散点图可视化。在文中不再使用降维技术将高维数据集合进行降维聚类然后可视化,而是直接用子空间聚类处理高维数据集合,再将结果用散点图展示,这种可视化结果展示虽然保持了信息的完整性,但这种可视化方法的时间复杂性比较高。王开军[16]总结了多维数据聚类散点图可视化,在文中对各种降维散点图可视化方法进行总数。为了更好的展示高维数据集合,保持高维数据信息,散点图可视化技术得到了扩展,Yunzhu Zheng[17]等人提出了散点图矩阵可视化,这种可视化技术可展示高维数据两两维度之间的关系。
本项目充分运用新利luck在线·(中国)有限公司官网计通学院、合作企业已有基础条件、项目小组团队各方优势达到互补作用,以计算机科学与技术卓越工程师培养方案为参考条件,重点致力于把移动网关功能及应用和内容部署到物联网终端设备,就近选择提供智能终端连接与数据处理业务,让不同类型应用与数据在物联网网络终端设备进行本地化处理,实现业务实时、业务智能、数据聚合与互操作、安全与隐私保护等关键智能服务,达到有效降低时延、提高计算速度、提高资源转换效率研究目标,有效提升业务智能决策效率。基于上述智能物联网关设备来实现可视化数据分析操作是本项目具体实施内容。
参考文献
[1] Ying Huey Fua, Matthew O Ward, Elke A Rundensteiner. Hierarchical parallel coordinates for exploration of large datasets. In: Proceedings of the conference on Visualization, IEEE, 1999: 43-50.
[2] Liang Fu Lu, Mao Lin Huang, Tze-Haw Huang. A new axes reordering method in parallel coordinates visualization. In: Proceedings of Machine Learning and Applications, IEEE, 2012: 252-257.
[3] Wei Peng, Matthew O Ward, Elke A Rundensteiner, et al. Clutter reduction in multi-dimensional data visualization using dimension reordering. In: Proceedings of Information Visualization, IEEE, 2004: 89-96.
[4] Koto Nohno, Hsiang-Yun Wu, Kazuho Watanable, Satoshi Takahashi, Iwao Fujishiro. Spectral-based contractible parallel coordinates. In: Proceedings of Information Visualization, IEEE, 2014: 7-12.
[5] Almir Olivette Artero, Maria Cristina Oliveira, Haim Levkowitz. Enhanced high dimensional data visualization through dimension reduction and attribute arrangement. In: Proceedings of Information Visualization, IEEE, 2006: 707-712.
[6] Jing Yang, Wei Peng, Matthew O Ward, Elke A Rundensteiner. Interactive hierarchical dimension ordering, spacing and filtering for exploration of high dimensional datasets. In: Proceedings of Information Visualization, IEEE, 2003: 105-112.
[7] Khadidja Ameur, Nadjia Benblidia, Saliha Oukid-Khouas. Enhanced visual clustering by reordering of dimensions in parallel coordinates. In: Proceedings of IT Convergence and Security, IEEE, 2013: 1-4.
[8] Almir Olivette Artero, Maria Cristina F de Oliveira, Haim Levkowitz. Uncovering clusters in crowded parallel coordinates visualizations. In: Proceedings of Information Visualization, IEEE, 2004: 81-88.
[9] Hong Zhou, Xiaoru Yuan, Huamin Qu, Weiwei Cui, Baoquan Chen. Visual clustering in parallel coordinates. In: Proceedings of Computer Graphics Forum, 2008: 1047-1054.
[10] Alfredo Cuzzocrea, Davood Zall. Parallel coordinates technique in visual data mining: advantage, disadvantages, and combinations. In: Proceedings of International Conference on Information Visualization, IEEE, 2013: 278-284.
[11] Geoffrey Ellis, Alan Dix. A taxonomy of clutter reduction for information visualization. IEEE Transactions on Visualization and Computer Graphics, 2007, 13(6): 1216-1223.
[12] B Dash, Debahuti Mishra, A Rath, Milu Acharya. A hybridized k-means clustering approach for high dimensional dataset. International Journal of Engineering, Science and Technology, 2010, 2(2): 59-66.
[13] D. S. Rajput, P. K. Singh, M. Bhattacharya. Feature selection with efficient initialization of clusters centers for high dimensional data clustering. In: Proceedings of Communication Systems and Network Technologies, 2011: 293-297.
[14] A. Musdholifah, S. Z.M. Hashim, R. Ngah. Hybird pcailge clustering approach for high dimensional data. IEEE Transactions on Systems, Man and Cybernetics, 2012, 33(4): 420-424.
[15] Ira Assent, Ralph Krieger, Emmanuel Muller, Thomas Seidl. Visa: visual subspace clustering analysis. ACM SIGKDD Explorations News Letter, 2017, 19(2): 5-12.
[16] 王开军. 多维数据的聚类结果可视化技术综述. 福建师范大学学报, 2012, 28(4): 115-124.
[17] Yunzhu Zheng, Haruka Suematsu, Takayuki Itoh, Ryohei Fujimki, Satoshi Morinaga, Yoshinobu Kawahara. Scatter plot layout for high dimensional data visualization. Journal of Visualization, 2015, 18(1): 111-119.
(五) 创新点与项目特色
(1)本大学生研究性实验项目涉及计算机科学与技术、物联网两大学科中网络、通信、信息处理等多个研究领域,课题内容符合多维数据可视化主题,反映了当前信息化与大数据处理两大重要领域的最新技术进展前沿。不仅有利于大学生在执行过程中贯通计算机科学技术专业原理课程的理论体系,又能兼顾专业研究与应用动手实践能力的培养,为学生专业素质的锻炼和形成提供了切实可行的途径。
(2)针对可视化数据分析系统进行应用性研究实践工作。本课题拟提出基于智能物联网终端的数据分析算法。本小组将通过理论分析和具体实验表明本可视化数据分析系统在企业实际工作中的具体功效水平。
(3)本项目拟依据软件工程规范流程实现可视化数据分析系统,并融入本项目提出的数据分析算法,实现本项目预期实现的可视化数据分析系统。
(六) 技术路线、拟解决的问题及预期成果
1.技术路线
针对物联网技术目前现存问题:(1)业务实时性差:很多应用场景(工业检测、控制、执行)实时性要求高。如果数据分析与逻辑控制完全在云端实现,难于满足业务实时性要求,出现网络拥塞、高延时、低服务质量等现象;(2)数据爆炸与网络流量压力大:物联网产生数据量庞大,2020年预期每年产生44ZB规模以上数据量。所有终端设备与传感器采集数据无法全部传至云端平台,需要寻求有效解决方案;(3)安全与隐私保护差:数据通过网络实现端到端传输过程,云平台需要接入大量终端设备,访问控制与威胁防护难度大幅提高,关键数据完整性、保密性需要提高保护。
对物联网而言,意味着许多控制将通过本地设备实现而无需交由云端,处理过程将在本地边缘计算层完成。这无疑将大大提升处理效率,减轻云端的负荷。由于更加靠近用户,还可为用户提供更快的响应,将需求在边缘端解决。在边缘部分,它包含数据采集、网关及数据处理等模块,实现终端及设备的海量、异构与实时连接,边缘侧引入数据分析、数据存储与业务自动处理能力,智能化执行本地业务逻辑,能够更好地对本地和云端进行监测和防护,并对数据进行加密,雾计算结构框架如图4所示。
图4 雾计算系统结构框架图
本项目采用智能物联网终端继承数据采集、存储、分析等已传输功能,智能物联网终端已广泛应用制造行业。本项目计划以合作申请企业研发生产的智能物联网终端设备作为研究对象,通过雾计算模式在物联网中的应用来集成数据采集、计算、存储、传输等功能,提高物联网技术的应用水平,开展物联网终端设计、制造、数据可视化、质量评估等方面的相关实际研究。本可视化数据分析系统整体结构如图5所示,智能物联网终端的主要技术参数如表1所示。
表1 智能物联网终端主要技术参数
|