工业大数据应用技术架构设计(经验分享)

  • 时间:
  • 浏览:0
  • 来源:大发5分3D_大发5分3D投注平台_大发5分3D娱乐平台

目前,工业大数据的应用可能性成为一项热点,与完后 的型态化数据除理相比工业大数据架构明显存在着不同。对于大多数企业以及规划人员而言,工业大数据还可是我概念层面的事情,大数据技术不明确,底层设备和技术不统一,存在比较严重的数据孤岛大现象和数据质量大现象。为此,从应用的高度出发,将不同层面的应用技术进行汇总,为亲戚亲戚我们 提供一套工业大数据应用技术架构。这是可是我我某些人应用项目的实际总结,如有不当之处还请指正,不胜感激。

工业大数据应用技术架构设计

工业大数据除理方案总体需求服务包括底层工业现场设备数据的挂接、云端上层分布式存储、智能分析、实时监控管理等。其数据除理流程可分为数据的挂接阶段、数据存储、数据分析到最终的可视化决策管理。首先,在数据挂接阶段将多种数据源数据挂接进入本文构建的工业大数据平台,根据不同数据的型态及实际需求,将其以不同的存储法子存储;接着,在数据分析阶段,通过相关的数据分析工具组件对数据进行分析挖掘,可对结果进行进一步的存储。上一步的分析结果进行可视化除理用于最终的决策管理环节。

根据上述流程每个环节用的技术与服务对平台总体架构进行设计,如下图所示:

1)数据层服务:考虑到数据源类型的多样性以及未来云平台的可扩展性,在设计中将数据源分为文本类型的数据、数据库数据、工业现场设备数据以及来自互联网络的某些类型的接入数据。根据不同数据源的数据,数据层提供数据实时获取服务以及数据订阅获取服务,其中订阅获取服务是从数据源中取舍感兴趣的数据,包括数据源新增的数据、数据源变动较大的数据等;

2)存储层服务:对于数据层获取到的数据,在存储层提供多种类型的存储法子。根据数据类型的型态,取舍将数据以文件的形式存入分布式文件系统,可能性将数据以数据库的法子存储。在数据库存储的设计上,考虑到不相似型数据库的优势以及实际生产中的需求,存储系统同时提供传统关系型数据库、NoSQL非传统关系型数据库以及数据的高速缓存服务;

3)计算层服务:存在存储层的上一层,提供多量数据的分布式并行计算能力。考虑到Spark平台的优秀计算能力,该层取舍构建于Spark核心引擎之上;

4)分析层服务:在数据的分析层,提供人工神经网络算法、基于Spark MLlib的常用机器学习算法以及某些常用统计学算法,同时支持未来对于某些算法的拓展;

5)管理层服务:存在架构的顶层服务提供用户基于云端的监控、分析、查看、管理等较多管理层服务。

数据集成法子

数据集成是将多种物理可能性逻辑上分散的目标数据源数据进行挂接、统一存储的过程。其是对多种数据源数据挂接入云、除理“数据孤岛”大现象的关键一环。日常工业场景中后能 将数据源数据分为四类,具体数据类型和集成法子如下:

1)针对工业现场中设备、传感器等数据,通过OPC UA协议进行数据的挂接。通过开发OPC UA客户端实现与远程工业现场设备对组态,从而实现数据的挂接传输,接入本文中的工业大数据云平台;

2)针对日志文本等数据文件,以文件上传的法子提供文件的云端挂接功能;

3)针对传统关系型数据库数据,通过Sqoop组件实现云平台对该类型数据的挂接;

4)针对某些网络数据,提供以HTTP、TCP/IP协议的法子实现云端对该类数据的挂接。

数据集成服务由数据集成模块组成,实现云平台对于多种数据的接入功能,提供法子实际生产中不同的需求从相应的数据源进行数据的挂接服务,同时支持数据的订阅服务。考虑到云平台未来的可扩展性以及其两种在多种场合的适用性以及可靠性,本文将数据集成模块设计为上边件。上边件后能 理解为一有有有一个 相对独立的软件可能性系统,其职责较为单一,专门为某些系统可能性应用守护进程提供服务。

数据存储层架构

数据存储层实现本文中的云平台对于多量数据的缓存和存储功能。为了使该云平台后能 为不相似型的数据提供比较复杂的存储法子,本文基于存储层服务对常用存储组件进行了整合。架构主要包括以下三方面:

1)云端分布式存储子系统基于Hadoop构建,而且,其提供将数据以文件的形式存储于HDFS分布式文件系统之上。

2)为了便于对某些数据的查找更新等管理操作,在云端分布式数据存储子系统中部署了HBase以提供对于非型态化数据存储的良好支持;同时,考虑到实际应用中传统关系型数据库在对某些型态化数据的查找更新方面具有非常简便高效的特点和优势,因而在云端分布式数据存储子系统中部署了MySQL传统关系型数据库,助于本文构建的工业大数据云平台对于数据在数据库方面具有比较复杂的支持。

3)考虑到云平台在实际应用开发中某些场合的高效性,本文构建的工业大数据云平台部署了高效的数据缓存组件Redis,该组件是一有有有一个 支持多种数据类型和存储法子的Key-Value即键值对型的数据存储系统,具有开源、高性能、多种开发语言支持的优势,提供基于计算机内存的数据高速缓存功能。

数据分析除理

为了挖掘潜藏在数据中的信息,云平台以数据分析模块为核心,提供针对于工业大数据的预测分析功能。数据分析模块以人工神经网络等相关算法为核心实现对于工业数据的预测功能。另外,该数据分析模块构建于Spark分布式计算平台之上,两种提供了基于Spark MLlib的机器学习算法库(除了MLlib算法库外还有可是我 种算法,后能 根据实际需要进行取舍),这使得本文中的工业大数据云平台在未来的开发中后能 很好对某些机器学习算法进行支持和拓展,具体步骤如下:

第一步:从数据存储层输入待训练数据,并对数据进行相应的数据预除理操作,以降低数据质量大现象对模型造成的不良影响;

第二步:经过数据预除理操作后,进行模型的训练操作。此偏离 构建于Spark Core Engine即Spark的核心引擎之上,以保证云平台对于模型的快速构建能力;

第三步:对初步训练好的模型进行测试,获取其测试信息。在达到预期模型效果的情况报告下进入下一步操作;而且重复本步骤操作;

第四步:将训练好的模型存储至云端模型仓库;

第五步:将停留预测的数据从某些模块输入数据分析模块,进行相应的模型调用操作,最终生成该预测数据的预测数值,完成数据的预测分析。

人员岗位

对于企业而言如何配置自身的大数据管理人员岗位,作为某些人又如何规划自身的大数据之路呢?这里我借用一张培训机构的图说明大现象。

来源:Raymond 两化融合服务号

注:文章内的所有配图皆为网络转载图片,侵权即删!

免责声明:本文由入驻贤集网资讯专栏的作者撰写可能性网上转载,观点仅代表作者某些人,不代表贤集网立场。如有侵权可能性某些大现象,请联系举报。

本网转载并注明自其它来源的作品,目的在于传递更多信息,何必 代表本网赞同其观点或证实其内容的真实性,不承担此类作品侵权行为的直接责任及连带责任。某些媒体、网站或某些人从本网转载时,需要保留本网注明的作品来源,并自负版权等法律责任。

如涉及作品内容、版权等大现象,请在作品发表之日起一周内与本网联系,而且视为放弃相关权利。