新闻动态
工业数据采集背后的那些坑(上)
来源: | 作者:pmod6d781 | 发布时间: 2023-06-21 | 3604 次浏览 | 分享到:
K2专注工业数据管理和价值挖掘,但有时巧妇难为无米之炊。数据采集是工业企业数字化转型过程中的重要一环,随着数据分析的回溯,很多走在前列的工业企业仍在不断修缮数据采集工作。数据采集到底有哪些挑战和哪些常见的坑,这期我们简单聊聊。


Q1:做数据采集的目的是什么?

大部分工业企业做数据采集,有两种朴素的诉求:一种是要做监控,做控制,就有相关的数据采集需求;另一种是现在新型的设备都有数据采集的功能,虽然我现在不知道怎么用,但是先采集起来,将来都是资源。数据采集是整个数据分析的基础,所以基础的工作先做。

大概7~8年前,很多传统行业还没有数据意识,讲到数据采集的重要性,企业内部会有不同的声音,买一个数据采集的装置要多少钱,数据传输和存储需要多少钱,但投资回报没法算。到了今天,数据采集已经变成了一个理所当然的事情。生产制造运行过程的各种相关数据,是企业资产的一种形式,是未来发展的一种很重要的要素。工业企业对数据采集包括整个数据价值链条的认同感越来越强。


数据采集,狭义的目的非常多,因为可以依据数据去改善的业务场景非常丰富。回归技术本质,数据采集的目的是给数据处理和数据分析提供坚实的基础。



Q2:在当前阶段,通常哪些行业和领域的企业对数据采集及相关技术诉求比较强烈?


有些行业两化基础比较好,数字化转型较早,比如先进制造业,风机、水轮机等各种先进设备,以及高端电子制造产线,对设备稳定性要求高,早期的监控诉求为如今的智能分析提供了很好的数据基础。再比如能源行业,包括电力石油等,得益于资金雄厚和对国家政策的积极响应,重视数字化转型,走得比较早。电厂电网,现在可以说是无差别在推进数据采集和资源化的能力。

现在,各行各业的新建工厂和设备改造,都要求设备具有数据采集能力。从前几年的龙头企业,到现在腰部企业都开始注重数采。有一些企业,所处行业转型相对滞后一些,在两化建设的同时,也在同步思考,要采什么样的数据,从哪些基础应用做起。哪怕现在没有大数据分析的能力,设备有数采,就有监控的能力,这已经是工业企业的一种隐性准入门槛了。工业设备产线的采购招标中,数据采集能力,甚至是某些测点的数据采集到什么样的精度和质量都有明确要求,对应相关技术评分。

企业的数据采集,也不是一蹴而就的。以能源电力为例,做数据采集已经很多年,核电可能有十年了,持续至今,业务需求在演进,过去采集的数据测点数、精度、采集的维度,也还是有需要持续完善的地方。像风电,从最早的几十个测点,到现在一些实验机组和测试机组,几千个测点也挺常见。数据采集是一个不断滚动迭代的过程。



Q3:工业企业对数据采集有哪些具体的需求?


完整性是最基础的要求。比如有的场站,可能有大几千个,甚至几十万个这种规模的采集测点,首先要能够把这些数据完整地取回来。

稳定性要求。数据是不是能很稳定地上传,并且收回来?数据采集质量如何?如果数据经常有缺失有异常,采集精度肯定会影响后续数据分析。

时效性要求。毫秒级采集的设备,尤其是希望做到实时优化控制的,对时效性的要求就比较高。比如电网,有时需要在几十毫秒内能够把相关数据分析完,同时做出控制动作的响应。采集频次上对时间的要求不是那么高的,可以隔一段时间一传,比如工程机械领域某些测点是40秒传一次,或者是几分钟传一次。传的有可能是当时那个时点的数据,也可能是前几分钟或者几十秒的数据。

非侵入式要求。很多时候,数据是从原有的一些信息化系统,或是监控、控制类的系统中取。想拿的数据越全、越完整、量越大的时候,不可避免地对原有的系统会产生一定的冲击,。为了保障生产的平稳,很多企业会要求尽可能用非侵入式的监测采集,不要动原有的系统,不要影响原有的技术框架,不要去从底层的数据库去拿。这种非侵入性或者非干扰性,在工业现场也是很现实的诉求。

安全合规要求。特别是在影响国计民生的行业,大家越发重视数据的安全性,像电力系统的数据,在电站里其实散在一区、二区、三区,取数据要符合不同的防护等级要求。

成本因素。在一些从零开始建设的新兴工厂或者需要做技改的项目中,很多企业会根据业务场景倒推,做数据分析需要什么样的数据,来决定数采怎么做。很多装备制造企业,希望先在样机上多布一些传感器,通过数据分析的方式来进行降维。不影响分析场景和业务价值实现的前提下,结合设备的物理特性和机理模型,把传感器的数量降下去,先加后减。比如从1000个降到100个,这100个有代表性的测点能表征这台设备运行的特征,那将来生产这个设备或者做大规模改造的时候,只需要去加装这100个传感器就行。从数据分析的数据诉求和加装传感器的成本控制之间找平衡。


另外,在某些现实条件下,有一些很恶劣的工作环境,传感器根本就没法安装,只能用少量的测点、少量的传感器,通过一些相关性分析,间接推导出来想要发现的趋势。在条件允许的前提下,我们还是希望能够有尽量多维度的数据。因为推导过程越长,中间的变数越多,准确度就会影响最终的诊断结果。

Q4:工业数据采集的过程中碰到的挑战有哪些?


数据采集也是一种技术架构,但决定技术架构的并不是技术架构本身。它受制的因素有很多,有总体投入的因素、现场环境的因素、技术限制因素,例如有些点我想采但现在没能力采。采用哪些点?采什么频率?如何去管控风险?业务方推数据还是技术方拉数据更合理?从硬件到软件,从远端源头的传感器到后台的传输、应用各种问题。


在实际接入的过程当中,数据格式没有统一的标准。从数据接入角度来讲,很多厂商的数据格式都不一样,需要对每一种逐一适配。有时候需要从传感器开始去安装布置,还涉及到传感器选型安装,安装角度位置不一样都会影响采集精度。有时候是从其他系统通过一些数据接口或者通讯协议,给我们数据。但各种硬件接口都不统一,甚至一些比较陈旧的协议接口,维护人员都不知道原来是怎么做的了。软件层面,单是电力领域经常用的通讯协议就有十几种,也还好,毕竟有标准可循,虽然标准的覆盖面还不太理想。但有时候,一些厂家的装载监测系统完全是私有规约,是自定义的格式,是保密的,适配一下要收接口费。通过不同接口进来的数据还需要进一步时标对齐,方便后续分析。

我们用一些灵活配置的插件来适配各种工业协议解决了上一个难题,去读数的时候,发现PLC或是其他的一些信息化的系统,设计之初根本就没有考虑数据要外传的问题,数据量稍大一些,会影响响应效率,从而影响生产。还有现场很多设备都属于关键性的设备,不可以轻易停机,但是很多情况下的调试配置比较复杂,需要重启之后才能生效。这种技术和业务两难的操作也是非技术性的难点。

除了时序数据,数据分析有时候需要结合一些对象数据,比如说设备的维保记录,对健康度评价有很重要的辅助作用。但这一类对象数据,更是一个采集和分析的难点,很多现场记录是手写的,很难结构化采集。

Q5:数据采集有哪些通用性的原则?

原则也说不上,可以分享我们的一些经验。

第一,在工业领域做数据,哪怕做数据采集,肯定也是业务价值导向,想清楚采集的目的是什么,然后才知道采什么和怎么采。第二,考虑数据采集的非侵入性或者非干扰性,尽量不要对原有的生产系统产生太大冲击。有些企业会要求非开工时间才允许传输数据。第三,考虑成本、安全合规。

在做正式的数据采集之前,我们通常会建议企业去做一系列的准备工作,也是为了帮助企业更好地制定数据采集的原则。我们认为,数据采集不是买一些传感器,把数据从系统里取出来就完了,它一定是结合最终使用场景的一个一揽子方案。

Q6:数据采集,传输和存储之间的逻辑关系?


数据采集、传输、存储是在整个数据链路上是一个比较复杂的三元组,不是一条简单的单向数据链路。


一个很典型的数据链条是,从PLC产生的数据到了现场的中控服务器,然后到区域中心,再到我分公司中心,再到集团中心。在这个过程当中,每一段都会有相应的数据处理。在我们看来,用一些机器学习、深度学习等复杂模型去做数据处理,或是把一个数据从秒级加工成分钟级,或是将原始数据切成若干的时序段,都是一种加工过程。所以数据的传输和中间的存储过程,在不同的语境下,是可以不断被拉长,且不断复制的。

过程中,要充分考虑不同的源处理,以及这段存储到下一段存储之间,语境是什么,它的上下文要求是什么,再来制定下一段的存储策略,或者是数据传输的策略,包括实时性、批处理。

我们会把它看成一个三元组,不管多复杂的数据处理,都是这个三元组构成。在工业领域相对更为复杂,要考虑到的周边要素特别多,需要把这个复杂系统拆分处理。

Q7:在非实时场景下的时序非结构化数据采集方式是什么?

一些工厂或是场站,数据没办法实时传出来,时序数据可以实时采集之后先存储在本地,再离线回传。

例如风电场的CMS、工厂里的鼓风机等大型旋转设备的一些震动数据,一般都会在现场都加装一些本地化的存储装置,因为频率太高,这些数采存储装置会把时序数据先捕获下来,之后根据数据量和需求来看,要不要做切片或是定时分割。不是所有数据都对分析有价值,或者说价值密度不一样。


例如,在风电场事件触发的数据回传,一旦出现故障预警,系统会自动将那段时间的震动数据片段,以文件的方式传回来。事件触发型还要考虑做场景覆盖、工况覆盖,经过后续的补充,逐步完善可能出现的工况类型,慢慢过渡到全自动触发。时间触发在震动的频谱分析当中也比较常见,按周期定时回传一批数据。不管是事件触发还是时间触发,都会把它存成非结构化的数据,按需或者是定期批量性、非实时性地回传。


Q8:传感器如何降低外部干扰,安装或者传感器选型有什么建议?


不仅是采集设备,只要是在现场的装置,都面临环境的干扰,例如电磁干扰、温湿度、高低压等等。降低干扰还是从硬件设计上考虑,特定工况例如电磁干扰就可以考虑做一些电磁屏蔽,从源头上去控制,或是通过电磁兼容监测来满足要求。


现在很多设备制造商也在积极考虑类似工况下的数据采集,例如西电针对他们的高压变电设备,推出了大量的传感监测手段,应对突变、浪涌等电磁干扰现象。

如果数据确实存在一定的偏差,比如同样一批传感器在不同的工况下,会出现相似的一些工况偏差,只要在正常的偏差范围内,可以通过模型软校正,让传感器传输出来的数据可以支撑分析。

越好的传感器越贵,稍微便宜一点的传感器能覆盖90%的工况,剩下10%的工况虽然没那么准,通过一些数据的手段加上一些补偿模型,做数据修复和治理之后再去建模,也是我们经常会和企业去探讨的一个话题。