工业数据分析模型的规模化应用,难在哪?
来源: | 作者:pmod6d781 | 发布时间: 2024-09-11 | 765 次浏览 | 分享到:

工业数据分析的算法研究和现场项目中的模型规模化应用,有什么本质区别?


传统软件工程,更多是从需求分解、概要设计、详细设计一层层去开发,从单元测试到集成测试,再变成上线系统,是一个非常体系化的工作过程。
但工业数据分析项目的实施有其特殊性。特别是前期多因素共同作用下,需要有综合能力比较强的数据科学家去带领项目进行算法的快速探索、风险评估以及可行性验证。对应到项目形态上讲,这个阶段可能会是一个科研类项目,甚至是一个POC形态的项目。做出算法原型并确认可行之后,就需要开展规模化工程应用的工作了。这个阶段往往对应的就是一个实施项目了。基于核心算法的项目开发怎么落地,如何部署、运行、监控,需要多角色配合进行。

算法模型要落地应用,在小规模验证阶段,会面临哪些问题?

从数据科学家的角度,将算法模型建立之后,一方面需要知识转移,前面两三个月做的算法,要让工程化团队,甚至运维团队都能接得住;另一方面,整个工程化上线调试、运行推广,需要各司其职,让协同效率最大化。他们各自的能力边界在哪里?怎么让不同的角色在不同阶段去承担各自的责任?

对数据工程师来说,数据科学家将模型的核心思路确认之后,再交到工程师手里,完成模型的标准化和工程化上线。读数据科学家的代码本就不容易,他们思路顺的时候会一直往下写,如果稍有不顺,可能天马行空随时转折。而尝试复现他们的代码效果的时候,就可能会出现一些数据科学家自己也不清楚的bug。

因为在第一时间以效率优先去快速探索、试错验证的过程中,数据科学家可能会忽略掉一些在工程角度上非常重要,但是从试错的角度,必须降低优先级的因素。而前期做数据探索或者数据验证,从一定程度上出于数据保密的要求,数据样本量不大。此外,最开始做模型研发,不管设备还是产线,从数据的质量到数据的传感器,通常都会挑比较理想的示范机组。不知道这事能不能成之前,一般不会拿一个数据最少的、传感器最少的、数据质量最差的来挑战自己。

POC验证差不多的时候,到小规模验证,就可能会模型失效。因为工厂设备本身差异很大,尺寸大小不一样,核心零部件供应厂商不一样,配套的自动化厂商不一样,甚至人工操作习惯也不一样,等等。

之前POC阶段在数据上无法体现的一些现象,到了实际应用的时候,会影响整体的进度,工程师整体调试难度很大,很难分解。如果小范围都无法推广,更何谈接下来更大范围的推广。这也是为什么停留在论文层面的理论研究很多,而在生产环境下实际解决问题却很难。

小规模试运行测试之后,做大规模推广的过程中,还会碰到哪些困难?