新闻动态
工业大数据分析师的算法修养
来源: | 作者:pmod6d781 | 发布时间: 2023-02-16 | 1129 次浏览 | 分享到:

(本文节选自《工业大数据分析算法实战》,作者田春华博士)

工业大数据分析师直接面临工业一线问题,除了坚实的数据分析算法/工具、软件开发基础、大数据平台基础、工程基础(如理论力学、材料力学、热力学、电磁理论、控制理论、信号处理等)等技术层面的知识外,还需要能有一定业务/工业系统分析能力和工业领域知识。对于从事第三方服务的工业数据分析师,还需要良好的学习能力、宽阔行业知识结构和丰富的实践经验。鉴于本书的主题,这里仅仅讨论数据分析算法层面。一个算法有很多不同维度,如表1‑5所示,只有把这些维度都熟悉了,才算熟练掌握了一个算法。

不同目的对上面4个维度的侧重点不同。一个算法研究者,更关注既有算法提出的动机、问题的形式化方法和可能改进点,有了这种思想层面的理解才可能发展一些新的有用的算法;而教育工作者,除了大概思路外,关注更多是理论推导;作为一个工程分析应用人员,除了关注应用外,自身更关心常见算法的整体概念框架(这样有选择的自由)、算法的适用范围、不同算法组合套路、不同算法包的对比等,在对外交流时,也会关注算法的形象化解释(让其他领域的人快速理解)。对算法的理解在单个维度可能会遇到瓶颈,这时候不同算法、不同维度的交叉类比可能非常有帮助,用其他类似或相关算法去理解新算法,用算法的对比驱动更深层次的理解,通过阅读源代码(很多优秀算法包)去理解算法的数学公式,通过简单算例对比去理解算法的工作机制。对于工业分析师来说,可以先快速入门,扩大视野,形成直觉研判,然后再分而治之去深入每个算法的理论推导,采用螺旋上升的方式,通过如下图所示的交叉印证与检验,适度的追求技巧,让数据分析工作充满乐趣,驱动更多更高效率的学习。

另外,田博按照算法、工具软件、案例三类,在《工业大数据分析算法实战》书中推荐了一些数据分析必读书目(见下表),必读图书的要点解读可以参考原著。