K2技术干货 | 质量大数据的领域建模技术

来源: | 作者:pmod6d781 | 发布时间: 2022-08-23 | 2950 次浏览 | 分享到:

图5.4 ISA-95的建模维度

数据服务：基于领域模型的查询技术

“工业物理对象模型”解决了多源异构数据的统一描述问题，但是实际数据仍然存在数据存储层的多种数据系统中。因此，数据关联查询引擎的作用是根据工业物理对象模型对上层应用发出的数据关联查询请求进行分解，并调度到底层的各个数据系统中实际执行，并把查询结果汇总，加工变成上层应用所需的格式。数据查询引擎的主要设计目标包括：1）提供富含领域语义的数据查询；2）保证数据查询性能。

数据查询引擎采用了“工业物理对象模型”做为元数据，而数据模型中的实体定义本身就来自于业务语言，因此它天生就具有很强的领域语义，例如质量分析中典型的查询中，我们可以通过特定缺陷找到特定的批次号，再通过批次号生产的产品类型找到所有生产同类产品的批次进行横向对比。在这种查询语言下，用户完全不需要关心底层特定数据管理系统的IT概念。这种查询语义可以同时面向IT工程师、质量工程师和数据分析师，帮助三者形成有效沟通手段。

数据查询引擎的性能挑战主要来自于适配多种数据库，并且在特定的查询需求下，结合每个数据库的访问特点，拆解成最优的数据查询语句传达给底层数据库实例。另外数据查询引擎还需要对数据进行汇总，因此需要考虑跨库数据查询优化，例如实现跨库连接（Join）操作时，需要用一个库的小数据去连接另外一个库的大数据，而不是反过来。此外，在一个典型的数据关联查询中，一批数据可能在关联路径上重复出现，并且会出现典型的数据库N+1查询问题，因此数据查询引擎需要构建自动缓存和批量合并的功能，避免出现查询引擎和数据库之间出现的多次无效数据传输，提高查询速度等等。

在数据服务的形式上，需要支持三种典型的数据访问形式：即席查询，数据抽取，和数据订阅。即席查询用来满足任意的数据关联和探索，以交互式的方式进行数据查询和反馈，方便用户对数据进行初步理解，以及满足质量分析应用的数据交互展示功能；数据抽取用来满足大数据分析的场景，需要实现数据的高吞吐传输，满足典型质量分析算法的批量和流处理过程；数据订阅指在用户感兴趣的数据集发生变化的时候才通知的数据服务，用来满足质量变化、异常发现等数据需要及时传递的场景。