大数据资产管理架构设计篇-来自《数据资产管理核心技术与应用》一书的权威讲解

在开源社区中，常见的数据湖有Hudi、Delta Lake、Iceberg等。

• 分布式数据库存储：分布式数据库存储一般用于存储对于实时查询要求较高或者要求实时做OLAP数据分析的数据，在开源社区中，常见的分布式数据库有Apache Doris（可以通过官网https://doris.apache.org/了解更多关于Apache Doris的介绍）、Apache Druid（可以通过官网https://druid.apache.org/了解更多关于Apache Druid的介绍）等。

通过以上分析，数据存储层的架构设计通常建议设计成当前最为流行的湖仓一体的架构，并且针对特殊的业务场景，可以引入一些分布式数据库或者关系型数据库进行辅助，如下图所示。

数据存储层在存储数据时，通常还会对数据进行分层存储，数据分层的架构实现方案通常如下图所示，数据分层主要是为了

• 对数据进行模块化设计来达到数据之间解耦的目的，数据通过分层可以将一些非常复杂的数据解耦为很多个独立的数据块，每一层完成特定的数据处理，便于开发、维护以及让数据可以被更好的复用。
• 让数据的可扩展性更强，当数据业务发生需求变化时，只需要调整响应数据层的数据处理逻辑，避免了整个数据都需要从原始数据（也就是图中的ODS层的数据）来重新计算，节省了开发和数据计算的资源成本。
• 让数据的查询性能更快，在大数据中，由于存在海量的数据，如果全部从原始数据（也就是图中的ODS层的数据）中来查询业务需要的数据结果，需要扫描的数据量会非常大，将数据分层后，可以优化数据的查询路径，减少数据扫描的时间以达到提高数据查询性能的目的。

1.4、数据管理层

数据管理层主要负责对数据进行分类、标识以及管理，主要会包含元数据管理、数据血缘跟踪管理、数据质量管理、数据权限和安全管理、数据监控和告警管理等，其总体的实现架构图如下图所示。

数据管理层的技术核心就是元数据、血缘数据、质量数据、监控数据等采集获取，我们在 清华大学出版社出版的 《数据资产管理核心技术与应用》一书的前面的章节中已经有过很具体的描述，在拿到这些数据后，数据管理层主要要实现的功能就是把这些数据做集成并且展示到数据资产管理平台中，数据管理层是数据资产管理的核心。

1.5、数据分析层

在数据分析层的架构设计中，主要包含如下两个部分：

• 数据分析工具的选择：随着大数据分析技术的发展，诞生了很多和数据分析相关的BI工具，常见的BI分析工具的相关介绍如下表所示：

在选择BI的数据分析工具时，一般建议结合自身的业务需求、使用成本、管理维护成本等多个方面来综合考虑，然后再选择最合适的BI工具。

• 数据的加工与处理：这里的数据加工与处理主要是指数据分析需要做的数据预加工与处理，以便数据分析工具能快速得到自己想要的数据。在大数据中，由于是海量的数据，所以在数据分析时，BI分析工具通常不会直接去从海量的原始数据中直接做分析。

通过如上两点的分析，数据分析层的整体架构设计通常如下图所示。

• 数据分析时，对于实时性要求较高的数据，通常会存储在分布式数据库中，不做太多的预处理，让BI工具直接去查询和访问，这样可以保证整个数据分析链路的实时性。
• 对于实时性要求不高的数据，可以每天通过离线的方式进行处理，通常会从数据仓库或者数据湖中，每天离线对数据做预处理，处理的结果数据可以根据数据量的大小选择放入普通关系型数据还是放入数据仓库或者数据湖的ADS应用层来供BI工具做分析使用，甚至数据湖或者数据仓库的DWD数据明细层或者DWS数据轻度汇总层也可以开放给BI数据分析工具直接做分析。

1.6、数据服务层

数据服务层通常是让数据对外提供服务，让数据可以服务于业务，并且负责对数据服务进行管理，数据服务层通常的架构实现如下图所示，数据服务的具体技术实现细节可以参考清华大学出版社出版的《数据资产管理核心技术与应用》一书的第六章。

数据服务层在设计时，通常需要包括服务创建、服务发布，服务接入、服务降级、服务熔断、服务监控以及权限管理等模块，对于服务访问的权限管理通常建议也可以采用基于角色的访问控制 (RBAC)来实现，如下图所示。

• 一个角色可以拥有一个或者多个不同服务，也可以拥有一个或者多个不同的菜单。
• 角色可以赋予给用户，也可以赋予给调用服务的业务需求的上游。

通过对每一层做架构分析与设计后，得到最终如下图所示的数据资产架构图，这是大数据处理中最常见的架构设计方案，解决了数据的可扩展性以及对于不管什么类型或者什么什么格式的数据，都可以做数据处理、存储以及分析。

《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。