一、总体设计思路
这里底层基于Phoenix和ClickHouse作为大数据数据库,构建大数据智能分析平台,底层通过元数据管理,构建数据集、字段、指标、维度等,上面通过图表配置、看板配置,通过拖拉拽快速构建报表。
ETL数据抽取、转化、加载,基于Flink Sql构建流批一体的实时数据仓库。本设计会分为多个篇文章,讲解整个系统架构设计的细节。
整个大数据智能分析平台,作为一个数据中台,对外提供各种API,与第三方应用集成。
首先会介绍整个系统体系设计到的各个名词。
二、数据源
由于大数据智能分析平台支持多数据源,包括Phoenix和ClickHouse,所以数据源是允许配置多个的。
三、数据集