DWD层数据准备

一、需求分析及实现思路 1.1、 分层需求分析

  建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成品继续加工而成。我们这里从 kafka 的 ods 层读取用户行为日志以及业务数据，并进行简单处理，写回到 kafka 作为 dwd 层。

1.2、 每层的职能 分层数据描述生成计算工具存储媒介ODS原始数据，日志和业务数据日志服务器，maxwell/canalkafkaDWD根据数据对象为单位进行分流，比如订单、页面访问等等。FLINKkafkaDWM对于部分数据对象进行进一步加工，比如独立访问、跳出行为。依旧是明细数据。FLINKkafkaDIM维度数据FLINKHBaseDWS根据某个维度主题将多个事实数据轻度聚合，形成主题宽表。FLINKClickhouseADS把 Clickhouse 中的数据根据可视化需要进行筛选聚合。Clickhouse, SQL可视化展示 二、 DWD 层数据准备实现思路

➢ 功能 1：环境搭建 ➢ 功能 2：计算用户行为日志 DWD 层 ➢ 功能 3：计算业务数据 DWD 层

2.1、环境搭建 目录作用app产生各层数据的 flink 任务bean数据对象common公共常量utils工具类 2.2、计算用户行为日志 DWD 层 2.3、计算业务数据 DWD 层 关注我的公众号【宝哥大数据】， 更多干货