你将会学到的[部分课程介绍]
-
本视频详细介绍了数仓构建流程，包括数据调研、业务调研、需求分析、明确数据域、构建业务总线矩阵、确定统计指标等关键步骤。数据调研分为业务调研和需求分析，旨在熟悉食材（数据）与客户需求。构建过程中，根据业务调研创建事实表和维度表，并基于需求分析明确统计指标。此外，通过业务总线矩阵进行分类整理，避免数据重复处理，提高处理效率。最终根据需求进行开发并调度，完成数仓构建。整个流程以厨师炒菜为例，生动形象地解释了数据处理的逻辑和重要性。
-
该视频主要讲述了数据构建流程的第一步——数据调研，包括业务调研和需求分析两个方面。业务调研需要熟悉业务流程和业务数据，明确每个业务过程对哪些表的影响，为后续建设事务型事实表打下基础。需求分析则需要了解需求针对的业务过程和所需维度，以便在数据构建中满足需求。通过数据调研，可以确保数据构建的准确性和有效性，为后续的数据分析和决策提供支持。
-
该视频主要讲述了业务构建流程中的第三个环节——构建业务总线矩阵。它是一个二维表格，其中行代表业务过程，列代表维度。通过在交叉点做标记，可以明确业务过程和维度的关系。这个矩阵有助于确定需要创建的事务型事实表和维度表的数量。此外，视频还提到了周期快照事实表和累积快照事实表与需求挂钩，不能通过业务总线矩阵直接创建。最后，视频强调了业务总线矩阵在创建DWD表和DIM维度表时的重要性。
-
该视频主要讲述了如何根据需求驱动来明确统计指标，包括原子指标、派生指标和衍生指标的概念及其作用。原子指标是基于业务过程的度量值，派生指标则是基于原子指标加上统计周期、业务限定和统计力度。通过拆分需求为派生指标，可以明确需求的cycle语句，从而更好地进行数据查询和分析。视频还通过举例说明了如何根据需求拆分出派生指标，并解释了各个组成部分的含义。
-
该视频主要讲述了快餐指标体系、维度模型设计以及汇总模型的设计。首先，介绍了如何将统计指标拆分为派生指标，并指出派生指标最终变为派生指标。接着，阐述了根据业务总线矩阵创建维度模型DWD和DIM的方法。然后，详细讲解了汇总模型DWS的设计原则，即包含业务过程相同、统计周期相同、统计力度相同的多个派生指标。最后，阐述了DWS与事实表的关系，指出一个DWS表只对应一个DWD表，但一个DWD表可能对应多个DWS表。
-
该视频主要讲述了如何搭建和使用基于Hadoop的数仓环境，特别是使用Have和Spark的结合。首先介绍了两种结合方式：Have on Spark和Spark on Have，并详细解释了它们的区别。随后，视频提到了版本兼容性问题，特别是在使用特定版本的Have和Spark时可能出现的不兼容情况，并给出了解决方案，即需要重新编译Have的源码以适应新的Spark版本。
├── 视频
│ ├── 09-安装虚拟机 &.mp4
│ ├── 47-datax传参.mp4
│ ├── 134-互动域套餐粒度用户评价最近 n 日汇总表 &.mp4
│ ├── 182-finebi启动脚本.mp4
│ ├── 144-优惠分摊统计 &.mp4
│ ├── 01-课程内容介绍与数仓概念 &.mp4
│ ├── 79-hive引擎介绍和兼容性说明.mp4
│ ├── 43-datax任务提交和配置文件格式说明.mp4
│ ├── 07-集群规模 &.mp4
│ ├── 138-各经营模式交易统计 &.mp4
│ ├── 60-数仓的概念.mp4
│ ├── 18-建模工具使用 &.mp4
│ ├── 81-ApplicationMaster资源比例调整.mp4
│ ├── 37-maxwell使用.mp4
│ ├── 173-传递参数 &.mp4
│ ├── 41-datax架构原理.mp4
│ ├── 145-营销活动优惠统计 &.mp4
│ ├── 147-菜品交易统计 &.mp4
│ ├── 162-建库建表 &.mp4
│ ├── 180-数仓工作流调度 &.mp4
│ ├── 76-构建业务总线矩阵.mp4
│ ├── 78-维度模型和汇总模型设计.mp4
│ ├── 128-交易域店铺粒度用户支付成功最近 n 日汇总表 &.mp4
│ ├── 142-订单减免统计 &.mp4
│ ├── 05-项目需求分析 &.mp4
│ ├── 点此查看更多课程.txt
│ ├── 20-安装hadoop.mp4
│ ├── 176-引用依赖资源 &.mp4
│ ├── 73-数仓的构建流程.mp4
│ ├── 84-hive常用问题.mp4
│ ├── 115-dws设计要点 &.mp4
│ ├── 55-增量首日同步脚本.mp4
│ ├── 124-互动域店铺粒度用户评价最近 1 日汇总表 &.mp4
│ ├── 126-dws 1d表每日数据加载脚本 &.mp4
│ ├── 151-套餐交易分时统计 &.mp4
│ ├── 71-多值维度和多值属性.mp4
│ ├── 170-定时调度执行 &.mp4
│ ├── 75-明确数据域.mp4
│ ├── 59-快餐数仓项目简介.mp4
│ ├── 85-ods层设计要点.mp4
│ ├── 181-finebi安装与数据源的配置 &.mp4
│ ├── 67-累积型快照事实表.mp4
│ ├── 65-事务型事实表设计与不足.mp4
│ ├── 88-json数据建表示范.mp4
│ ├── 97-行政区划维度表数据加载.mp4
│ ├── 163-hdfs数据导入mysql案例演示 &.mp4
│ ├── 119-交易域营销活动粒度用户下单最近 1 日汇总表 &.mp4
│ ├── 70-维度变化.mp4
│ ├── 177-工作流告警 &.mp4
│ ├── 109-退款成功事实表首日数据加载 &.mp4
│ ├── 125-dws 1d表首日数据加载脚本 &.mp4
│ ├── 66-周期型快照事实表.mp4
│ ├── 179-生成新数据 &.mp4
│ ├── 95-套餐维度表数据加载.mp4
│ ├── 133-互动域菜品粒度用户评价最近 n 日汇总表 &.mp4
│ ├── 111-评价事实表首日数据加载 &.mp4
│ ├── 63-ER模型.mp4
│ ├── 77-明确统计指标.mp4
│ ├── 108-退单事实表每日数据加载 &.mp4
│ ├── 98-店铺维度表数据加载.mp4
│ ├── 15-餐饮系统表结构说明 &.mp4
│ ├── 08-资源规划设计 &.mp4
│ ├── 42-datax安装.mp4
│ ├── 157-最近 1 日加盟店与直营店下单金额Top10 &.mp4
│ ├── 48-datax优化之速度控制.mp4
│ ├── 16-安装mysql以及模拟生成数据 &.mp4
│ ├── 150-套餐交易统计 &.mp4
│ ├── 102-下单事务型事实表建表 &.mp4
│ ├── 31-kafka常用指令之生产者和消费者相关.mp4
│ ├── 54-增量同步时间问题.mp4
│ ├── 136-dws nd数据加载脚本 &.mp4
│ ├── 184-数仓总结.mp4
│ ├── 03-技术选型 &.mp4
│ ├── 40-datax简介.mp4
│ ├── 32-flume安装和项目经验.mp4
│ ├── 121-交易域套餐粒度用户下单最近 1 日汇总表 &.mp4
│ ├── 112-评价事实表每日数据加载 &.mp4
│ ├── 82-datagrip工具使用.mp4
│ ├── 53-增量数据拦截器与采集.mp4
│ ├── 171-局部参数 &.mp4
│ ├── 13-环境变量配置说明 &.mp4
│ ├── 152-最近 1 日菜品规格活动减免（下单）金额Top10 &.mp4
│ ├── 116-交易域店铺粒度用户下单最近 1 日汇总表 &.mp4
│ ├── 161-ads数据加载脚本 &.mp4
│ ├── 130-交易域营销活动粒度用户下单最近 n 日汇总表 &.mp4
│ ├── 123-互动域套餐粒度用户评价最近 1 日汇总表 &.mp4
│ ├── 30-kafka常用指令之topic相关.mp4
│ ├── 90-ods层数据加载脚本.mp4
│ ├── 131-交易域菜品规格粒度用户下单最近 n 日汇总表 &.mp4
│ ├── 04-系统数据流程设计 &.mp4
│ ├── 80-hive on spark搭建.mp4
│ ├── 156-最近 1 日店铺下单金额Top10 &.mp4
│ ├── 36-maxwell启动脚本.mp4
│ ├── 44-同步mysql数据到hdfs案例之tableMode模式.mp4
│ ├── 148-菜品分类交易统计 &.mp4
│ ├── 120-交易域菜品规格粒度用户下单最近 1 日汇总表 &.mp4
│ ├── 35-安装maxwell.mp4
│ ├── 56-增量数据flume启动脚本.mp4
│ ├── 164-ads数据同步脚本 &.mp4
│ ├── 165-dolphinscheduler简介 &.mp4
│ ├── 169-工作流的定义与执行 &.mp4
│ ├── 74-数据调研.mp4
│ ├── 91-dim层设计要点.mp4
│ ├── 122-互动域菜品粒度用户评价最近 1 日汇总表 &.mp4
│ ├── 183-finebi数据可视化.mp4
│ ├── 34-maxwell原理.mp4
│ ├── 64-维度模型.mp4
│ ├── 153-最近 1 日菜品规格活动参与订单数Top10 &.mp4
│ ├── 129-交易域店铺粒度退款成功最近 n 日汇总表 &.mp4
│ ├── 174-参数优先级 &.mp4
│ ├── 92-顾客维度表首日数据加载.mp4
│ ├── 45-同步mysql数据到hdfs案例之querysql模式.mp4
│ ├── 39-同步工具介绍.mp4
│ ├── 52-增量数据flume配置.mp4
│ ├── 69-规范化和反规范化.mp4
│ ├── 06-服务器选型 &.mp4
│ ├── 146-菜品规格交易统计 &.mp4
│ ├── 113-dwd首日数据加载脚本 &.mp4
│ ├── 172-全局参数 &.mp4
│ ├── 33-maxwell简介.mp4
│ ├── 135-互动域店铺粒度用户评价最近 n 日汇总表 &.mp4
│ ├── 46-同步hdfs数据到mysql案例.mp4
│ ├── 72-数据仓库的分层.mp4
│ ├── 137-各店铺交易统计 &.mp4
│ ├── 17-模拟生成数据脚本 &.mp4
│ ├── 29-kafka启动脚本.mp4
│ ├── 14-餐饮业务简介 &.mp4
│ ├── 57-安装hive.mp4
│ ├── 62-数仓建模的意义.mp4
│ ├── 155-最近 1 日店铺活动参与订单数Top10 &.mp4
│ ├── 160-店铺评价统计 &.mp4
│ ├── 86-ods全量数据建表演示.mp4
│ ├── 159-套餐评价统计 &.mp4
│ ├── 106-支付成功事实表每日数据加载 &.mp4
│ ├── 93-顾客维度表每日数据加载.mp4
│ ├── 38-同步策略介绍与选择.mp4
│ ├── 96-优惠活动维度表数据加载.mp4
│ ├── 25-安装zookeeper.mp4
│ ├── 132-易域套餐粒度用户下单最近 n 日汇总表 &.mp4
│ ├── 12-安装jdk &.mp4
│ ├── 50-datax配置文件生成.mp4
│ ├── 24-hadoop项目经验之参数调优.mp4
│ ├── 118-交易域店铺粒度退款成功最近 1 日汇总表 &.mp4
│ ├── 167-dolphinscheduler安装 &.mp4
│ ├── 107-退单事实表首日数据加载 &.mp4
│ ├── 51-全量表数据同步脚本.mp4
│ ├── 87-hive复杂数据类型回顾.mp4
│ ├── 104-下单事实表每日数据加载 &.mp4
│ ├── 114-dwd每日数据加载脚本【公众号：鑫峰资源库】.mp4
│ ├── 49-datax优化之内存调整.mp4
│ ├── 23-hadoop项目经验之数据均衡.mp4
│ ├── 139-各省份交易统计 &.mp4
│ ├── 110-退款成功每日数据加载 &.mp4
│ ├── 103-下单事实表首日数据加载 &.mp4
│ ├── 83-模拟生成数据.mp4
│ ├── 68-维度表设计.mp4
│ ├── 21-hadoop启动脚本.mp4
│ ├── 127-交易域店铺粒度用户下单最近 n 日汇总表 &.mp4
│ ├── 154-最近 1 日店铺活动减免（下单）金额Top10 &.mp4
│ ├── 149-菜品交易分时统计 &.mp4
│ ├── 143-各店铺订单减免统计 &.mp4
│ ├── 100-dim层每日数据加载脚本【公众号：鑫峰资源库】.mp4
│ ├── 158-菜品评价统计 &.mp4
│ ├── 168-安全中心配置 &.mp4
│ ├── 94-菜品维度表数据加载.mp4
│ ├── 58-hive中文乱码问题.mp4
│ ├── 28-安装kafka.mp4
│ ├── 105-支付成功事实表首日数据加载 &.mp4
│ ├── 26-zk启动脚本.mp4
│ ├── 19-集群批量命令执行脚本.mp4
│ ├── 141-各时段交易统计 &.mp4
│ ├── 61-数仓架构.mp4
│ ├── 117-交易域店铺粒度用户支付成功最近 1 日汇总表 &.mp4
│ ├── 101-dwd层设计要点 &.mp4
│ ├── 178-重跑和恢复失败 &.mp4
│ ├── 89-ods层增量表字段显示异常问题.mp4
│ ├── 11-分发脚本 &.mp4
│ ├── 02-数据仓库架构 &.mp4
│ ├── 10-ssh免密 &.mp4
│ ├── 22-hadoop项目经验之存储多目录.mp4
│ ├── 166-部署模式 &.mp4
│ ├── 27-zk客户端常用指令.mp4
│ ├── 99-dim层首日数据加载脚本.mp4
│ ├── 140-各城市交易统计 &.mp4
│ ├── 175-内置参数 &.mp4
评论0