数仓 建模思想之星型模型、雪花模型、星座模型

[hive]维度模型分类:星型模型,雪花模型,星座模型|范式 z=f(x,y)当给定x,y则能计算出z,当给x,y,n时,也能计算出z,此时z部分函依赖于z,y,n。比如通过(学号,课程)推出姓名,因为可以直接通过学号退出姓名,所以:姓名部分依赖于(学号,课程)。星型模型中只有一张事实表,以及0张或多张维度表,事实与纬度表通过主键外键相关联,维度之间不存在关联关系,当所有纬度都关联到事实表时,整个图形非常像一种星型的结构,所以称之为“星型模型”。主键为:"学号"+"课名"。"分”完全依赖于(学号,课名),但是姓名并不完全依赖于(学号,课名),姓名只依赖于学号。 阅读详情

数仓 建模思想之星型模型、雪花模型、星座模型

1. 背景

  1. 在大数据开发中,数据一般是分为事实表,维度表,实体表等表。
  2. 事实表顾名思义就是记录实际发生的事情如订单表,优惠券使用表等等。
  3. 维度表,顾名思义,就是一个信息有多个维度,记录这些维度值的表。如日期,产品类目等等。一般会有一个id,以及id对应的各种维度具体信息。

注意,数仓建模主要就是将数据如何以数据库和表为单元,尽可能科学有效存储,方便后续的查询,分析,使用。在这个过程中,如何保证数据查询便捷性,性能,降低空间存储冗余度都是需要仔细考量的。

注意,数据冗余带来好处是,使用时,不需要关联其他表格,直接在一个表格就获取到所需要的信息,查询性能也会很不错。坏处就是,相同信息可能存储多份,空间占用较多,修改时代价也比较大,还需要考虑数据同步。
将独立信息单独存储一份,需要使用的地方记录这个信息的id,具体查询时关联这个表格即可,这样带来好处是相同信息只需要存储一份,并且以id关联,内部数据变化不会影响到外界。坏处就是,查询时需要关联这个表

2. 星型模型

  1. 星型模型,顾名思义,就是一个主要的表格,相关信息通过一层join关联其他的表。
  2. 注意,星型模型是一层关联

3. 雪花模型

  1. 雪花模型,一个主要表格,但所需要信息,关联一层表格之后,需要再次关联一层表格。
  2. 注意,关联至少2次

4. 星座模型

  1. 2个主要的表,一般是事实表,通过维度表关联在了一起
  2. 注意,2个主要表格通过一个维度表关联在了一起。

5. 总结

维度建模理论与分层思想 维度建模理论与分层思想 维度建模 ODS 层因为保留原始数据, 所以业务数据库 (关系模型) 一样是关系模型. DWD 层即进行了维度建模, 将下面的模型 ↓ 转化为了下面的维度模型, 即以事实表为中心, 周围有一圈的维度表 ↓ 维度模型中的表数据 (数据特征) 可能有冗余, 但查询时一般只需要进行事实表维度表进行 join, 不用 join 太多表, 查询性能更好. 在维度建模的基础上又分为三种模型星型模型雪花模型星座模型。 但生产中事实表不可能只有一张, 所以多个事实表多个维度表结合 阅读详情

相关推荐

数据模型设计方法论汇总

是用来描述现实世界中客观存在的事物、事物的属性,以及事物之间关系的一种数据模型。在数据库设计中,ER模型被广泛用作数据建模的工具,它提供了不受任何数据库管理系统(DBMS)约束的面向用户的表达方法。在ER模型中,关系用菱形表示,并用无向连线将参与关系的实体与菱形相连,连线上标明关系的类型,如1对1、1对多或多对多等。在ER模型中,实体通常对应于数据库中的表,而实体的属性则对应于表中的字段。维度建模是一种在数据仓库中用于数据建模的技术,它将 事实表 维度表 组织在一起,以提供快速、简单的数据分析功能。

形而上者谓之道 形而下者谓之器 1222

维度建模 -- 星型模型雪花模型区别

雪花模型去除了冗余,设计复杂,可读性差,关联的维度表多,查询效率低,但是可扩展性好。 星型模型冗余度高,设计简单,可读性高,关联的维度表少,查询效率高,可扩展性低。

TriumPhSk的博客 1万+

建模的edw_浅谈分层模型

分层ODS层基础层-ODS(Operational Data Store-操作型数据存储):主要是未经过加⼯的原始数据中间层-CDM\EDW(Enterprise Data Warehouse-企业级数据仓库,Common Data Model,公共维度模型层):dwd-明细整合层dws-⾼粒度汇总层,⼀般为主题宽表dim-维度表应⽤层-ADM(Application Data Ma...

weixin_33542589的博客 1132

星型模型雪花模型区别

选择星型模型还是雪花模型通常取决于具体的应用需求、数据量、查询性能要求以及对数据冗余的容忍度。在对查询性能要求极高且可以接受一定冗余的OLAP环境中,星型模型更为常见。而在对数据完整性存储空间敏感,且查询复杂度可以接受较低性能损失的情况下,雪花模型可能更合适。实践中,星型模型因其简单性高效查询性能,在数据仓库设计中更为广泛采用。

码不停歇的博客 2408

雪花模型星型模型区别

雪花模型星型模型星座模型区别 星型模型雪花模型的主要区别在于维度表的拆分, 对于雪花模型维度表的设计更加规范,一般符合3NF 对于星型模型来说,一般采用降维的操作,减少数据冗余,提高易用性分析效率 ...

weixin_45067310的博客 1790

千亿级项目(二)

许久不见。咱们接着之前的来讲,你应该按我说的把kettle给学了一遍了吧?没学的话请赶紧去学,否则后面你也看不懂。 咱们今天从理论开始讲! 数据仓库维度模型设计 1 维度建模基本概念 维度模型数据仓库领域大师Ralph Kimall所倡导,他的《数据仓库工具箱》,是数据仓库工程领域最流行的建模经典。维度建模以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。 维度建模是专门应用于分析型数据库、数据仓库数据

Daivei_lai的博客 1072

Hive之的分层及建模理论

数据仓库的用途 整合公司所有业务数据,建立统一的数据中心 产生业务报表,用于作出决策 为网站运营提供运营上的数据支持 可以作为各个业务的数据源,形成业务数据互相反馈的良性循环 分析用户行为数据,通过数据挖掘来降低投入成本,提高投入效果 开发数据产品,直接或间接地为公司盈利 运行简图 数据集市与区别 数据集市(Data Market):是一种微型的数据仓库,它通常有更少的数据,更少的主题区域,以及更少的历史数据,因此是部门级的,一般只能为某个局部范围内的管理人员服务。 数据仓库

qq_56870570的博客 1万+

星型模型雪花模型星座模型:优缺点与选型

数据仓库模型选型指南:星型雪花星座三种模型的优缺点比较。星型模型查询快、易理解,但冗余大;雪花模型减少冗余但查询性能下降;星座模型可复用维度但设计复杂。选型需考虑性能要求、团队能力业务广度,实践中常混合使用:底层用雪花保证数据质量,上层用星型提升查询速度,最后通过共享维度形成星座模型。建议从简单星型开始,逐步扩展为星座模型

oOBubbleX的博客 420

(二)数据建模

文章目录建模表分类事实表维度表维度退化范式建模维度建模星型模型雪花模型星系模型模型对比建模原则 建模 数据模型是抽象描述现实世界的一种工具方法,是通过抽象的实体以及实体之间的关系来表达现实世界中事务以及事务之间关联关系的一种映射。在这里,数据模型表现的是实体以及实体实体之间的关系,通过对实体以及实体与实体之间关系的定义描述,来表达实际业务中具体的业务关系。数据仓库模型数据模型中针对数据仓库应用系统的一种特定数据模型数据仓库建模的发展历程: 建立比较好的数据模型能够有以下好处: 性能:

李玉志的博客 715

数据开发:建模常见数据模型

数据仓库搭建的过程当中,根据需求合理地选择数据模型,是非常关键的一个环节。对于建模,很多人说不就是建表吗,哪有那么复杂,事实上,这是非常错误的思想。今天的大数据开发分享,我们来聊聊建模常见的几种数据模型。 目前来说,市场上主流的数据建模,主要是四种类型:维度模型、范式模型、Data Vault模型,以及Anchor模型。 1、维度模型 维度模型在互联网行业领域当中,是有着广阔的应用的。维度建模,按数据组织类型,又可以划分为星型模型雪花模型星座模型。 ①星型模型 星型模型主要是维表

shuimuzh123的博客 2536

数据仓库设计实战:雪花模型 vs 星型模型,如何选择才不会踩坑?

本文深入探讨了数据仓库设计中雪花模型星型模型的核心差异与选择策略。通过对比两者在查询性能、存储成本、数据一致性及灵活性等方面的优劣,并结合业务需求、技术栈、数据特性团队能力四个维度,提供了一个避免踩坑的实战决策框架。文章强调,在云时代,应优先保障查询性能,并介绍了混合模型与物化视图等优化技巧。

g9h0i1的博客 411

数据仓库-维度建模

目录 数据仓库定义 数据仓库数据库 维度建模 维度建模 VS 第三范式 维度建模设计过程 事实概念 事实表技术 维度概念 维度表技术 数据仓库定义 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库数据数据库主要用于事务处理,...

weixin_39363807的博客 1760

数据建模 - 维度建模 实战及思路过程 (四年建模经验 纯干货)

维度建模 维度建模方法论: 维度建模是以业务过程为驱动 先确定某些业务过程 围绕业务过程去建立模型 通常采用自底向上的方法 从明确关键业务过程开始 再到明确粒度 最后明确事实 在我们项目初期 我们首先要确定的就是 一个建模的设计 建模也是整个最核心的工作 的好坏就取决于你的建模 建模 四个步骤 1. 选择业务过程 2.声明粒度 3.确定维度 4.确定事实 我们在建模的过程中 首先要公司的业务部门 开个小会 一起探讨 选择我们感兴趣的业务线 比如...

qq_52095156的博客 5019

的几种设计模型

的几种设计模型星型雪花星座

经年藏殊的博客 996

数据仓库_常见的数据模型

DataVault由Hub(关键核心业务实体)、Link(关系)、Satellite(实体属性)三部分组成,是Dan Linstedt发起创建的一种模型方法论,它是在ER关系模型上的衍生,同时设计的出发点也是为了实现数据的整合,并非为数据决策分析直接使用。以上几种数据模型,互联网行业常用维度模型,能够快速满足业务需求,而在偏传统的行业,如电信、金融等,则更青睐传统的范式建模星型模型可以理解为,一个事实表关联多个维度表,雪花模型可以理解为一个事实表关联多个维度表,维度表再关联维度表。

迎难而上 410

星形雪花模型_浅谈三、浅谈分层模型

分层ODS层基础层-ODS(Operational Data Store-操作型数据存储):主要是未经过加⼯的原始数据中间层-CDM\EDW(Enterprise Data Warehouse-企业级数据仓库,Common Data Model,公共维度模型层):dwd-明细整合层dws-⾼粒度汇总层,⼀般为主题宽表dim-维度表应⽤层-ADM(Application Data Ma...

weixin_39530288的博客 472

数据仓库实战:多维度数据建模全流程与落地方法

多维度数据建模(Multi-Dimensional Modeling)是以业务分析视角为核心,围绕分析指标(事实)分析角度(维度)组织数据建模方法。让业务人员能看懂数据模型让OLAP分析速度更快让结构更清晰、易于扩展事实表确定业务过程:如下单、支付、退款、登录确定可量化指标:金额、量、次、时长确定事实类型:事务事实、周期快照、累积快照事实表只保留字指标+外键ID维度表确定分析角度:谁、何时、何地、何物、何种方式维度表包含:主键+描述属性。

✨ 欢迎来到【Seal ^_^ 的CSDN博客】!✨ 4632
上一篇: 数仓 用户画像
下一篇: 大数据开发之机器学习总结(一)
闻香识代码
博客等级 码龄12年 314粉丝 223原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值