DW(数据仓库)建模--模型标准化

第一、建模思想包括:

1、用于业务数据库建模的ER模型

2、Inmon的数据仓库3NF建模:1NF--无重复的列(属性不可再分);2NF--无重复的行(非主属性只依赖于主关键字,不对其它非主属性有依赖);3NF--无数据冗余(非主属性不同时为其它表的非主属性)。包含三层结构:第一层为实体关系层,表示企业的业务数据模型;第二层为数据项层;第三层为物理层。

3、Kimball的维度建模:星型模型和雪花模型。一种面向用户需求的、容易理解的、访问效率高的建模方法。

第二、不管那种建模思想,都应该最大化地涵盖关键业务数据,设计成合理的、关联的、分析型的、统一的数据结构。

第三、模型的重要之处在于对数据做标准化定义,实现统一的编码、分类和组织。标准化包括:编码统一、业务术语名称统一、业务术语含义统一等。在模型上表现为表结构的规整(统一字段的类型、名称和长度)、数据内容规整(统一编码、描述、分类、层次、事实数据粒度)。

第四、ETL应根据模型进行初始化装载、增量装载、缓慢变化维处理、事实表加载等。根据业务需求制定相应的抽取、转换、加载策略,以及刷新策略、汇总策略和维护策略等。

第五、借助Domain的设计思想,将所有涉及到的属性按照类型分类进行Domain设计,按照业务含义进行分类组织,让属性应用到Domain中。业务处理时,对通用的业务规则进行封装,同一类业务规则封装成Package。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/12122734/viewspace-689350/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/12122734/viewspace-689350/

数据仓库和数据集市详解:ODS、DWDWD、DWM、DWS、ADS @TOC 数据流向 应用示例 何为数仓DW Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,它是一整套包括了etl、调度、建模在内的完整的理论体系。 数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(on-line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。目前行业比较流行的有:AWS Redshift,Greenplum,Hive等。 数据仓库并不是数据的最终目的地 阅读详情

相关推荐

数仓分层——ODS、DW、ADS

ODS(Operational Data Store,运营数据存储)是数据仓库体系结构中的一个重要组成部分,通常作为数据仓库架构中的第一个层次或者与原始数据层紧密相关。ODS 层主要用于存储和处理来自业务应用系统的实时、操作性数据,提供给业务用户和决策者进行日常的操作性查询和分析。数据来源: ODS 层的数据主要来自于组织内部的业务应用系统,如企业资源计划(ERP)、客户关系管理(CRM)、销售、采购、库存管理系统等。这些系统产生的数据通常是实时、操作性的,包含了组织的日常业务活动的详细信息。数据存储。

麦当当的博客 1万+

模型技术的标准化进程

模型技术的标准化进程 关键词:大模型技术,标准化,发展历程,原理框架,应用场景,知识产权 摘要:本文旨在探讨大模型技术的标准化进程,从背景、原理、框架、应用、知识产权等方面进行分析,旨在为大模型技术的发展提供参考和指导。

AI天才研究院 942

深入探索数据库领域的数据仓库架构

本文旨在为读者提供关于数据仓库架构的全面理解,涵盖从传统数据仓库到现代云数据仓库的演进过程。我们将重点讨论数据仓库的设计原则、实现技术和最佳实践。文章首先介绍数据仓库的基本概念,然后深入探讨其架构设计,接着通过实际案例展示实现方法,最后讨论未来发展趋势。数据仓库(Data Warehouse): 面向主题的、集成的、非易失的、随时间变化的数据集合,用于支持管理决策: 数据抽取、转换和加载的过程: 在线分析处理系统,支持复杂分析查询云数据仓库普及。

2502_91592937的博客 985

机器学习模型中归一化和标准化的应用场景

归一化:把每个特征向量(特别是奇异样本数据)的值都缩放到相同数值范围。如[0,1]或[-1,1]。最常用的归一化形式就是将特征向量调整为L1范数(就是绝对值相加),使特征向量的数值之和为1。L2范数就是欧几里得之和。  这个方法经常用于确保数据点没有因为特征的基本性质而产生较大差异,即确保数据处于同一数量级(同一量纲),提高不同特征数据的可比性。 概率模型(树形模型)不需要归一化,因为它们不关...

answer3lin的博客 2533

数仓(DW)的架构

事实表和维度表

mao2430524817的博客 498

DW建模

DW的数据模型 范式建模 RDB建模方法的三大范式设计 1NF:属性的原子性,不可再分(json字段可有下属数组的形式) 2NF:每个非主属性由整个主键函数决定,不能由主键的部分决定(基本信息–主键决定 与 衍生信息 主键不能决定) 3NF:每列都和主键列直接相关,而不是间接相关,其它字段间无依赖(业务表拆分为多维度关系表) EDW中3NF建模,基于一些其它的原因,并非完全3NF建模,甚...

allen的博客 2173

pmml(模型标准化

PMML简介PMML全称预言模型标记模型(Predictive Model Markup Language),以XML 为载体呈现数据挖掘模型。PMML 允许您在不同的应用程序之间轻松共享预测分析模型。因此,您可以在一个系统中定型一个模型,在 PMML 中对其进行表达,然后将其移动到另一个系统中,而不需考虑分析和预测过程中的具体实现细节。使得模型的部署摆脱了模型开发和产品整合的束缚。PMML标准PM

Liao Tuo 2万+

详解数据仓库数据指标数据治理体系建设方法论

一、数据仓库 数据仓库概念 英文名称为Data Warehouse,可简写为DWDWH。数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。 基本特征 数据仓库是面向主题的、集成的、非易失的和时变的数据集合,用以支持管理决策。 面向主题:传统数据库中,最.

Liyiming 4329

企业数据仓库建设:架构设计与实施方法

企业数据仓库建设是数据管理的基础设施工程,其核心目标是解决数据分散、标准不一、获取困难等问题。数据整合:建立统一的企业级数据视图,消除信息孤岛数据治理:通过标准化流程提升数据质量和可信度数据服务:通过API和可视化工具,让数据更易获取和使用分析支持:为业务分析和决策提供完整、准确的数据基础在实施过程中,采用配置化、低代码的数据平台可以显著缩短实施周期(从数月缩短到数周),降低技术门槛,使企业能够更快地构建数据能力。

QEasyCloud2022的博客 517

阿里数据模型

目录 1. ODS 数据准备层 2. DWD 数据明细层 3. DW(B/S) 数据汇总层 4. DM 数据集市层 5. ST 数据应用层 解码OneData,阿里的数仓之路 1. ODS 数据准备层 功能:ODS层是数据仓库准备区,为DWD层提供基础原始数据,可减少对业务系统的影响 建模方式及原则:从业务系统增量抽取、保留时间由业务需求决定、可分表进行周期存储、数据不做清洗转换与业务系统数据模型保持一致、按主题逻辑划分 2. DWD 数据明细层 功能:为DW层提供来源明细

m0_37513685的博客 825

搭建数据仓库第07篇:逻辑建模–4–维度建模核心之一致性维度

目录 前言 What一致性维度 When一致性维度 Where一致性维度 How一致性维度 Why一致性维度 小结   前言 上一篇提到了数据仓库建设中的维度建模方法,了解了总线架构的基础是一致性维度。本篇将具体的总结一致性维度的5W问题。   What一致性维度 维度一直是大家所熟知的,但是前面加上了“一致性”之后便成了数据仓库特有的一类维度表,其实一致性维度在表...

1159

数据仓库()之ETL开发

概述 ETL是数据仓库的后台,主要包含抽取、清洗、规范化、提交四个步骤,传统数据仓库一般分为四层模型。           ...

weixin_40479337的博客 1085

《ODS、DW、ADS 三层架构全解析:数仓建模思想一次看懂》

本文解析了数据仓库(ODS/DW/ADS)的分层建模思想:ODS层作为"原材料仓库"保存原始数据,DW层作为"加工车间"进行标准化和聚合处理(含DWD明细层、DWM中间层、DWS服务层),ADS层作为"出口"直接支撑业务应用。文章通过概念解析+场景案例+可视化图示,说明分层设计能解决数据杂乱、查询困难等问题,形成"原始→标准化→聚合→可用"的闭环流程。随着湖仓一体技术的发展,分层思想依然适用但实现更灵活。掌握这一架构能设计出高复

weixin_44519124的博客 1606

数据仓库—stg层_数据仓库中的ODS DW DM理解

1. DW1.1 简介data warehouse(可简写为DWDWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它并不是所谓的“大型数据库”,而是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于OLAP(On-Line Analytical Processing),支持复杂的分析操...

weixin_39610759的博客 4939

怎样理解维度建模

维度建模数据仓库领域的大师Ralph Kimball最先提出,他所参与著作的《数据仓库工具箱》是数据仓库工程领域最流行的数仓建模经典著作。

Sinovatio_002912的博客 3149

数据仓库知识与实战——电信运营商数仓建模

作者:网舟科技——王超 什么是数据仓库 数据仓库是为企业提供聚合,存储,投递,以及提供决策支持能提,数据仓库包含广泛数据并按照主题进行存储并且是在数据仓库流程过程中的一个部分。Willianm(Bill) H. Inmon提出过一个概念:”一个面向主题的,集成的,时间序列变化的以及不易更改的数据的集合为管理者们的决策过程提供支持”。 总体架构上,数据仓库设计人,过程和技术去实现提供一致性,集...

wzlhkj的博客 4458

数据仓库分层 (ODS、DWD、DWS)

数据仓库分层1.数据仓库DW1.1简介1.2主要特点1.3与数据库的对比2.数据分层2.1数据运营层(ODS)2.2数据仓库层(DW)2.3数据服务层/应用层(ADS)3.附录数据库设计三范式 作者:AmyZYX 出处:http://www.cnblogs.com/amyzhu/ 1.数据仓库DW 1.1简介 Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系

qq_42005540的博客 5007

数据仓库dw层_浅谈数据仓库的基本概念,希望这篇文章能给大家的工作带来帮助...

今天这篇文章,给大家讲述一下数据仓库的基本概念,作为我们一起探讨的内容。希望大家留言、评论,我们一起学习。一 数据仓库的概念数据仓库,英文名称为Data Warehouse,可简写为DWDWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。现在常见的数据仓...

weixin_42364640的博客 1186
上一篇: 关于数据仓库的数据模型
下一篇: ETL流程及调度设计
cuixie7913
博客等级 码龄10年 10粉丝 0原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值