如何从零设计一套数据仓库

数据仓库面试题 文章目录数据仓库的定义?数据仓库和数据库的区别?如何构建数据仓库?什么是数据中台?数据中台、数据仓库、大数据平台的关键区别是什么?基础能力上的区别业务能力上的区别大数据的一些相关系统?如何建设数据中台?数据湖的理解?数仓最重要的是什么?概念数据模型、逻辑数据模型、物理数据模型概念数据模型CDM逻辑数据模型LDM物理数据模型PDMSCD的常用处理方式?元数据的理解?技术元数据业务元数据元数据管理系统?元数据管理功能元数据管理标准元数据管理系统印象最深刻的项目是什么?为什么?亮点与优势?数仓如何确定主题域?主题 阅读详情

场景 : 入职一家新公司 ,要求做数据建设。怎么做

1 确认职责边界,确认职场定位

  1. 确认这个部门/岗位,是个什么定位 :承担数据分析,还是承担中台角色,还是数据处理汇总的角色。 一句话:这个坑是干什么活的。
  2. 确认输出主要对象: tob/toc,高管层,内部销售运营岗位,要确认用户人数,确认数据的使用场景。
  • 例如面向管理层:主要是提供数据汇总,决策分析的,数据抽象程度较高。
  • 内部销售运营岗位:主要是给各个运营或店长使用,要求数据粒度更细
  • 给算法给分析做支持辅助的:特征开发,画像开发。

整个第二步的目的最终要确认:数据使用用户群体量(架构设计),一个数据使用场景(olap/oltp 等目标存储的选择),一个数据更新频率要求(数据计算框架的选择)

  1. 深入了解具体的业务场景。
  • 对于数据准确性的敏感性问题:二阶段提交/幂等性。
  • 业务复杂度/业务数据量 :来确定存储引擎使用。
  • 确认公司运维:数据湖,自建/第三方云存储。
  • 有没有超长周期数据。复杂业务。

2 确认建模

雪花/星型/维度建模。

雪花+维度建模。

主要还是对于业务的理解:

  • 1 了解你得数据源:行为数据,业务数据。
    行为数据: 埋点数据,交互数据。
    业务数据:金融,订单,购物车,评价。

行为数据特点:数据量大,一套框架N种埋点数据,数据混杂,数量大,容易有脏数据,且没有前后操作关联。神策数据。

业务数据:规范严格,业务清晰。

确认完数据源:确认数据接入技术栈的选择,datax+python,canal 实时数据采集,flume采集日志。

确认数据冷热数据。

  • 2 确认计算框架
    数据湖
    spark
    flink
    paimon fluss rocksdb tidb

  • 3 调度工具选择
    个人公司选择: 分布式/需要被调度种类多(海豚),数据量少+python(AZ),airflow 重型调度

  • 4 展示存储。
    对于数据有复杂查询场景,且时效性极高: ES
    对于数据要求存储便宜,查询qps不高:doris
    对于数据要求同shi兼顾oltp+olap:1 两个,汇总明细 分开存。 2 同时兼顾的:hologres

数据仓库系列(1):为什么要搭建数据仓库 系列说明: 本文写作的初衷,是想以阿里巴巴的OneData体系为出发点,详细阐述数据仓库搭建的初衷、架构的理念及实现的方式,借此来总结从事大数据开发岗位多年以来的经验积累。仅从笔者个人角度出发,收集相关素材,进行二次整理,并非原创。 什么是数据仓库? 要想全面的来看待数据仓库,首先要回答的是数据仓库搭建的目的: 百度百科解释:数据仓库是为企业所有级别的决策制定过程,... 阅读详情

相关推荐

分层设计数据仓库的架构和设计高效数据库系统的方法

高性能数据仓库的核心在于。

weixin_30777913的博客 1673

全程 AI 打造!我用 AI 从零构建了一套完整的 Python 自动化平台

最近我完成了一件特别有成就感的事 ——全程依靠 AI 工具,从零到一打造出了一套完整的 Python 自动化平台(触灵 TouchLing),从架构设计、代码编写到文档生成

2601_96229461的博客 144

数据仓库(什么是拉链表)

数据库是面向事务的设计,数据仓库是面向主题设计的。数据库一般服务于业务系统的,数据仓库一般是服务于分析系统的。数据库一般存储在线交易数据,数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余,数据仓库在设计是有意引入冗余。数据库是为捕获数据而设计,数据仓库是为分析数据而设计。数据库一般会对数据进行增删改查,数据仓库一般只对进行增和查,基本不会修改数据。当然,数据仓库不仅仅指的是一个存储引擎,而是一套完整的数据建设的方法论。拉链表是针对数据仓库设计中表存储数据的方式而定义的,顾名思义,

weixin_45703565的博客 1682

SSM用户行程数据管理系统-计算机毕业设计源码61552

摘要 随着人们出行需求增加,对行程数据的管理和记录需求也日益增长。本研究旨在设计并实现了一套用户行程数据管理系统。该系统旨在满足用户对行程管理的需求,提供了丰富的功能如首页、公告信息、新闻资讯、导航地图、个人中心、行程记录等,并包含管理员功能如主页、公共管理、用户管理、新闻资讯管理、行程记录管理等。 在技术方面,系统利用Java作为开发语言,SSM框架实现系统的快速开发和灵活扩展,Mysql数据库用于数据存储和管理。通过该系统,用户可以方便记录和管理行程信息,管理员可以高效管理系统内容和用户信息......

CXKF10088的博客 1592

数据仓库架构设计

作者:禅与计算机程序设计艺术 1.简介 数据仓库(Data Warehouse)是一个专门用于存储、集成、分析和报告关于企业所有数据的信息系统。它属于“商业智能”范畴,其主要目的是为了实现业务决策、数据驱动的决策制定,以及支持战略规划等,使得组织能够更加充分地利用信息资产,提高决策效率、增强组织绩效。

AI天才研究院 3221

数仓学习---7、数据仓库设计、数据仓库环境准备

数据仓库设计、数据仓库环境准备

星光不问赶路人,岁月不负有心人 2109

一套干净的企业数据管理系统

作为8年的老猴子,花了好几天时间磨了一套干净的企业数据管理系统~ 前端地址:https://gitee.com/lazymk-cg-templates/vue-admin 后端地址:https://gitee.com/lazymk-cg-templates/springboot-admin 说明一下 项目实现了菜单管理、用户管理、角色管理和权限管理四个基础模块。那作为8年老狗,在代码和设计方面都下了点儿功夫,相比其他大多数的开源模版,此套代码逻辑应当是更加清晰简洁滴,欢迎diss哦~。 前端采用的是经典的v

Caesar's blog 1363

保姆级教程:如何用Le2i Fall Detection Dataset训练你的跌倒检测模型(附数据集下载)

本文提供了一份详细的实战指南,教你如何使用Le2i Fall Detection Dataset训练跌倒检测模型。内容涵盖数据集的深度解析、预处理与工程化管道搭建、模型选择与训练策略,以及评估优化与部署考量,旨在帮助开发者从零构建高精度、可应用的跌倒检测系统。

assembly8low的博客 1283

计算机毕业设计springboot实验数据管理系统 实验数据管理平台 实验数据管理系统构建

数据录入:支持多种格式的实验数据导入,包括手动输入、文件上传等。数据存储:采用安全的数据库技术,确保数据的完整性和可靠性。数据查询:提供灵活的查询功能,用户可以根据实验项目、日期、关键词等条件快速查找所需数据。数据统计分析:内置统计分析工具,能够对实验数据进行基本的统计分析,如平均值、标准差等。数据可视化:将数据以图表的形式展示,帮助用户更直观地理解数据。数据共享:支持团队成员之间的数据共享,方便协作研究。数据备份与恢复:定期自动备份数据,确保数据的安全性,并提供数据恢复功能。

Django计算机程序 1315

高缺失率时空数据插补实战:从随机森林到扩散模型的性能对比

数据缺失是数据分析与机器学习建模中普遍面临的挑战,尤其在时空数据领域,传感器故障、传输中断等问题常导致数据不完整。数据插补技术旨在基于已知数据的模式和关联性,合理估算缺失值,为后续分析提供可靠基础。其核心原理在于利用数据的时空相关性(如时间周期性、空间邻近性)及与外部驱动因素(如交通、气象)的关联构建预测模型。这项技术的价值在于能将不完整的数据集转化为可用于高质量分析和预测的可用资产,广泛应用于环境监测、交通流量预测、金融风控等领域。本文聚焦于一个极具挑战性的场景——PM2.5监测数据缺失率高达82%,通过

weixin_30363285的博客 537

[官方培训]22-UE资产优化 Epic 肖月 笔记

Nanite+Lumen目标:面向TA,美术,不影响视觉的前提下,优化运行和编辑效率引擎:UE5.1延迟管线平台:主流PC,Windows 10 with DX12。

Tcohneyn的博客 1565

数据仓库分层设计

https://zhuanlan.zhihu.com/p/225112527 数据仓库分层没有绝对的规范,适合的就是最好的,特别是企业已经有一个初版的数仓的时候,需要做好改造成本和可理解性之间的平衡。 数据仓库是一套方法论,从规范定义、模型设计到数据服务,再到数据可管理、可追溯、可复用。 背景 在之前的文章 高威:浅谈数仓模型(维度建模)​zhuanlan.zhihu.com 中,有读者比较关注数仓分层的意义和作用,以及如何建立一个比较完善且能落地的数仓体系,所以在这里单独开一栏主要介绍数.

hellojoy的博客 1900

Feko仿真GPS微带天线学习笔记

为了优化方便,使参数变量化,所以定义几个变量在CADFEKO左侧浏览器中如图所示定义变量,如下表贴片的尺寸切角尺寸feed =-6.4馈电点距坐标原点的距离sub_w=45基板的宽度sub_d=45基板的长度sub_h=5基板的高度epsR=5.6介电常数损耗角正切。

qq_36521926的博客 3979

闲聊数据库和数据仓库的区别

0x00 前言 最近群里童鞋们在数据库和数据仓库的区别,因此简单做一些整理。 0x01 概念上的区别 数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等操作。 ————百度百科 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战...

木东居士 1439

浊音/清音/爆破音的时域及频域特性

第一周作业 浊音/清音/爆破音的时域及频域特性 思路:使用Audacity进行录制,时域部分将音频放大观察波形规律,频域部分生成并进行频谱分析。 (1)浊音U 时域分析: 时域表现为短周期性,波形比较规律。 频域分析: 频域上表现为频率集中在低频区域,共振峰较为明显,短时能量较高。 (2)清音S 时域分析: 时域波形没有周期性,整体振幅小于浊音。 频域分析: 频域波形平缓,无共振峰,能量比较集中。 (3)爆破音t 时域分析: 脉冲波,更为尖锐,整体上振幅降低。 频域分析: 没有像浊音一样的共振

Leylaaaa的博客 1224

关于Vscode配置Unity环境时的一些报错问题(持续更新)

3.找到设置文件,添加如下代码,用于告诉VSCode)在处理 C# 项目时优先使用 C# 扩展来加载和管理项目,而不是使用 C# Dev Kit 或其他扩展。1.很可能是unity的插件版本问题,打开window > package manager将。2.很可能是项目文件的问题,建议unity打开edit > perfercenes。3.手动重装其他版本的.Net框架(去官网找,多下几个无所谓的)解决:(由于造成问题不一样,所以建议都尝试一次)下载net请求超时(一般都会超时很正常的)

bug制造机 1883

数据仓库模型设计(收藏版)

数据仓库模型设计(收藏版)

ytp552200ytp的博客 5785

Dia 使用说明

简述 在linux上面能找到dia这个工具还是挺幸运的,因为之前画流程图总是使用ubuntu默认的word工具 在里面画图,感觉流程图使用起来麻烦,并且视觉效果真的不好看。 自从使用Dia后,感觉至少画起来流程图会变得越来越标准了。但是Dia也存在问题,就是使用的文档很少,使用中遇到为后,查起来比较费劲,但是至少问题不是很多,所以使用中遇到的几点问题我就记下来,和大家分享,加快大家的开发和文档整理能力。 我会按照遇到的问题来说,不存在使用的先后顺序。 1. Dia 去掉背景中的线条 首先去点那个大一点的蓝色

linan101的博客 4922

数据集成-缝合一套数据仓库Infra的臆想

也就是说,数据库的组织结构决定它的分析能力并不好,相对地,数据仓库的组织结构,能够让它快速简单地处理分析的请求,帮助决策者优化流程、节省成本和保障质量。这种分析需求无法在保存瞬态数据的事务型数据库中完成,也不能在保存大量历史数据的数据仓库中完成,形成 DB-ODS-DW 的三层体系结构。这样基于成熟的大数据开发栈,开发人员不需要了解各组件的部署、实现,可以以近似低代码(数据集成能力)形式接入各数据业务、完成数仓数据积累。数据集成:提供图形化的操作,客户可以低门槛形成主题数据,供BI层做数据展示;

Daoyiyun的博客 1377

Qt CEF融合技QCefView使用教程

如果从事C++客户端开发,对CEF应该不陌生,当C++界面需要和web交互时,CEF是很好的解决方案,当然Qt也提供了QWebEngineView来进行web交互,最近在万兴喵影的安装目录看到了QCefView.dll,之前也听说过这个库,没在意,没想到还真有人用到项目里面,于是决定自己编译写个demo看看......

琅嬛福地 1万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

数据仓库设计

数据仓库简介:有些人不理解数据仓库,认为数据仓库就是获取数据,只要会使用hadoop、spark等大数据工具就懂数据仓库,这样的认识太片面。如果要从海量数据中总结出一个报表或者是多个报表,大数据工程师足以;如果在有限的资源动态的数据情况下,向前可历史追溯,向后对不断增加的报表实现兼容,这就需要一套科学的数据管理方法。数据仓库是一门数据管理的科学,数据仓库的核心就是计算、存储和维护之间的博弈。 标...

阿正的博客 1588

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

数据仓库架构以及数据模型的设计

1、什么是数据仓库?权威定义:数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。1)数据仓库是用于支持决策、面向分析型数据处理;2)对多个异构的数据源...

大数据星球-浪尖 2753

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

数据仓库实践之业务数据矩阵的设计

怀疑有如草木之芽,从真理之根萌生... 0x00 概述 数据仓库的设计不能完全依赖于业务的需求,但又必须服务于业务的价值。那么,该如何地从业务的角度出发,设计一套切实可行的数据仓库呢? 本文将分享数据仓库实践中的业务数据矩阵的设计经验,帮助大家在工作中快速理解业务并规划数据仓库体系。 本文将包含如下三部分内容: 分享业务数据仓库的概念的作用 举个栗子说明 一些思考 0x01 业务...

木东居士 4370

数据库、数据湖、数据仓库、湖仓一体、智能湖仓,分别都是什么鬼

转自:数据库、数据湖、数据仓库、湖仓一体、智能湖仓,分别都是什么鬼 (baidu.com) 最近被大数据相关的小词儿,整的有点懵。 索性我们就来个专题,聊透数据库、数据仓库、数据湖以及风头正劲的“Lake house”——湖仓一体化。 1、数据仓库是个啥?和数据库有什么不同? 数据库的基本概念,大家应该都不陌生。如今但凡是个业务系统,都或多或少需要用到数据库。 即便我们不直接跟数据库打交道,它们也在背后默默滴为我们服务,比如刷个卡、取个钱,后台都是数据库们在扛着。 数

BabyFish13 2451

从零打造专属数据管理系统:设计思路与实现细节

本文介绍了一个基于纯HTML/CSS/JavaScript开发的数据管理系统。系统具备完整的CRUD功能,采用本地存储(localStorage)实现数据持久化,并创新性地设计了.midb自定义文件格式用于数据导入导出。系统采用响应式设计,适配不同设备,提供表格化数据展示界面,包含数据预览等实用功能。技术实现上不依赖任何框架,确保轻量化和兼容性,通过详细的表单验证和状态反馈提升用户体验。

weixin_56334307的博客 587
上一篇: 大模型常见面试题与生产实践
下一篇: 龙虾个性化设置
Direction_Wind
博客等级 码龄8年 6437粉丝 102原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Direction_Wind

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值