网络问题

底层的数据存储，是按照各自建表语句中，AGGREGATE KEY、UNIQUE KEY 和 DUPLICATE KEY 中指定的列进行排序存储的。，更贴切的名称应该为 “Sorted Column”，这里取名 “DUPLICATE KEY” 只是用以明确表示所用的数据模型。在某些多维分析场景下，数据既没有主键，也没有聚合需求，只需要将数据原封不动的存入表中，数据有主键重复也都要存储。这种数据模型区别于 Aggregate 和 Unique 模型，数据完全按照导入文件/或插入的数据进行存储，不会有任何聚合。

Doris提供三种核心数据模型：DUPLICATEKEY存储原始明细数据，允许重复键；AGGREGATEKEY通过预计算自动聚合数据，适合统计分析；UNIQUEKEY保证键唯一性并支持数据更新。三者的主要区别在于键的唯一性和数据处理方式：DUPLICATEKEY保留所有数据，AGGREGATEKEY按规则聚合，UNIQUEKEY则覆盖旧数据。选择依据业务需求：明细分析用DUPLICATEKEY，统计报表用AGGREGATEKEY，需要更新的业务数据用UNIQUEKEY。合理选择模型能显著提升查询性能。

目录1. key和value2. 数据模型2.1 Aggregate数据模型 1. key和value 这里的key并不是索引的意思，下面根据情况具体说明： Aggregate数据模型：key为聚合的键，value为聚合的值 Uniq数据模型：key为聚合的键，value为聚合的值 Duplicate数据模型：key为建表时指定的duplicate key(sorted column，只是用来排序)，其余字段为value rollup 作用于Aggregate和Uniq数据模型：key为聚合的键，val

Apache Doris提供三大数据模型满足不同业务需求：DuplicateKey模型适合存储原始明细数据（如日志），不聚合且写入性能高；AggregateKey模型自动按Key聚合数据，适合预聚合报表场景；UniqueKey模型支持主键唯一约束和更新操作，推荐使用Merge-on-Write模式提升查询性能。选型建议：不确定时先用DuplicateKey，报表需求用AggregateKey，主数据管理用UniqueKey。Doris还支持丰富的数据类型，包括数值、日期、字符串、半结构化和IP类型，可灵活适

建表时面对UNIQUE KEY三种模型，不知道该选哪个？明明数据量不大，跑个SUM聚合却要好几秒？想要保证数据唯一性，却发现删除操作性能很差？你没有选择适合业务场景的存储模型。Doris 不同于传统关系型数据库，它提供了三种专门的存储模型，每种模型都在特定的查询场景下做了极致优化。选对了，查询性能可以提升数倍甚至数十倍；选错了，不仅浪费存储空间，还会拖慢查询速度。今天，我将从原理到实战，带你彻底搞懂 Doris 的三种存储模型，并教你如何根据业务场景做出最优选择。

列可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。 Apache Doris主要有3种数据模型： 明细模型：Duplicate（重复，复制）模型，表中的Key值（类似关系模型中的主键）可以重复，和插入数据行一一对应。 聚合模型：Aggregate（聚合，合计）模型，表中key值不重复，对于插入的数据数据按照key值对value值进行聚合函数合并。 更新模型：UNIQUE 模型，聚合类型的特殊情况，key满足唯一性，最新插入的数据替换掉对应key的数

3. ⽤户进⾏查询时，在BE后端可能不同insert批次的数据未进⾏聚合，此时会对符合查询条件的数据进⾏内部聚合(不⽤⽤户调 ⽤group by，会扫描所有列的数据)后，再返回给客户端。根据user_id, username这2个key进⾏数据的聚合，其余字段按replace⽅式进⾏聚合。->作⽤于Aggregate和Uniq数据模型：key为聚合的键，value为聚合的值。Aggregate数据模型：key为聚合的键，value为聚合的值。Uniq数据模型：key为聚合的键，value为聚合的值。

Doris 的数据模型主要分为 3 类：Aggregate、Uniq、DuplicateAggregate:在某些多维分析场景下，数据既没有主键，也没有聚合需求。Duplicate 数据模型可以满足这类需求。数据完全按照导入文件中的数据进行存储，不会有任何聚合。即使两行数据完全相同，也都会保留。而在建表语句中指定的 DUPLICATE KEY，只是用来指明底层数据按照那些列进行排序。

因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。

常用于加速分析，原理是通过索引确定不满足 WHERE 条件的数据块，跳过这些不满足条件的数据块，只读取可能满足条件的数据块并再进行一次逐行过滤，最终得到满足条件的行。上述索引中，前缀索引和 ZoneMap 索引是 Apache Doris 自动维护的内建智能索引，无需用户管理，而倒排索引、BloomFilter 索引、NGram BloomFilter 索引则需要用户自己根据场景选择，手动创建、删除。数据库索引是用于查询加速的，为了加速不同的查询场景，Apache Doris 支持了多种丰富的索引。

如果写成 if not exists (select node_name from node_status where node_name = target_name) insert into node_status(node_name,ip,...) values('target_name','ip',...) else update node_status set ip = 'ip',site = 'site',... where node_name = target_name

Doris三种数据模型的介绍，以及简单的示例

本文深入探讨了Flink SQL与Apache Doris集成时的数据类型映射与Unique Key模型应用，提供了详细的避坑指南和实战解决方案。重点解析了Doris Connector的配置技巧、数据类型转换策略以及Unique Key模型的特殊限制，帮助开发者高效实现实时数仓架构。

【代码】Doris 入门。

因为业务侧存在数据口径和ETL出错的问题，需要对数据历史部分数据进行删除后重新生成并写入的需求。

我们在开发数据库相关的逻辑过程中， 经常检查表中是否已经存在这样的一条记录， 如果存在则更新或者不做操作， 如果没有存在记录，则需要插入一条新的记录。 这样的逻辑固然可以通过两条sql语句完成。 SELECT COUNT(*) FROM xxx WHERE ID=xxx; if...

表引擎存储特点支持场景聚合方式是否支持更新数据原始存储，不去重日志、明细数据无聚合否数据按聚合函数存储，减少存储空间统计、报表分析类数据写入时聚合否Unique Key主键唯一存储，允许更新，旧数据被新数据替换状态性数据（如用户状态）无聚合是。

简单来说，Aggregate模型就是预聚合模型，类似于Molap，通过提前定义key列及value列的聚合方式，在数据导入的时候已经将key列相同的数据按照value列的聚合方式聚合在一起，即最终表里key相同的数据只保留一条，value按照相应的规则计算。线上配置的监控1分钟执行一次，如果遇到任务暂停，会自动恢复导入任务，但是导致任务失败的脏数据会跳过，此时需要人工排查失败原因，修复后重新触发该条数据的导入。虽然同样无法利用预聚合的特性，但是不受聚合模型的约束，可以发挥列存模型的优势。

经常我们使用的最简单的数据库操作就是数据的更新，删除和插入，对于批量删除和插入的方法相信大家都很清楚，那么批量更新估计有的人就不知道了，并且还有批量插入，在插入时若有主键冲突则更新的操作，这在EAV模式中应该会经常用到吧。曾在网上搜索相关资料，有介绍三种方法：第一种是插入时通过where条件查询该条记录是否已经存在，就这么完了，话说这根本就没有解决问题好吧!!!第三种是使用R...