MySQL批量插入和唯一索引问题怎么解决？

最新推荐文章于 2026-07-29 22:22:05 发布
原创 最新推荐文章于 2026-07-29 22:22:05 发布 · 869 阅读 · 1

今天，我就给大家介绍一下MySQL批量插入和唯一索引问题怎么解决，由于内容介绍的非常详细，对大家学习或者使用MySQL具有一定的参考学习价值，感兴趣的朋友可以参考下， 希望大家看完这篇文章之后有所收获。

MySQL批量插入问题

在开发项目时，因为有一些旧系统的基础数据需要提前导入，所以我在导入时做了批量导入操作，但是因为MySQL中的一次可接受的SQL语句大小受限制所以我每次批量虽然只有500条，但依然无法插入，这个时候代码报错如下：
在这里插入图片描述

根据报错我们很快就可以知道，是SQL语句数据包太大导致，我们可以设置MySQL服务器参数max_allowed_packet来解决这个问题。

解决办法

1、添加【mysqld】下max_allowed_packet参数，设置的尽量大一些。
在这里插入图片描述

2、临时设置max_allowed_packet,通过语句设置
在这里插入图片描述

该种方式重启后就max_allowed_packet失效了

默认情况下Mysql参数max_allowed_packet值是1M.

MySQL索引不区分大小写问题

当在MySQL数据库中，创建索引默认是不区分大小写的，比如说如下语句：

标签
#mysql #数据库 #经验分享
最低0.47元/天 解锁文章
Chihiro.511
关注
MySQL批量插入解决唯一索引问题（避免导入重复数据）
fengzelun的博客
05-12 1990
本文章为转载，原文地址：https://blog.csdn.net/heart_mine/article/details/100552990 MySQL批量插入遇上唯一索引避免方法（避免导入重复数据） 未避免导入重复数据，建议建立唯一索引 防止批量插入时，遇上唯一索引，可以使用以下3种方法避免方法 （一）导入差异数据，忽略重复数据，IGNORE INTO的使用 （二）导入并覆盖重复数据，REPLACE INTO 的使用 （三）导入保留重复数据未指定字段，INSERT INTO ON DUPLICAT.
mysql建立唯一索引升序_MySQL死锁套路之唯一索引下批量插入顺序不一致
weixin_42300927的博客
01-18 339
前言死锁的本质是资源竞争，批量插入如果顺序不一致很容易导致死锁，我们来分析一下这个情况。为了方便演示，把批量插入改写为了多条 insert。先来做几个小实验，简化的表结构如下CREATE TABLE `t1` (`id` int(11) NOT NULL AUTO_INCREMENT,`a` varchar(5),`b` varchar(5),PRIMARY KEY (`id`),UNIQUE K...
明明加了唯一索引，为什么还是产生重复数据？
热门推荐
人生若只初相见@的博客
08-15 4万+
明明加了唯一索引，为什么还是产生重复数据？今天分析一下具体原始和解决方案！！！
聊聊mysql唯一索引的哪些坑，为什么还是产生重复数据？
LoveSummer
08-06 2万+
前段时间我踩过一个坑：在mysql8的一张innodb引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。到底怎么回事呢？本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。
Gorm-批量插入问题
i4053的博客
09-05 3888
Gorm向MySQL表批量插入数据，并避免重复
加了唯一索引为什么还会有重复数据？(荣耀典藏版)
人生若只初相见@的博客
04-29 2万+
​ 大家好，我是月夜枫，之前写的一篇文章《mysql建表必须知道的18个重点》，自发表之后，在全网广受好评，被很多大佬转载过，说明了这类文章的价值。 书接上回，今天探讨一下明明加了唯一索引，为什么还是产生重复数据？ ​
面试官：数据库加了唯一索引，就不会有重复数据了吗？？？
HollisChuang's Blog
10-24 1837
前言前段时间我踩过一个坑：在mysql8的一张innodb引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。到底怎么回事呢？本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。1.还原问题现场前段时间，为了防止商品组产生重复的数据，我专门加了一张防重表。问题就出在商品组的防重表上。具体表结构如下：CREATETABLE`product_group_unique`( `id`b...
MyBatis批量插入百万级数据插入（二）
xuyudian的博客
03-18 1万+
最近公司要做一个项目，生成报告时每个报告有一个编码，不能重复。解决方案订为提前在数据库插入一百万条数据，每次随机取一个，然后更改状态，标记为已使用。 第一步先在数据库插入百万条不重复的数据。 代码如下 Controller @RequestMapping("/insetData") @ResponseBody public String insetData(){ ...
明明加了唯一索引，为什么还是产生重复数据？一文带你了解
程序源日志的博客
02-10 475
逻辑删除需要在表中额外增加一个删除状态字段，用于记录数据是否被删除。在所有的业务查询的地方，都需要过滤掉已经删除的数据。 通过这种方式删除数据之后，数据任然还在表中，只是从逻辑上过滤了删除状态的数据而已。 其实对于这种逻辑删除的表，是没法加唯一索引的。 为什么呢？ 假设之前给商品表中的`name`和`model`加了唯一索引，如果用户把某条记录删除了，delete_status设置成1了。后来，该用户发现不对，又重新添加了一模一样的商品。 由于唯一索引的存在，该用户第二次添加商品会失败，即使该商品
明明加了唯一索引，为什么还是产生了重复数据？
程序员小明1024
08-17 176
前言 前段时间我踩过一个坑：在mysql8的一张innodb引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。 到底怎么回事呢？ 本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。 1.还原问题现场 前段时间，为了防止商品组产生重复的数据，我专门加了一张防重表。 如果大家对防重表，比较感兴趣，可以看看我的另一篇文章 《高并发下如何防重？》，里面有详细的介绍。 问题就出在商品组的防...
mysql 批量插入12位随机数字
gao_yuwushengchu的博客
07-28 1127
解析：批量、随机12位数字 mysql随机12位数字 select CEILING(RAND()*900000000000+100000000000); mysql批量处理函数 delimiter // create PROCEDURE rand_data (in num int) begin declare i int default 0; while i<num do set i=i+1; insert into table_name(column1) values (CEILING(
mysql 批量插入数据如何防止重复插入
hit、run
07-17 3270
mysql批量插入数据时,会存在重复数据的可能. 可以通过1)数据库加联合索引 2)修改sql,忽略重复的数据,防止数据库报错 1. CREATE TABLE `merchantBlackList` ( `id` int(5) NOT NULL AUTO_INCREMENT, `createTime` datetime NOT NULL, `bankId` int(10) DEFAULT NULL COMMENT '银行id', `merchantSn` varchar(20) COLLA
为什么要谨慎使用 Mysql唯一索引
SayBlog
05-16 1018
相同的记录第二次删除的时候，delete_status被设置成1，但由于创建了唯一索引（把name、model和delete_status三个字段同时做成唯一索引），数据库中已存在delete_status为1的记录，所以这次会操作失败。该方案的思路跟增加时间戳字段一致，即在添加数据时给delete_id设置默认值1，然后在逻辑删除时，给delete_id赋值成当前记录的主键id。如果新增数据的入口比较少，比如只有job，或者数据导入，可以单线程顺序执行，这样就能保证表中的数据不重复。
阿里二面：明明加了唯一索引，为什么还是产生重复数据？
资料免费分享，点击名片
08-05 303
前言前段时间我踩过一个坑：在mysql8的一张innodb引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。到底怎么回事呢？本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。1.还原问题现场前段时间，为了防止商品组产生重复的数据，我专门加了一张防重表。如果大家对防重表，比较感兴趣，可以看看我的另一篇文章 《》，里面有详细的介绍。问题就出在商品组的防重表上。具体表结构如下：CREATE&nbsp;TABLE&nbsp;`product_group_unique`&nbsp;
MySQL 26.7.0发布！复制架构升级、线程池开放、版本体系变革
最新发布
IT邦德
07-29 278
对于广大 DBA、开发人员以及企业架构师来说，MySQL 26.7.0 不只是一次普通的小版本升级，而代表着 MySQL 下一阶段的发展方向。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值