当前位置:首页 > AI技术 > 正文内容

mysql如何提升InnoDB写入 对比MyISAM的写入锁机制实战案例|Duuu笔记

admin6个月前 (04-01)AI技术149

InnoDB写入慢主因非引擎本身,而是autocommit=1、redo刷盘频繁、未批量提交、主键无序等配置与设计问题;优化需关自动提交、用显式事务、调大缓冲池、改主键为自增、禁用校验、配合LOAD DATA及调整innodb_flush_log_at_trx_commit。

为什么InnoDB写入比MyISAM慢,不是因为“引擎不行”

InnoDB默认走事务+行锁+缓冲池+redo日志这一整套机制,MyISAM是纯表级锁+直接刷磁盘。看起来MyISAM“更轻”,但慢的根源往往不在引擎本身,而在你没关掉它本不该开的开关。比如

autocommit=1

下每条

INSERT

都隐式开启又提交一次事务,redo日志强制刷盘(

innodb_flush_log_at_trx_commit=1

),再加上没批量、没索引预热、主键不连续——这些加起来,比引擎选型影响大得多。

常见错误现象:

SHOW PROCESSLIST

里一堆

updating

卡住,

INFORMATION_SCHEMA.INNODB_TRX

显示长事务堆积,磁盘

iowait

高但CPU空转。

确认是否真在用InnoDB:

SHOW CREATE TABLE t1

ENGINE=InnoDB

,别被建表语句里漏写的

ENGINE

误导

检查

autocommit

状态:

SELECT @@autocommit

,批量写入前设为

0

,自己控制

COMMIT

时机

避免单条

INSERT ... VALUES (...), (...), (...)

当多条用——MySQL解析器会拆成多语句,仍触发多次日志刷盘

批量插入必须绕开自动提交和唯一性校验

真正起效的批量写入,不是靠“多插几行”,而是让InnoDB把多行压进一个事务、一批redo记录、一次缓冲池合并。MyISAM的“快”本质是跳过了所有这些保障,所以对比时得先拉到同一安全基线再谈优化。

使用场景:导入CSV、ETL落库、日志归档等非实时强一致场景。

显式事务封装:

BEGIN; INSERT INTO t VALUES (...),(...),(...); COMMIT;

,单次

COMMIT

触发一次redo刷盘

关闭唯一键/外键检查(仅限导入可信数据):

SET FOREIGN_KEY_CHECKS=0; SET UNIQUE_CHECKS=0;

,导入完再开

调大

innodb_buffer_pool_size

(建议设为物理内存50%~75%),避免频繁刷脏页挤占写入带宽

LOAD DATA INFILE

代替

INSERT

——它跳过SQL解析层,直通存储引擎,速度通常快5~10倍

innodb_flush_log_at_trx_commit

不是“越稳越好”

这个参数决定事务提交时redo日志怎么刷盘:

1

(每次commit都fsync到磁盘,最安全)、

0

(每秒刷一次,崩溃最多丢1秒数据)、

2

(写入os cache就返回,但崩溃后os crash可能丢数据)。线上业务常设为

1

,但批量导入时设成

0

2

能直接提升3~5倍写入吞吐。

性能影响:从

1

0

,磁盘IOPS压力骤降,

INSERT

延迟从毫秒级降到微秒级;但代价是事务持久性下降——只要

mysql

d进程没挂,

0

2

都能保数据;一旦服务器断电,

0

可能丢整个秒级批次。

白瓜AI

白瓜AI,一个免费图文AI创作工具,支持 AI 仿写,图文生成,敏感词检测,图片去水印等等。

下载

临时调整(会话级):

SET SESSION innodb_flush_log_at_trx_commit = 0;

不要全局改

my.cnf

长期设为

0

,除非你清楚承担丢失最近1秒事务的风险

sync_binlog

要和它配合:若binlog也设为

0

,主从数据一致性风险叠加

主键设计不当会让InnoDB写入退化成“随机写”

InnoDB按主键顺序组织数据(聚簇索引),如果主键是

AUTO_INCREMENT

整数,新行总追加在B+树最右端,写入就是顺序IO;但如果主键是

UUID

MD5

或时间倒序

created_at

,每次插入都要定位到树中间甚至左侧页,引发大量页分裂、缓冲池淘汰、磁盘随机写——这时哪怕关了日志刷盘也没用。

容易踩的坑:用

CHAR(32)

存UUID当主键,或用

created_at DESC

做联合主键首字段。

优先用

BIGINT AUTO_INCREMENT

作主键,业务字段放普通索引

非要用UUID,考虑用

UUID_TO_BIN()

+

REVERSE()

变换成时间前置格式(MySQL 8.0+支持)

避免在写密集表上建太多二级索引——每写一行,所有二级索引都要更新,B+树分裂成本翻倍

InnoDB写入性能的瓶颈很少卡死在引擎层,更多卡在配置误用、主键乱序、事务粒度太碎这些地方。调参只是表象,真正要盯住的是“这一批写入,到底触发了多少次磁盘IO、多少次B+树分裂、多少次锁等待”。

相关文章

【大数据分析 | 深度学习】在Hadoop上实现分布式深度学习

一、Submarine(Hadoop生态系统) (一)Submarine 介绍 (三)Submarine 属于 Hadoop 生态系统 (四)Submarine 官网版...

LLM介绍

。LLM 被证明在使用指令形式化描述的未见过的任务上表现良好。这意味着 LLM 能够根据任务指令执行任务,而无需事先见过具体示例,展示了其强大的泛化能力。 :小型语言模型通常难以解决涉...

神经网络分类总结

从网络性能角度可分为连续型与离散型网络、确定性与随机性网络。 从网络结构角度可为前向网络与反馈网络。 从学习方式角度可分为有导师学习网络和无导师学习网络。 按连续突触性...

神经网络中的单层神经网络

神经网络是一种模拟人脑的神经网络以期能够实现类人工智能的机器学习技术。人脑中的神经网络是一个非常复杂的组织。成人的大脑中估计有1000亿个神经元之多。 看一个经典的神经网络。这是一个包...

跨平台机器学习:ML.NET架构及应用编程

平台上的一个机器学习框架,它提供了一套丰富的算法和工具,使得开发人员可以轻松地构建和部署机器学习模型。支持多种编程语言,包括等,这使得它成为跨平台机器学习的理想选择。的架构主要包括三个部分:数据读取、...

什么是人工智能 ?

您可以使用 ML 训练 AI,使其精确、快速地执行任务。这可以通过自动化员工感到吃力或厌烦的业务部分来提高运营效率。同样,您可以使用 AI 自动化来腾出员工资源,用于更复杂和更具创造性的工作。...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。