美团面试：说说MySQL存储引擎原理，幸好我准备过！

464次阅读 | 发布于3年以前

前面分享9篇，关于2017年，我去上海美团面试遇到的技术问题。

[美团面试：熟悉哪些JVM调优参数，幸好我准备过！]

[美团面试：讲清楚MySQL结构体系，立马发offer]

[美团面试：慢SQL有遇到过吗？是怎么解决的？]

[美团面试：String s = new String("111")会创建几个对象？]

[美团面试：为什么就能直接调用userMapper接口的方法？]

[美团面试：接口被恶意狂刷，怎么办？]

[美团面试：MySQL中有哪些锁？当时我就懵逼了！]

[美团面试：使用MySQL，你遇到过哪些坑？]

[美团面试：请手写一个快排，被我怼了！]

话不多说，咱们直入主题。

MySQL的数据是如何组织的呢？

当然是page，也就是说MySQL以页为单位进行内外存交换。

一、 MySQL记录存储（页为单位）

页头

记录页面的控制信息，共占56字节，包括页的左右兄弟页面指针、页面空间使用情况等。

虚记录

最大虚记录：比页内最大主键还大最小虚记录：比页内最小主键还小 (作用：比如说我们要查看一个记录是否在这个页面里，就要看这个记录是否在最大最小虚记录范围内)

记录堆

行记录存储区，分为有效记录和已删除记录两种

自由空间链表

已删除记录组成的链表 (重复利用空间)

未分配空间

页面未使用的存储空间；

Slot区

页尾页面最后部分，占8个字节，主要存储页面的校验信息；

页内记录维护

顺序保证

物理有序(利于查询，不利于插入删除)

逻辑有序(插入删除性能高，查询效率低) 默认

所以MySQL是像下图所示这样子有序的组织数据的。

2、插入策略

自由空间链表（优先利用自由空间链表）

未使用空间

3、页内查询

遍历

二分查找(数据不一样大，不能用二分)

利用槽位做二分，实现近似的二分查找，近似于跳表。

二、 MySQL InnoDB存储引擎内存管理

预分配内存空间

内存池

数据以页为单位加载（减少io访问次数）

内存页面管理

页面映射（记录哪块磁盘上的数据加载到哪块内存上了）
页面数据管理

数据内外存交换

数据淘汰

内存页耗尽
需要加载新数据

页面管理

空闲页
数据页
脏页（需刷回磁盘）

页面淘汰

LRU(淘汰冷数据)

某时刻状态->访问P2->访问新页P7

全表扫描对内存的影响？

可能会把内存中的热数据淘汰掉（比如说对一个几乎没有访问量的表进行全表扫描）

所以MySQL不是单纯的利用LRU算法

解决问题：如何避免热数据被淘汰？

解决方案：访问时间 + 频率(redis)

两个LRU表

MySQL的解决方案

MySQL内存管理—LRU

页面装载

磁盘数据到内存

没有空闲页怎么办？Free list中取 > LRU中淘汰 > LRU Flush

页面淘汰

LRU尾部淘汰Flush LRU淘汰

LRU链表中将第一个脏页刷盘并“释放”，放到LRU尾部？直接放FreeList？

位置移动

old 到 new new 到 old

思考：移动时机是什么？innodb_old_blocks_timeold区存活时间，大于此值，有机会进入new区

LRU_new的操作链表操作效率很高，有访问移动到表头？Lock！！！``MySQL设计思路：减少移动次数

两个重要参考：1、freed_page_clock：Buffer Pool淘汰页数 2、LRU_new长度1/4

当前freed_page_clock - 上次移动到Header时freed_page_clock>LRU_new长度1/4

三、MySQL事务实现原理

MySQL事务基本概念

1、事务特性

A（Atomicity原子性）：全部成功或全部失败 I（Isolation隔离性）：并行事务之间互不干扰 D（Durability持久性）：事务提交后，永久生效 C（Consistency一致性）：通过AID保证

2、并发问题

脏读(Drity Read)：读取到未提交的数据不可重复读(Non-repeatable read)：两次读取结果不同幻读(Phantom Read)：select 操作得到的结果所表征的数据状态无法支撑后续的业务操作

3、隔离级别

Read Uncommitted（未提交读）：最低隔离级别，会读取到其他事务未提交的数据。脏读；Read Committed（提交读）：事务过程中可以读取到其他事务已提交的数据。不可重复读；Repeatable Read（可重复读）：每次读取相同结果集，不管其他事务是否提交，幻读；（两次当前读不会产生幻读）Serializable（串行化）：事务排队，隔离级别最高，性能最差；