聊聊 inode 为什么会耗尽
本来想写写文件系统，猛得扎进来发现太庞大了，还是带着问题从一个微观角度去分析比较好，希望能做一个系列分享出来 (Multi-Group Raft 的坑还没填 ^^)
本文先分析一个磁盘空间不够用的问题，为什么 df 看到磁盘还有空间，仍然报 No space left on device 错误。
文件系统
文件系统概念特别多，很容易搞晕，需要从如下四个角度来看待
- 磁盘：系统中看到的磁盘设备都是 /dev/sda, /dev/sdb, /dev/nvme0n1p1 这样的块设备，传统 HDD 与 SSD 底层的原理结构完全不同，非存储专业的人没必要深入研究。存储以块(常用 4k)为单位，经过
mkfs.ext4等工具格式化后，由引导块与多个块组(block group)组成，大家都知道的 Superblock 就存储在里面，每个块组(block group) 由 inodes block, data block 等组成，后面会讲。一个文件对应一个 inode (index node), 即索引节点信息，保存文件的元数据，而文件的内容保存在若干个 data block 中 - 挂载：磁盘格式化后是不能用的，需要挂载到文件系统中。内核启动时默认生成一个 rootfs, 然后其它磁盘设备都是挂载这下面，这里就涉及了挂载点 (mount)
- 内核：可以理解为一个 proxy, 负责将磁盘的数据，以文件的形式展示给用户。并且为了屏蔽所有磁盘类型的差异，抽像了一个通用的方法，即
VFS, 无论是物理磁盘还是网盘都要实现接口。这里就有了Dentry目录项，Inode索引节点 等重要的概念，为了加速查找文件及目录，还有各种 caches 缓存 - 进程：每个进程的结构体里，都会保存当前打开的文件描述符 fd 数组，对应着的文件结构体是
File. 对于进程来说，文件系统的操作就是read,write,lseek,open,close等系统调用
下图自公号文章低调的文件系统家族[1]，懒得自己画，暂用这个讲 NFS 的为例子来说明。
学习文件系统，建义先看下 Robert Love 经典的 Linux Kernel Development 大致了解就行，然后阅读 mkfs.ext2 的实现，看看磁盘是如何布局的，如何制作一个静态的磁盘文件，再深入 ext2 文件系统的原理(ext4, xfs 太庞大不建义看)，然后从上面四个角度去一步一步学习。
本次分享其实就是第一步，从静态的磁盘角度来看块设备如何组织 blocks
测试例子
1. 格式化文件
首先新建一个文件，用于挂载磁盘
# dd if=/dev/zero of=test_ext2.img bs=4096 count=1000000
1000000+0 records in
1000000+0 records out
4096000000 bytes (4.1 GB, 3.8 GiB) copied, 31.4627 s, 130 MB/s
# ls -rlth
total 68M
-rw-r--r-- 1 root root 3.9G Nov 12 05:58 test_ext2.img用 dd 生成文件，块大小是 4k, 个数 1000000, 文件总大小 4G
# mkfs.ext2 -b 4096 test_ext2.img
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 1000000 4k blocks and 250480 inodes
Filesystem UUID: a16681f6-d1f3-4e10-9726-4771e7abf44b
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736
Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done调用 mkfs.ext2 格式化 test_ext2.img 磁盘文件，并且指定磁盘块大小是 4k, 可以看到输出很多信息，其中: inodes 个数一共 250480, Superblock 超级块分别备份在 7 个块上。
2. 挂载测试
# mkdir /mnt/ext2
# mount test_ext2.img /mnt/ext2
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/nvme0n1p1 15G 6.6G 8.0G 45% /
/dev/loop1 3.8G 13M 3.6G 1% /mnt/ext2
......省去不必要信息，可以看到该磁盘大小可用 3.6G 空间，然后我们生成大量的小文件
# for i in `seq 1 250469`
> do
> touch /mnt/ext2/$i
> done
# touch /mnt/ext2/aaaaaaa
touch: cannot touch '/mnt/ext2/aaaaaaa': No space left on device
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/nvme0n1p1 15G 6.6G 8.0G 45% /
/dev/loop1 3.8G 13M 3.6G 1% /mnt/ext2
......最后当我们创建文件时，报错 No space left on device, 但是通过 df 命令看到明明还有很多空间，基本没有使用。
3. inodes 用尽
# df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/nvme0n1p1 1920000 219146 1700854 12% /
/dev/loop1 250480 250480 0 100% /mnt/ext2
......
# echo "aaaaaaa" /mnt/ext2/10003
aaaaaaa /mnt/ext2/10003有过运维经验的同学，肯定可以知道用 df 查看 inodes 使用情况，100% 用光了，所以即使磁盘还有很多空间，也无法创建新文件，但是追加写现有文件是可以的。这就是线上服务器不建义创建大量小文件的原因。
原因分析
让我们用 dumpe2fs 来看一下整体信息
# dumpe2fs test_ext2.img
dumpe2fs 1.44.1 (24-Mar-2018)
......
Filesystem OS type: Linux
Inode count: 250480
Block count: 1000000
Reserved block count: 50000
Free blocks: 982309
Free inodes: 250469
First block: 0
Block size: 4096
Fragment size: 4096
Reserved GDT blocks: 244
Blocks per group: 32768
Fragments per group: 32768
Inodes per group: 8080
Inode blocks per group: 505
Filesystem created: Thu Nov 12 03:56:34 2020
......
Group 0: (Blocks 0-32767)
Primary superblock at 0, Group descriptors at 1-1
Reserved GDT blocks at 2-245
Block bitmap at 246 (+246)
Inode bitmap at 247 (+247)
Inode table at 248-752 (+248)
32009 free blocks, 8069 free inodes, 2 directories
Free blocks: 759-32767
Free inodes: 12-8080
Group 1: (Blocks 32768-65535)
Backup superblock at 32768, Group descriptors at 32769-32769
Reserved GDT blocks at 32770-33013
Block bitmap at 33014 (+246)
Inode bitmap at 33015 (+247)
Inode table at 33016-33520 (+248)
32015 free blocks, 8080 free inodes, 0 directories
Free blocks: 33521-65535
Free inodes: 8081-16160
Group 2: (Blocks 65536-98303)
Block bitmap at 65536 (+0)
Inode bitmap at 65537 (+1)
Inode table at 65538-66042 (+2)
32261 free blocks, 8080 free inodes, 0 directories
Free blocks: 66043-98303
Free inodes: 16161-24240
......
Group 29: (Blocks 950272-983039)
Block bitmap at 950272 (+0)
Inode bitmap at 950273 (+1)
Inode table at 950274-950778 (+2)
32261 free blocks, 8080 free inodes, 0 directories
Free blocks: 950779-983039
Free inodes: 234321-242400
Group 30: (Blocks 983040-999999)
Block bitmap at 983040 (+0)
Inode bitmap at 983041 (+1)
Inode table at 983042-983546 (+2)
16453 free blocks, 8080 free inodes, 0 directories
Free blocks: 983547-999999
Free inodes: 242401-250480
上图是 ext2 文件系统的结构，可以看到当前 test_ext2.img 的磁盘文件组成，一共有 30个 Group 块组，除了 group0 里拥有 superblock 以外，其它组里还有备份的超级块(1,3,5,7 的整数幂 block 里)，每个 group 依次是 超级块，组描述符，块位图，inodes 位图，inodes 块，data 数据块，其中的位图用于快速查找是否被占用
注意这里 block count 是 1000000, 和我们用命令 dd 命令创建 test_ext2.img 文件时一样，因为 block size 都是 4k. 对于当前磁盘镜象，创建的 inodes count 是 250480, 这个数怎么来的呢？通过阅读 mkfs.ext2 源码，公式如下：
fs_param.s_inodes_count = num_inodes ? num_inodes :
(ext2fs_blocks_count(&fs_param) * blocksize) / inode_ratio;其中 inode_ratio 意思是估算一般文件占用多大的磁盘空间，本例子大约是 4*block size. 所以当磁盘格式化后，能用的 inodes 数就是固定的了
在内核中，每创建一个文件，ext2_new_inode 都会占用一个 inode(保存文件的属性信息)，所以大量的小文件会消耗掉所有 inodes, 当再次使用 dumpe2fs 命令查看时，发现 Free inodes 己经为空了
# dumpe2fs test_ext2.img
dumpe2fs 1.44.1 (24-Mar-2018)
Filesystem volume name: <none>
......
Group 0: (Blocks 0-32767)
Primary superblock at 0, Group descriptors at 1-1
Reserved GDT blocks at 2-245
Block bitmap at 246 (+246)
Inode bitmap at 247 (+247)
Inode table at 248-752 (+248)
30661 free blocks, 0 free inodes, 2 directories
Free blocks: 2107-32767
Free inodes:
Group 1: (Blocks 32768-65535)
Backup superblock at 32768, Group descriptors at 32769-32769
Reserved GDT blocks at 32770-33013
Block bitmap at 33014 (+246)
Inode bitmap at 33015 (+247)
Inode table at 33016-33520 (+248)
32015 free blocks, 0 free inodes, 0 directories
Free blocks: 33521-65535
Free inodes:小结
这次分享就这些，算是小的知识点吧。以后面还会分享更多文件系统的内容。
参考资料
[1]低调的文件系统: https://mp.weixin.qq.com/s/2ZAnIP9pE-2gs2dfc87cOg,