小鲸鱼的前世今生--Docker

Docker 是什么？

图源百度图片

Docker 是一个由 go 语言编写的，开源的应用容器引擎。

开发者可以打包他们的应用以及依赖包到一个可移植的镜像[1]中，然后发布到任何流行的Linux[2]或Windows[3]机器上，也可以实现虚拟化[4]。

容器是完全使用沙箱[5]机制，相互之间不会有任何接口。

Docker 背后实现原理是什么？

Docker 架构

实现一个完整的容器，需要 Namespace、Cgroups 和联合文件系统这三项 Linux 技术的支撑。

图源百度图片

Namespace

Namespace 是 Linux 内核用来隔离内核资源的一种方式。通过 Namespace 可以对某些进程进行限制，使得其只能访问与自身相关的那部分资源，其他资源不可见。

如此，不同进程之间也是相互无感知的。这种隔离覆盖面十分广泛，包括但不限于：隔离进程 ID、主机名、用户 ID、文件名、网络访问和进程间通信等相关资源。在 Docker 的世界中，主要用到以下六种命名空间。

• pid namespace：隔离进程 ID
• net namespace：隔离网络接口
• mnt namespace：隔离文件系统挂载点，可在不同进程中看到不同挂载目录，且不影响主机挂载目录
• ipc namespace：隔离进程间通信(如:信号量,消息队列和共享内存)
• uts namespace：隔离主机名和域名。
• user namespace : 隔离用户和用户组，可实现 docker 内拥有 root 权限而在主机上只是普通用户

正是由于 Docker 使用了 Linux 的这些 Namespace 技术，才实现了 Docker 容器的隔离。

Cgroups

Cgroups 是控制组群（control groups）的简写，可用于限制、控制与分离一个进程组的资源（如 CPU、内存、磁盘输入输出等）。

在 Docker 的世界中，Cgroups 通常用来限制容器的 CPU 和内存等资源的使用。

• 资源限制 : 限制资源的使用量(如通过限制某个业务的内存上限，保护主机其他业务的安全运行)。
• 优先级控制 : 不同的组可以有不同的资源（ CPU 、磁盘 IO 等）使用优先级。
• 审计 ：计算控制组的资源使用情况。
• 运行控制 ：控制进程的挂起或恢复。

图源掘金小册-开发者必备的 Docker 实践指南

联合文件系统

联合文件系统是一种分层、轻量级并且高性能的文件系统，它支持对文件系统的修改作为一次提交来一层层的叠加，同时可以将不同目录挂载到同一个虚拟文件系统下。

在 Docker 的世界中，联合文件系统为容器提供构建层，使得容器可以实现写时复制以及镜像的分层构建和存储。

镜像本身是只读的，在运行某个容器的时候，会在镜像外层附加一个可读写层，这也是基于联合文件系统实现的。

FROM busybox

COPY test /tmp/test

RUN mkdir /tmp/testdir

上述每一行命令都会生成一个镜像层，当不同的镜像之间有相同的镜像层时，便可以实现不同的镜像之间共享镜像层的效果。（比如基于 base 镜像扩展的镜像）

图源拉钩教育

镜像层共享这个功能十分强大，每一层都可以共享。

图源百度图片

操作系统层面的虚拟化

以上这种对进程进行封装隔离的技术，属于操作系统层面的虚拟化技术[6]。隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。容器本质是一个受限制的进程，它没办法像直接运行在主机上的进程那样获取主机上的进程、环境变量、网络等信息。

该技术最初实现是基于LXC[7](Linux Container)，从 0.7 版本以后开始去除 LXC，转而使用自行开发的libcontainer[8]。从自 1.11 版本开始，进一步演进为使用runC[9]和containerd[10]。

客户端/服务端模式

图源拉钩教育

docker

如上图所示：Docker 和 MySQL 一样，也是客户端-服务端的模式。Docker 客户端其实是一种泛称，用户可通过 docker 命令或者直接请求 REST API 的方式与 Docker 服务端交互。

dockerd

Docker 服务端是 Docker 所有后台服务的统称。其中 dockerd 是一个非常重要的后台管理进程，它负责响应和处理来自 Docker 客户端的请求，然后将客户端的请求转化为 Docker 的具体操作。这个过程中 dockerd 会通过 grpc(一个 rpc 框架)与 containerd 通信，containerd 作为 dockerd 的下层服务。

runC

runC 是一个根据 OCI(开放容器标准)规范生成和运行容器的 CLI 工具,可通过命令行的形式控制容器的销毁与创建。

contained

containerd 是 dockerd 和 runC 之间的一个中间交流组件，docker 对容器的管理和操作基本都是通过 containerd 完成的。例如：容器生命周期管理、镜像管理。

containerd-shim

containerd 通过 containerd-shim 启动并管理 runC，containerd-shim 主要作用是可以在不中断容器运行的情况下升级或重启 dockerd。

Docker 与虚拟化技术

虚拟化技术指的是通过隐藏特定计算平台的实际物理特性，为用户提供抽象、统一、模拟的计算环境。这种计算环境，也被称为虚拟机。

Docker 是对 Linux 容器的一种封装，具有高性能，低开销，接口简单易用等特点。真正使其超过其他同类产品，迅速占领市场，成为目前最流行的 Linux 容器技术解决方案的根本是 Docker 引入了镜像功能。

与系统级别的虚拟机不同，容器技术的虚拟其实是进程级别的。

图源极客时间

从上图中可以看出，虚拟机是通过在宿主机上启动一个虚拟机监视器 HyperVisor 来管理控制虚拟机的，最经典的 HyperVisor 就是 VirtualBox。与容器相比，虚拟机包含了整个客户操作系统，这也是二者性能差异的主要成因。

• 从启动角度来看，进程级别的容器启动肯定是比系统级别的虚拟机启动要快得多。
• 从资源占用角度来看，容器是按需占用，虚拟机是全量占用。
• 从资源利用率角度来看，多容器可以共享资源，而虚拟机是独享资源。
• 从构建角度来看，容器是按需构建，体积小；虚拟机是全量构建，体积大。

图源掘金小册-开发者必备的 Docker 实践指南

Docker 解决了什么问题？

Docker 是容器技术的一种体现，而容器技术的根本是为了抹平软件运行的环境差异。

如何抹平？Docker 通过 build 命令将应用程序和其依赖构建成镜像文件，镜像是只读的，这意味着构建完成后，镜像不会再发生任何变化。如此，基于该镜像启动的容器环境必然一致。同理，跑在这个容器中的应用程序所处环境也一致。

此外，容器是完全使用沙箱机制，容器相互之间完全隔离，互不影响。

Docker 有哪些适用场景？

• 提供应用运行环境，辅助 CI/CD 工作流
• 作为 Serverless 的底层依赖，动态扩缩容
• 搭建微服务架构，可通过多容器运行多服务的形式对复杂项目进行拆解
• 部署环境迁移
• other...

核心概念

镜像

Docker 镜像是一个特殊的文件系统，它包含了容器运行时所需要的所有基础文件和配置信息，是容器启动的基础。这就意味着，必须先有镜像才能启动容器。

镜像可以自己构建也可以从镜像仓库[11]拉取。

容器

镜像和容器的关系就好像类和实例的关系。一个类可以有很多实例，一个镜像也可以有很多容器。

容器不可以脱离镜像存在。事实上，可以理解为容器=容器层(可写)+镜像（只读）。

图源拉钩教育

写时复制

这部分涉及到一个写时复制（copy-on-write）的技术，能够有效的提高磁盘的利用率。尤其是对读操作，十分的友好。

• 写时复制会将要修改的内容从镜像拷贝到容器的可读写层，并不会直接修改镜像的源文件。
• 这意味着即便是写的时候有其他容器对同一镜像资源进行读取，也不会发生资源不一致的情况。
• 多容器操作同一个文件也是各自在自己的容器空间创建读写层并完成修改，相互隔离，互不影响。

生命周期

每一个容器完整生命周期都具有创建，运行，停止，暂停，删除这五个状态。

图源百度图片

• 创建：容器被创建，所需资源已就绪，容器中的应用程序尚未运行。

• 运行：容器中的应用程序正在运行。

• 暂停：容器中的所有应用程序都处于暂停 ( 非停止 ) 状态。

• 停止：容器中的应用程序均已停止，但所占用资源不会释放。

• 删除：容器已删除，所占用资源全部释放。

值得注意的是：如果要删除一个镜像，必须保证没有容器占用，停止状态的容器也不行。

仓库

Docker 的镜像仓库(public/private)类似于代码仓库，可以用来存储和分发 Docker 镜像。

镜像，容器，代码仓库三者关系如下:

安装

官方安装方式 Docker Desktop

Docker Desktop 其本质是借助 windows 和 macOS 的平台特性，搭建了一个 Linux 环境,进而运行 docker。

图源掘金小册-开发者必备的 Docker 实践指南

• mac[12]

• windows[13]

镜像加速

为使得在国内从 Docker Hub 拉取镜像更快，可以配置镜像加速器。

• 阿里云加速器\(控制台 -> 登录账号-> 应用搜索容器镜像服务 -> 侧边栏选择镜像加速器 -> 复制地址\)[14]

• 网易云加速器https://hub-mirror.c.163.com[15]

• 百度云加速器https://mirror.baidubce.com[16]

由于镜像服务可能出现宕机，建议同时配置多个镜像。

配置方式

下载安装官方提供的 Docker Desktop 后，点击 docker 图标，选择 setting(windows)或者 preferences(macOS)面板，切换到 docker engine ,编辑 json 文件，加入镜像源地址后点击右下角的 Apply&Restart。

安装检测

命令行输入 docker info 后关注 Registry Mirrors

Hello world

本示例将展示一个简单的 koa server 如何在 docker 中跑起来。

1. 创建项目 koa-server

# 新建文件夹
mkdir koa-server
# 进入
cd koa-server
# 项目初始化，生成package.json
npm init -y
# 安装koa
npm i koa
# 新建app.js
touch app.js
# 在app.js中写入如下代码
const Koa=require('koa')
const app=new Koa()
app.use(ctx=>{
    ctx.body='hello koa'
})
app.listen(3000,()=>{
    console.log('run server__')
})

2. 编写 Dockerfile 文件，根据其描述构建镜像

# 新建Dockerfile文件
touch Dockerfile
# 写入如下内容
FROM node:12.20.1
COPY . /app
WORKDIR /app
RUN npm i
EXPOSE 3000

命令解释

• 指定基础镜像为 node，冒号表示标签,此处指的是 12.20.1 版本的 node
• 将当前目录下的所有(非.dockerignore 排除)文件，都拷贝进入镜像文件的/app 目录。
• 指定工作路径为/app。
• 安装依赖(安装后所有的依赖，都将打包进入镜像文件)。
• 将容器 3000 端口暴露出来， 允许外部连接这个端口。

其他常用命令

图源拉钩教育

3. 编写.dockerignore 排除文件

# 新建.dockerignore排除文件
touch .dockerignore
# 写入如下内容
node_modules

4. 构建镜像

koa-server 根目录下执行如下命令构建镜像：

docker image build -t koa-server-image .

• -t 用于指定构建的镜像名，后面可用冒号指定标签名，默认 latest

• 最后的那个点表示 Dockerfile 文件所在的路径，因为是进入 koa-server 后执行的构建命令，所以是当前目录，可以看成是./

• 同镜像同标签或不指定标签多次构建会是同一个

• 镜像构建完成后可用 docker image ls 命令查看镜像列表:

5. 启动容器

Docker 内部环境与主机资源都是隔离的，因此需要定义容器与物理机的端口映射来进行访问。

此外，容器是在镜像基础上启动，所以要先保证有这个镜像。如果本地没有，默认会去公开镜像仓库中查找同名镜像，找到后拉取到本地再执行 docker run 命令。

镜像，容器，应用程序三者关系是：镜像是容器启动的先决条件，容器中运行着真正的应用程序。

docker container run -p 3000:3000 -it koa-server-image /bin/bash

• -p 参数就是用于指定端口映射，格式为主机端口：容器端口
• -it 参数一般配合使用，生成一个交互终端
• /bin/bash 相当于在-it 参数返回的交互终端中执行/bin/bash
• 因为是 node 环境，不加/bin/bash 效果就相当于终端输入 node 后回车的效果

对于上述-p 参数做一个补充说明，这里涉及到了 docker 中用于处理端口映射的 docker-proxy 组件。当我们使用带有-p 参数的 docker run 命令，该组件就会把容器内相应的端口映射到主机上来，这样主机就可以访问容器内资源了。

6. 效果验证

上述命令执行后会返回一个交互终端，此时已经进入容器内部，通过执行 node app.js 启动 koa-server

浏览器访问地址http://localhost:3000/，页面显示 hello koa

如果想退出容器，可以先 ctrl+c 打断应用程序，然后 ctrl+d 退出。如果安装了 Docker Desktop，可用图形化界面形式去管理镜像和容器，十分方便。更多：Docker run 命令[17]。

容器迁移

通过 docker 提供的 export 和 import 命令可以十分方便的实现容器的导入导出，从而完成迁移工作。

导出

docker export 容器名 > xxx.zip
#demo
docker export busybox > busybox.zip

执行完后会生成一个压缩包，可发送到另一台机子上再导入使用。

导入

导出的容器在被导入后实际会成为一个镜像，可使用 docker run 命令基于该镜像启动容器。

docker import xxx.zip xxx
# demo
docker import busybox.zip busybox:test
docker run -it busybox:test sh