Galaxy

姚皓的技术博客-一杯咖啡,一首音乐,一台电脑,编程

0%

容器-3-Cgroups的计划经济

Cgroups-限制可用资源

如果应用优化得不够好,直接把CPU或内存吃光也完全不是新鲜事。但我们肯定不能容忍容器无限制地挤占宿主机的资源,甚至把宿主机搞down掉。
所以我们可以通过Linux的Cgroups(Control Groups,控制组)对某个容器可以使用的各种硬件资源设置配额。

cgroup

根据wiki,Cgroups的功能包括:

  • 资源限制(Resource Limitation):进程组使用的内存的上限,也包括文件系统与物理内存交换用的页缓存(Page Cache)
  • 优先级分配(Prioritization):控制分配的CPU时间片数量及硬盘IO吞吐,实际上就相当于控制了进程运行的优先级
  • 资源统计(Accounting):统计资源使用量,如CPU使用时长、内存用量等,主要用于计费
  • 进程控制(Control):执行挂起、恢复进程组的操作

Cgroups的设置一般分为三个主要步骤:

  1. 创建cgroup
  2. 设置cgroup配额(将cpu/内存等各种子系统添加到该cgroup中)
  3. 将进程添加为cgroup的任务

Docker容器在启动时候会动态创建Cgroup,并在容器终止的时候删除。

容器的Cgroups相比虚拟机的优势主要在两方面:

  • 资源利用率
  • 性能损耗
    首先从资源利用率方面来说,一部分虚拟化技术只能静态分配资源,一台物理机上也装不了几个虚拟机。如果虚拟机闲置,分配给虚拟机的硬件资源也无法分配给其他虚拟机。也有一部分虚拟化技术可以实现一定程度上的“动态分配”。但这种“动态分配”有各种各样的缺陷,比如回收速度慢(Balloon技术),影响性能(内存压缩),或即慢又影响性能(透明页共享)。
    虚拟化技术也有很大的性能损耗。例如为了虚拟CPU,Hypervisor需要为每个虚拟的CPU创建一个数据结构,以模拟CPU的寄存器;为了虚拟内存,需要通过一个shadow page table,在物理内存和虚拟机内存之间增加一层虚拟的物理内存。而且操作系统本身的资源损耗是无论如何无法避免的。

相比之下,Cgroups虽然也会带来一些性能损耗。但通过一些测试可以发现,相比虚拟机接近50%的损耗,容器的性能损耗微乎其微(CPU密集场景下是5%)。此外Docker还节省了操作系统运行的资源损耗。此外,容器在启动时间上也有巨大的优势。

当然Cgroups也有自己的问题。比如高压力下容器与容器之间,以及容器和操作系统之间抢占资源的问题。有兴趣的话可以参考这篇,或者自己做个实验试一下。

Docker原理总结

从以上的介绍你可以看到,其实Docker engine并没有使用什么特别深奥的原理。甚至你可以通过shell脚本自己来实现一个docker engine(事实上github上就有这么一个开源项目,使用100行bash实现了精简版的docker)。所以事实上真正Docker的架构类似下图:
容器-虚拟机vs容器(真)

常见问题

建议在物理机上还是虚拟机上运行Docker?

当我要开始搭容器测试环境的时候,最纠结的其实是到底该搭在虚拟机上还是物理机上。万一搞错了还要铲掉重来。
按照我的经验,先到官方文档里找最佳实践,但翻了半天也没找到。
在了解了原理后,自然会得出结论:物理机上部署Docker的性能约等于直接在物理机上部署应用。所以物理机上部署肯定有性能和延迟优势。
不过Docker的博客上也提到了虚拟机化的几个好处:

  • 方便上云
  • 可以利用成熟且已有的虚拟化经验,例如:灾备,监控和自动化
  • 节省虚拟机License

国内也有人测试过具体的性能差异,IO和CPU方面物理机快25%-30%。
运行Docker:物理机vs虚拟机,五方面详细对比理

在我们的场景下,性能远不及其他几个优点重要。于是最终还是选择了虚拟机上部署。
容器-虚拟机上部署docker

容器的操作系统是否能和宿主机不一样?

可以分成三种情况讨论:

  • 容器的操作系统版本比宿主机高或低
  • 操作系统是不同发行版本的(例如宿主机是CentOS,容器是Ubuntu)
  • 操作系统完全不同(例如宿主机是Windows,容器是CentOS)

其实1和2都差不多。不同版本和发行版本的Linux内核的差别不那么大。容器只与主机共享一个内核。
操作系统=内核+文件系统/库
镜像=文件系统/库
这也是为什么不能在Linux宿主机上运行Windows容器。内核根本就不一样。

但为什么我们可以在Windows 10上运行容器?这多亏了Hyper-V。(回想起来Hyper-V最初发布的时候还是在微软内部看到消息并试用的。。。)
Hyper-V的技术细节就不多提了。与Docker相关的可以参见这张架构图:
容器-虚拟机上部署docker
与之原理类似,MacOS上运行Docker是通过虚拟化技术xhyve或者virtualbox来实现。

更多可以参见这篇:
Understanding Docker “Container Host” vs. “Container OS” for Linux and Windows Containers

Docker全系列

Namespace:楚门的世界
Docker存储引擎
Cgroups的计划经济
Docker的意义