但是他换热器们不相等 |
| 发布者:无锡珂瑞特重工有限公司 发布时间:2020-12-06 21:12:46 点击次数:442 关闭 |
在计算机技术中,虚拟化是一种资源管理技术,是将计算机的各种实体资源(CPU、内存、磁盘空间、网络适配器等),予以抽象、转换后呈现出来并可供分割、组合为一个或多个计算机配置环境。由此,打破实体结构间的不可切割的障碍,使用户可以比原本的配置更好的方式来应用这些计算机硬件资源。可见,虚拟化的核心是对资源的抽象,目标往往是为了在同一个主机上同时运行多个系统或应用,从而提高系统资源的利用率,并且带来降低成本、方便管理和容错容灾等好处。如果你想和更多 Docker 技术专家交流,可以加我微信liyingjiese,注『加群』。群里每周都有全球各大的实践以及行业动态 DockerDocker 是虚拟化技术的一种,也是目前使用比较多的一种,采用 Go 语言来开发引擎。 Docker 利用集装箱(容器)的原理,将系统、开发软件包、依赖环境等统一打包到容器中,将整个容器部署至其他的平台或者服务器上。 Docker 使用 C/S (客户端/服务器)体系的架构,Docker 客户端与 Docker 守护进程通信,Docker 守护进程负责构建,运行和分发 Docker 容器。Docker 客户端和守护进程可以在同一个系统上运行,也可以将 Docker 客户端连接到远程 Docker 守护进程。Docker 客户端和守护进程使用 REST API 通过UNIX套接字或网络接口进行通信。 Docker Registry:用来存储 Docker 镜像的仓库,Docker Hub 是 Docker 官方提供的一个公共仓库,而且 Docker 默认也是从 Docker Hub 上查找镜像的,当然你也可以很方便的运行一个私有仓库,当我们使用 docker pull 或者 docker run 命令时,就会从我们配置的 Docker 镜像仓库中去拉取镜像,使用 docker push 命令时,会将我们构建的镜像推送到对应的镜像仓库中。 Images:镜像,镜像是一个只读模板,带有创建 Docker 容器的说明,一般来说的,镜像会基于另外的一些基础镜像并加上一些额外的自定义功能。比如,你可以构建一个基于 CentOS 的镜像,然后在这个基础镜像上面安装一个 Nginx 服务器,这样就可以构成一个属于我们自己的镜像了。 Containers:容器,容器是一个镜像的可运行的实例,可以使用 Docker REST API 或者 CLI 来操作容器,容器的实质是进程,但与直接在宿主执行的进程不同,容器进程运行于属于自己的独立的命名空间。因此容器可以拥有自己的 root 文件系统、自己的网络配置、自己的进程空间,甚至自己的用户 ID 空间。容器内的进程是运行在一个隔离的环境里,使用起来,就好像是在一个独立于宿主的系统下操作一样。这种特性使得容器封装的应用比直接在宿主运行更加安全。 从概念上来看 Docker 和我们传统的虚拟机比较类似,只是更加轻量级,更加方便使用,下图展示了传统虚拟机与容器在系统层次上的不同: 可以看到,传统方式是在硬件层面上实现虚拟化,需要有额外的虚拟机管理应用和虚拟机操作系统层,Docker 容器是在操作系统层面上实现虚拟化,直接复用本地主机的操作系统,因此更加轻量级。 Linux命名空间命名空间(namespace)是 Linux 内核的一个强大特性,为容器虚拟化的实现带来极大的便利。利用这一特性,每个容器都可以拥有自己单独的命名空间,运行在其中的应用都像是在独立的操作系统环境中一样。 在操作系统中,包括内核、文件系统、网络、进程号(PID)、用户号(UID)、进程间通信(IPC)等资源,所有的资源都是应用进程直接共享的。要想实现虚拟化,除了要实现内存、CPU、网络IO、硬盘IO、存储空间等的限制外,还要实现文件系统、网络、PID、UID、IPC等的互相隔离。 进程命名空间Linux 通过进程命名空间管理进程号,对于同一进程,在不同的命名空间中,看到的进程号不相同。进程命名空间是一个父子关系的结构,子空间中的进程对于父空间中的进程是可见的。新fork出的一个进程,在父命名空间和子命名空间将分别对应不同的进程号。 根据我们上面的分析,当使用 Docker 客户端执行 run 命令后,会使用 RESTful 接口向dockerd发起创建容器命令,然后 dockerd 会通过 gRPC 方式调用 containerd,让他帮我们创建一个容器。此时,containerd 进程作为父进程,会为每个容器启动一个 containerd-shim 进程,作为该容器内所有进程的根进程。 可以看到,在容器内的进程空间中,把 containerd-shim 进程作为 0 号进程,并且只能看到 containerd-shim 进程往下的子进程空间,而无法获知宿主机上的进程信息。 网络命名空间有了进程命名空间后,不同命名空间中的进程号可以互相隔离了,但是网络端口还是共享本地系统的端口。通过网络命名空间,可以实现网络隔离。一个网络命名空间为进程提供了一个完全独立的网络协议栈视图。包括网络设、IPv4 和 IPv6 协议栈、IP路由表、防火墙规则、sockets 等,这样每个容器的网络就隔离开来。 Docker 采用虚拟网络设的方式,将不同命名空间的网络设连接到一起。默认情况下,Docker 会在宿主机上创建一个 docker0 网桥,实际上是 Linux 的一个 bridge,可以理解为一个软件交换机。它会在挂载到它的网口之间进行转发。 同时,Docker 随机分配一个本地未占用的私有网段中的一个地址给 docker0 接口。比如典型的 172.18.0.1,掩码为 255.255.0.0。此后启动的容器内的网口也会自动分配一个同一网段(172.18.0.0/16)的地址。 创建一个 Docker 容器的时候,同时会创建了一对 veth pair 接口(当数据包 发送到一个接口时,另外一个接口也可以收到相同的数据包)。这对接口一端在容器内,即 eth0 ;另一端在本地并被挂载到 docker0 网桥,名称以 veth 开头(例如 veth82487d6)。通过这种方式,主机可以跟容器通信,容器之间也可以相互通信。Docker 就创建了在主机和所有容器之间一个虚拟共享网络。 可以看到该进程的网络命名空间编号是 4026532204。为了操作该命名空间,我们可以创建一个软连接: net_util_ns 是我们给该网络命名空间起的名字,可以自定义。之后,我们就可以针对这个命名空间名字操作容器的网络了: 可以看到该命名空间中有一个 veth pair 端点 247: ,我们再看下宿主机: IPC命名空间容器中的进程交互还是采用了 Linux 常见的进程间交互方式(Interprocess Communication,IPC),包括信号量、消息队列和共享内存等方式。 PID 命名空间和 IPC 命名空间可以组合起来一起使用,同一个 IPC 命名空间内的进程可以彼此可见,允许进行交互;不同空间的进程则无法交互。 挂载命名空间类似于 chroot,挂载(Mount,MNT)命名空间可以将一个进程的根文件系统限制到一个特定的目录下。 挂载命名空间允许不同命名空间的进程看到的本地文件位于宿主机中不同路径下,每个命名空间中的进程所看到的文件目录彼此是隔离的。 UTS 命名空间UTS(UNIX Time-sharing System)命名空间允许每个容器拥有独立的主机名和域名,从而可以虚拟出一个有独立主机名和网络空间的环境,就跟网络上一立的主机一样。 如果没有手动指定主机名,Docker 容器的主机名就是返回的容器 ID 的前 6 字节前缀,否则为指定的主机名: 用户命名空间每个容器可以有不同的用户和组 ID,也就是说,可以在容器内使用特定的内部用户执行程序,而非本地系统上存在的用户。 每个容器内部都可以有权限的 root 账号,但跟宿主机不在一个命名空间。通过使用隔离的用户命名空间,可以提高安全性,避免容器内的进程获取到额外的权限;同事通过使用不同用户也可以进一步在容器内控制权限。 控制组在使用 Docker 运行容器时,一台主机上可能会运行几百个容器,这些容器虽然互相隔离,但是底层却使用着相同的 CPU、内存和磁盘资源。如果不对容器使用的资源进行限制,那么容器之间会互相影响,小的来说会导致容器资源使用不公平;大的来说,可能会导致主机和集群资源耗尽,服务完全不可用。 正如使用内核的 namespace 来做容器之间的隔离,Docker 也是通过内核的 cgroups 来做容器的资源限制。 控制组是 Linux 内核的特性,主要用来对共享资源进行隔离、限制、审计等。 每个控制组是一组对资源的限制,支持层级化结构。我们查看一下系统支持的控制组: cpuset:如果是多核心的 CPU,这个子系统会为 Cgroup 任务分配单独的 CPU 和内存。 blkio:限制每个块设的输入输出。例如:磁盘,光盘以及 usb 等等。 perf_event:增加了对每 group 的监测跟踪的能力,即可以监测属于某个特定的 group 的所有线程以及运行在特定 CPU 上的线程。 hugetlb:这个子系统主要针对于 HugeTLB 系统进行限制,这是一个大页文件系统。 测试时使用的容器为 polinux/stress,它提供一个压测任务,可以指定消耗的 CPU、内存的参数,基本使用方式如下: 查看资源工具使用了 htop,类似于 top 命令,不过可以在控制台更直观的输出资源占用情况。 还使用了 Docker 客户端提供的 docker stats 命令查看容器的资源使用情况。 首先,我们尝试使用 —-cpus 来限制容器可用的 CPU 个数(个数这个单位可能不准确,因为 CPU 其实是按分片轮转的,这里可以理解为使用 CPU 百分比上限)。 假如不做限制,直接运行容器,配置使用 4 个 CPU,那么将把宿主机的 CPU 资源耗尽: 通过 --cpuset-cpus 选项可以让容器始终在一个或某几个 CPU 上运行,这是非常有意义的,因为现在的多核系统中每个核心都有自己的缓存,如果频繁的调度进程在不同的核心上执行势必会带来缓存失效等开销。 下面的命令为容器设置了--cpuset-cpus 选项,指定运行容器的 CPU 编号为 0: 可以看到,个 CPU 核心被占满,但是没有影响其他核的使用,符合预期。 默认所有的容器对于 CPU 的利用占比都是一样的,-c 或者 --cpu-shares 可以设置 CPU 利用率权重,默认为 1024,可以设置权重为2或者更高(单个 CPU 为 1024,两个为 2048,以此类推)。如果设置选项为 0,则系统会忽略该选项并且使用默认值 1024。通过以上设置,只会在 CPU 密集(繁忙)型进程时体现出来。当一个 container 空闲时,其它容器都是可以占用CPU的。--cpu-shares 值为一个相对值,实际 CPU 利用率则取决于系统上运行容器的数量。 两个容器的 CPU 使用率分别为 75% 和 37.1%,比例大概为 2:1,符合预期。 Docker 限制内存资源查看 Docker 创建容器时支持的内存资源限制选项: 发现容器直接就被杀死了,这是因为默认情况下,内存不足(OOM)时 Docker 会将容器杀死。 为了防止这种情况,可以在启动时加入 --oom-kill-disable 参数(不建议这样做): VIRT 是进程虚拟内存的大小,所以它应该是 500M。RES 为实际分配的物理内存数量,这个值就在 300M 上下浮动。 Docker 限制 IO 资源对于磁盘来说,考量的参数是容量和读写速度,因此对容器的磁盘限制也应该从这两个维度出发。目前 Docker 支持对磁盘的读写速度进行限制,但是并没有方法能限制容器能使用的磁盘容量(一旦磁盘 mount 到容器里,容器就能够使用磁盘的所有容量)。 从测试中可以看出,容器设置了读操作的 iops 为 100,在容器内部从 block 中读取 1m 数据(每次 1k,一共要读 1000 次),共计耗时约 10s,换算起来就是 100 iops/s,符合预期结果。 Kubernetes 中的资源管理Kubernetes 初源于谷歌内部的 Borg,提供了面向应用的容器集群部署和管理系统。Kubernetes的目标旨在消除编排物理/虚拟计算,网络和存储基础设施的负担,并使应用程序运营商和开发人员完全将重点放在以容器为中心的原语上进行自助运营。Kubernetes 也提供稳定、兼容的基础(平台),用于构建定制化的 workflows 和更高级的自动化任务。 Kubernetes 具完善的集群管理能力,包括多层次的安全防护和准入机制、多租户应用支撑能力、透明的服务注册和服务发现机制、内建负载均衡器、故障发现和自我修复能力、服务滚动升级和在线扩容、可扩展的资源自动调度机制、多粒度的资源配额管理能力。 Kubernetes 还提供完善的管理工具,涵盖开发、部署测试、运维监控等各个环节。 既然 Kubernetes 是容器集群的管理系统,那么底层肯定也是依赖之前提到的 Linux 命名空间和 Cgroup 技术,实现资源的管理与隔离。 其中 CPU,不管底层的机器是通过何种方式提供的(物理机 or 虚拟机),一个单位的 CPU 资源都会被标准化为一个标准的 Kubernetes Compute Unit ,大致和 x86 处理器的一个单个超线程核心是相同的。 CPU 资源的基本单位是 millicores,因为 CPU 资源其实准确来讲,指的是 CPU 时间。所以它的基本单位为 millicores,1 个核等于 1000 millicores。也代表了 Kubernetes 可以将单位 CPU 时间细分为 1000 份,分配给某个容器。注意,上面我们提到,Cgroup 将单位 CPU 时间细分为了1024份,这里需要进行单位换算。 memory 资源的基本单位比较好理解,就是字节,与 Cgroup 中的定义一致。 另外,Kubernetes 针对用户的自定制需求,还为用户提供了 device plugin 机制,让用户可以将资源类型进一步扩充。 Kubernetes Pod 资源管理与分配从上面的架构示意图中看到,Kubernetes 中资源管理与分配的小分配单元是 Pod 中的容器,针对每个容器,它都可以通过如下两个信息指定它所希望的资源量: 根据我们前面对 Cgroup 的分析,对 CPU 来说,容器使用 CPU 过多,内核调度器就会切换,使其使用的量不会超过 limit,而对内存来说,容器使用内存超过 limit,这个容器就会被 OOM kill 掉,从而发生容器的重启。 根据容器指定资源的不同情况,Pod 也被划分为 3 种不同的 QoS (Quality of Service,即服务质量)级别。分别为: Guaranteed level 的 Pod 是优先级的,系统管理员一般对这类 Pod 的资源占用量比较明确; Burstable level 的 Pod 优先级其次,管理员一般知道这个 Pod 的资源需求的小量,但是当机器资源充足的时候,还是希望他们能够使用更多的资源,所以一般 limit BestEffort level 的 Pod 优先级,一般不需要对这个 Pod 指定资源量。所以无论当前资源使用如何,这个 Pod 一定会被调度上去,并且它使用资源的逻辑也是见缝插针。当机器资源充足的时候,它可以充分使用,但是当机器资源被 Guaranteed、Burstable 的 Pod 所抢占的时候,它的资源也会被剥夺,被无限压缩。 下面我们定义一个 Pod,其中运行之前压测使用的 polinux/stress 容器,希望该容器在资源竞争时,也能获得 0.5 单位的 CPU 和 100M 的内存;而且我们限制该容器多使用 1 单位的 CPU 和 200M 的内存;我们传给容器中的压测进程参数是使用 2 个单位的 CPU,100M 的内存 ,这个 Pod 的 QoS 级别为 Burstable,因为我们指定了容器的 request 和 limit,但是他们不相等: 从两张图的统计结果看,容器的 CPU 使用率被限制在了 左右,即一个单位;内存上限为 200M,使用了 99.19M,符合预期。 我们刚才创建的 Pod 是 Burstable 级别的,我们进去看一下: 可以看到其中有个 Pod 的配置子目录,但是不确实是不是我们刚才创建的 Pod,可以使用 kubectl 查询 Pod 的 uid: 发现有两个 Docker 容器子目录,Kubernetes 在启动 Pod 的时候,除了我们配置的容器,还会额外启动一个 k8s.gcr.io/pause 的容器,我们只需要关心自己配置的容器即可。我们来看一下两个容器具体是什么: 终于找到了我们创建的容器的 CPU 配置,看一下 cpu.shares 配置: 后我们通过一张图整理一下 Kubernetes 使用 Cgroup 管理资源时的层次关系: Kubernetes 在拿到一个 Pod 的资源申请信息后,针对每一种资源,都会进行如下操作: 目前 Kubernetes 默认仅支持 CPU 和内存的限制,还不支持 IO、网络资源的限制,有望在后续版本中加入。 总结本文具体分析了 Docker 和 Kubernetes 如何使用 Linux 系统中的命名空间和控制组两大特性对容器资源进行管理和隔离,在保证容器和系统稳定性的基础上,限度地提高资源利用率。
作者:魏东军,网易传媒后端开发工程师,主要负责网易传媒容器化服务管理和通用网关研发相关工作。热衷于探索技术的本源。 |
|
|