云原生基础设施之容器技术

发布于

写在前面

  • 嗯，报了《云原生入门级开发者认证》考试，整理课堂笔记记忆
  • 学习的原因：
    • 虽然考了CKA,了解了一些K8s相关的知识
    • 但是对云原生整个体系一直都很模糊
    • 希望对云原生有一个基本的认识
    • 通过学习实现云原生相关入门
  • 博文主要内容涉及：
    • 关于Docker知识体系的简述，适合温习
    • 讲的很浅，都是理论，没有实战

「 傍晚时分，你坐在屋檐下，看着天慢慢地黑下去，心里寂寞而凄凉，感到自己的生命被剥夺了。当时我是个年轻人，但我害怕这样生活下去，衰老下去。在我看来，这是比死亡更可怕的事。--------王小波」

云原生基础设施之容器技术

容器发展背景

企业IT业务云化路径
传统业务云化

在这里插入图片描述

业务云化创新

在这里插入图片描述

容器是什么?

容器是一种轻量级、可移植、自包含的软件打包技术,使应用程序可以在几乎任何地方以相同的方式运行。

开发人员在自己开发环境创建并测试好的容器,无需任何修改就能够在生产系统的虚拟机、物理服务器或公有云主机上运行

容器核心思想

将集装箱的思想应用到了软件的打包和部署上，为各类不同的代码提供了一个基于容器的标准化运输系统。

容器与虚拟机

「容器和虚拟机」 之间的主要区别在于虚拟化层的位置和操作系统资源的使用方式。

用户运行在容器里的应用进程,跟宿主机上的其他进程一样,都由宿主机操作系统统一管理,只不过这些被隔离的进程拥有额外设置过的Namespace参数。而Docker项目在这里扮演的角色,更,多的是旁路式的辅助和管理工作

在这里插入图片描述

Docker项目介绍

2013年, dotCloud公司将Docker项目开源。Docker项目:GitHub上开发的Moby开源项目的一部分，遵循Apache License 2.0许可证协议，Go语言编写Docker是一个开源的引擎,可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。

Docker公司目前推出两个版本:

  • Docker CE (社区版)，
  • Docker EE (企业版)

容器关键技术介绍

容器规范

容器不光是Docker,还有其他容器,比如CoreOS的rkt,红帽的podman，以及之后的K8s之后的containerd。为了保证容器生态的健康发展,保证不同容器之间能够兼容,包含Docker-CoreOS-Google在内的若干公司共同成立了一个叫Open Container Initiative(OCI)的组织,其目是制定开放的容器规范。

容器runtime

runtime与操作系统kernel紧密协作,为容器提供运行环境。常见的容器runtime:

  • runC是Docker公司2015年发布的容器runtime工具,符合OCI规范。runC Libcontainer演变而来。
  • rkt,是CoreOS公司开发的Docker/runc的一个流行替代方案,符合OCI规范。
  • Kata, 2017年整合Clear ContainerNrunV项目,基于虚拟化技术的容器实现,符合OCI规范。
  • gVisor ,2018 年Google公司发布 gVisor的项目,基于虚拟化技术的容器实现,符合OCI规范
Docker 引擎

在这里插入图片描述

Docker主要指容器引擎,即Docker engine。Docker Engine是-个Client/Server应用程序。Docker engine主要组件有3部分:

  • 服务器:是一个长期运行的程序,称为daemon进程:Docker daemon用于创建和管理docker对象,如容器镜像、容器、网络、卷。
  • 命令行界面客户端(docker CLI):CLI使用Docker REST API通过脚本或直接的CLI命令与Docker daemon交互。
  • 一个REST API:Client可以用它来与daemon进程通信交互。
Docker 架构

在这里插入图片描述

  • Docker Client: Docker是个采用的C/S架构的应用程序。Docker Client一般通过Docker command来发起请求。在用户界面,支持用户与Docker Daemon之间通信
  • Docker daemon :简单地说, Docker daemon实现的功能就是接收客户端发来的请求,并实现请求所要求的功能,同时针对请求返回相应的结果。Docker daemon是驱动整个Docker功能的核心引擎。在功能的实现上,Docker daemon涉及了容器、镜像、存储等多方面的内容,涉及多个模块的实现和交互。
  • Containers :容器以镜像为基础,同时又为镜像提供了一个标准和隔离的运行环境。Docker的容器就是“软件界的集装箱”,可以安装任意的软件和库文件,做任意的运行环境配置。开发及运维人员在转移和部署应用的时候,不需关心容器里装了什么软件,也不需了解它们是如何配置的。
  • Docker Image :与容器相对应,如果说容器提供了一个完整的、隔离的运行环境,那么镜像则是这个运行环境的静态体现
  • Registry : Registry是一个存放镜像的仓库。Registry本身也是一个单独的开源项目企业可使用Registry镜像搭建私有仓库。
Docker容器实现原理

Docker容器通过namespace技术实现进程隔离,通过cgroup技术实现容器进程可用资源的限制。Docker启动一个容器时,实际是创建了包含多个namespace参数的进程。

Namespace

Namespace :命名空间作用:资源隔离。namespace将内核的全局资源进行封装,使得每个namespace都有一份独立的资源。因此不同进程在各自namespace内对同一种资源的使用不会相互干扰。

Namespace实际上是Linux系统上创建新进程时的一个可选参数。实际上在创建Docker容器时,指定了这个进程所需要启用的一组namespace参数。通过namespace机制的隔离,容器只能见到当前Namespace中所限定的资源、文件、设备、状态或配置。以此实现应用运行环境的隔离。

PID namespace隔离示例

以交互模式启动一个centos容器,并在其中运行/bin/bash程序。执行ps命令查看到"/bin/bash"是PID=1的进程,即Docker将其隔离于宿主机中的其他进程之外。

Cgroups

Cgroups : Linux Control Groups作用:限制一个进程组对系统资源的使用上限,包括CPU、内存、Block I/O等。

代码语言：javascript
复制
┌──[root@vms81.liruilongs.github.io]-[~]
└─$cd /sys/fs/cgroup
┌──[root@vms81.liruilongs.github.io]-[/sys/fs/cgroup]
└─$ls
blkio  cpuacct      cpuset   freezer  memory   net_cls,net_prio  perf_event  systemd
cpu    cpu,cpuacct  devices  hugetlb  net_cls  net_prio          pids
┌──[root@vms81.liruilongs.github.io]-[/sys/fs/cgroup]
└─$

Cgroups还可以设置进程优先级,对进程进行挂起和恢复等操作。

「原理」 :将一组进程放在一个Cgroup中,通过给这个Cgroup分配指定的可用资源,达到控制这一组进程可用资源的目的

「实现」 :在Linux中,Cgroups以文件和目录的方式组织在操作系统的/sys/fs/cgroup路径下。该路径中所有的资源种类均可被Cgroup限制。

代码语言：javascript
复制
┌──[root@vms81.liruilongs.github.io]-[/sys/fs/cgroup]
└─$mount -t cgroup
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/pids type cgroup (rw,nosuid,nodev,noexec,relatime,pids)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_prio,net_cls)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
┌──[root@vms81.liruilongs.github.io]-[/sys/fs/cgroup]
└─$
容器镜像

对软件开发而言，容器镜像打通了“开发 - 测试 - 部署”的流程。

镜像是容器的模板,容器是镜像的运行实例,runtime根据镜像创建容器

「容器镜像挂载在容器根目录下,为容器中的应用提供执行环境的文件系」:容器镜像打包了整个操作系统的文件和目录(rootfs),也包括应用本身,即应用及其运行所需的所有依赖都被封装在容器镜像中。

在这里插入图片描述

「容器镜像采用分层结构」:所有容器共享宿主机Kernel,并且不能修改宿主机Kernel ·即容器运行过程中使用容器镜像中的文件,使用宿主机OS上的Kermel

  • Build any Application：根据image format spec标准，任何应用都可以被制作成容器镜像，
  • Ship any Anywhere：根据runtime spec标准，容器镜像可以传送到任何环境中运行。

容器镜像只是提供了一套镜像文件系统中的各种文件,而各种内核相关的模块或者特性支持,完全依赖于宿主机。

UnionFS联合文件系统

「Docker镜像分层结构的实现，借助于UnionFS联合文件系统的能力.」

在这里插入图片描述

Union File System联合文件系统,是实现Docker镜像的技术基础。它是一种轻量级的高性能分层文件系统,支持将文件系统中的修改进行提交和层层叠加。这个特性使得镜像可通过分层实现和继承。同时支持将不同目录挂载到同一个虚拟文件系统下。

以Overlay2为例: Overlay2是一种堆叠文件系统,它依赖并建立在其它的文件系统之上(如ext4fs、xfs等),并不直接参与磁盘空间结构的划分,仅将原来底层文件系统中不同的目录进行“合并”,然后向用户呈现,这也就是联合挂载技术。

嗯，这里不太理解，感觉整理类似是linux中的LVM，局部类似写时复制技术，基础的镜像文件不会被修改，只是对修改进行记录，在写入的时候，对镜像文件写入部分进行复制，然后修改后记录。看到的是基础镜像文件 + 写时复制的记录的叠加。

容器数据卷

卷就是目录或文件,存在于一个或多个容器中,由docker挂载到容器,但不属于联合文件系统,因此能够绕过Union File System提供一些用于持续存储或共享数据的特性。

将运用与运行的环境打包形成容器运行,对数据的要求希望是持久化的。容器之间希望有可能共享数据。

卷的设计目的就是数据的持久化,完全独立于容器的生存周期,因此Docker不会在容器删除时删除其挂载的数据卷。

  • 启动容器的时候直接使用-v命令就可以进行数据卷的挂载。
  • 还可以在Dockerfile中使用VOLUME指令来给镜像添加一个或多个数据卷,
容器copy-on-write特性

对容器的增删改查：

  • 创建文件:新文件只能被添加在容器层中。
  • 删除文件:依据容器分层结构由上往下依次查找。找到后,在容器层中记录该删除操作。具体删除文件实现是:UnionFS会在容器层创建一个"whiteout"文件,将被删除的文件“遮挡”起来。
  • 修改文件:依据容器分层结构由上往下依次查找。找到后,将镜像层中的数据复制到容器层进行修改,修改后的数据保存在容器层中(copy-on-write)。
  • 读取文件:依据容器分层结构由上往下依次查找,

所有storage driver都支持镜像分层结构和写时复制(CoW)策略。

Registry

Registry是存放容器镜像的仓库,用户可进行镜像下载和访问,分为公有和私有两类Registry。

公有镜像仓库:

  • Docker Hub是Docker公司为公众提供的托管Registry。
  • Quay.io现为Red Hat下的公共托管Registryo

私有镜像仓库:

  • 企业可以用Docker Registry构建私有的Registry。Registry本身是一个开源项目,可以用于搭建私有Registry

Docker Hub中可查看到Registry镜像的Dockerfile。

Docker Hub

Docker Hub是目前世界上最大的容器镜像仓库,由Docker公司维护,并提供官方镜像及大量用户上传的镜像。

如何使用Dockerfile构建镜像

Dockerfile是一个文本文件,其内包含了一条条的指令,每一条指令构建一层,因此每一条指令的内容,就是描述该层应当如何构建。所以为了减少存储占用，一般尽可能把run指令写到一行。

在这里插入图片描述

Docker提供了两种构建镜像的方法：docker commit命令与dockerfile构建文件。

Dockerfile

Dockerfile :文件指令集,描述如何自动创建Docker镜像。

  • Dockerfile是包含若干指令的文本文件,可以通过这些指令创建出docker image。
  • Dockerfile文件中的指令执行后,会创建一个个新的镜像层。
  • Dockerfile文件中的注释以"#"开始。
  • Dockerfile一般由4部分组成:
    • 基础镜像信息.
    • 维护者信息
    • 镜像操作指令
    • 容器启动指令
  • build context :为镜像构建提供所需的文件或目录。

描述

指令

指定base镜像

FROM

注明镜像的作者

MAINTAINED

运行指定的命令

RUN

将文件从build context复制到镜像中

ADD

将文件从build context复制到镜像中(自动解压)

COPY

设置环境变量

ENV

指定容器中的应用监听的端口

EXPOSE

设置后动容器的用户

USER

设置在容器启动时运行指定的脚本或命令

CMD

指定的是一个可执行的脚本或者程序的路径

ENTRYPONT

将文件或目录声明为volume，挂载到容器中

VOLUME

设置镜像的当前工作目录

WORKDIR

「Dockerfile的指令根据作用可以分为两种：」

  • 构建指令：构建指令用于构建image，其指定的操作不会在运行image的容器上 执行。
  • 设置指令：设置指令用于设置image的属性，其指定的操作将在运行image的容器中执行。

「Dockerfile指令使用注意事项：」

  • RUN等指令后运行的必须是基础image支持的命令。如基础image选择了centos，那么软件管理部分只能使用centos的命令。
  • ADD指令与COPY指令的不同在于，在ADD指令中，若src是压缩文件，则会自动解压到dest。
  • Dockerfile中若有多条CMD命令，则只执行最后一条。
  • Dockerfile中若有多条ENTRYPOINT命令，则只执行最后一条。
  • CMD与ENTRYPOINT的不同在于：当Docker run command的命令匹配到CMD command时，会替换CMD执行的命令。ENTRYPOINT指令提供的命令则不容易在启动容器时被覆盖。实际上, docker run命令行中指定的任何参数都会被当做参数再次传递给ENTRYPOINT指令中指定的命令。

使用ENTYRPOINT

代码语言：javascript
复制
#ENTRYPOINT [ "/usr/sbin/nginx", "-g" , "daemon off;" ] 
ENTRYPOINT [ "usr/sbin/nginx" ]
sudo docker run -it nginx -g "daemon off;"

同时使用ENTRYPOINT和CMD

代码语言：javascript
复制
ENTRYPOINT [ "/usr/sbin/nginx" ]
CMD [ "-h" ]
#  /usr/sbin/nginx  -h  显示帮助信息

如果确实需要,用户也可以在运行时通过docker run的--entrypoint标志覆盖ENTRYPOINT指令

一个简单的Dockerfile
代码语言：javascript
复制
#基于centos镜像
FROM centos
#维护人的信息
MAINTAINER docker_user docker_user@email.com
#安装httpd软件包
RUN yum-y update  && RUN yum-y install httpd
#开后80端口
EXPOSE 80
#复制网站首页文件至镜像中web站点下
ADD index.html /var/www/html/index.html
#复制该脚本至镜像中·并修改其权限
ADD run.sh /run.sh
RUN chmod 775 /run.sh
#当后动容器时执行的脚本文件
CMD[/run.sh"]

容器生命周期管理

查看Docker服务状态
代码语言：javascript
复制
┌──[root@vms81.liruilongs.github.io]-[/]
└─$systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
   Active: active (running) since 日 2022-04-03 18:43:45 CST; 18h ago
     Docs: https://docs.docker.com
 Main PID: 1120 (dockerd)
   Memory: 157.7M
   CGroup: /system.slice/docker.service
           └─1120 /usr/bin/dockerd --insecure-registry 192.168.26.56 -H fd:// --containerd=/run/containerd/containerd...

4月 03 18:44:51 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-03T18:44:51.153876648+08:00" level=info ...ete"

4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.336006734+08:00" level=error...ifo"

4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.396998780+08:00" level=error...ifo"

4月 04 08:07:05 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:05.406139699+08:00" level=error...own"

4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.332774038+08:00" level=info ...ete"

4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.336614138+08:00" level=error...ifo"

4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.353399388+08:00" level=error...ifo"

4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.384605677+08:00" level=info ...rce"

4月 04 08:07:06 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:06.600509732+08:00" level=error...own"

4月 04 08:07:07 vms81.liruilongs.github.io dockerd[1120]: time="2022-04-04T08:07:07.067233807+08:00" level=info ...ete"

Hint: Some lines were ellipsized, use -l to show in full.

┌──[root@vms81.liruilongs.github.io]-[/]

└─$
容器生命周期管理

容器生命周期管理命令：

  • docker create：创建一个容器；
  • docker start：启动一个容器；
  • docker run：创建并运行一个容器；
  • docker pause：暂停一个容器；
  • docker unpause：恢复一个容器；
  • docker restart：重启一个容器；
  • docker stop：停止一个运行的容器；
  • docker rm：删除一个处于终止状态的容器；
  • docker kill：杀死容器进程
进入一个容器

「docker attach命令：」

  • docker attach命令直接进入已启动容器的命令终端，不会启动新的进程。
  • Usage：docker attach [OPTIONS] CONTAINER

「docker exec命令：」

  • docker exec命令是在容器中打开新的终端。
  • Usage：docker exec [OPTIONS] CONTAINER COMMAND [ARG...]
其他常见命令
  • 使用docker inspect获取容器/镜像元数据。
  • 使用docker tovp命令查看容器中运行的进程信息。
  • 使用docker events从服务器获取实时事件。
  • 使用docker port列出指定的容器的端口映射。
镜像管理命令
  • docker container ls 查看容器列表
  • docker image ls 查看镜像列表

#容器#容器镜像服务#命令行工具