您好,欢迎访问无锡珂瑞特重工有限公司网站!

中文版|English

珂瑞特产品列表

WCHI Product list

哪个才是的调度架构世界上并不存在个通用的

发布者:无锡珂瑞特重工有限公司 发布时间:2020-12-22 07:21:37 点击次数:385 关闭

  【编者的话】这篇文章对比了三大主流调度框架Swarm、Kubernetes和Mesos。文章不仅从理论上讨论了各个框架的优缺点还从两个实际的案例出发分析了每个框架具体使用方法。

  Apache Hadoop YARN[55]是一个非常流行的架构尽管它将许多调度功能都分发到每一个应用模块中但它依然是一体式的调度架构因为实际上所有的资源请求都会被发送到一个单一的全局调度模块。

  在这类架构里分配器会将给定的资源一次性分配个一个框架因此避免了资源使用的冲突并且通过控制资源分配的顺序和大小来实现一种相对的资源公平分配。然而一个资源每次只能被一个框架使用因此并发控制被称之为悲观的pessimistic这种控制策略是不易于出错的less error-prone但是相对于将一个资源同时分配个多个框架的乐观并发式控制来说速度是更慢的。

  共享状态调度Shared-state schedulingOmega 赋予了每一个调度器scheduler对整个集群的全部访问权限也就是说调度器们可以自由地竞争。因为所有的资源分配都发生在各个调度器中所以也就没有了中央资源分配器。也就是说没有了中央策略引擎每一个调度器能够自己做决定。

  通过支持独立的调度器实现和公布整个资源分配的状况Omega不仅支持扩展多个调度器还能够支持它们自己的调度策略[54]

  哪一个才是的调度架构世界上并不存在一个通用的方案来解决集群计算的所有问题因此不同的为了适应需求各自开发了不同的产品。GoogleOmege和Kubernetes的主要贡献者假设开发者们会遵守关于作业优先级的规则因此Google认为架构应该把控制权交给开发者而YahooYARN的主要贡献者更推崇强制容量、公平和截止时间的框架。

  容器革命The container revolution容器是虚拟机的一种替代品它能够帮助开发者构建、迁移、部署和实例化应用[3]。一个容器是进程的集合这些进程独立于包含有进程依赖的机器。

  各个容器尽管共享了一个操作系统实例但是它们独立运行互不影响。容器并不需要一个完整的操作系统这个特性使得它们比虚拟机更加轻量。

  因为容器能够在数秒内启动比虚拟机快多了因此容器仅分配了少量的资源少于2GB的RAM并且能通过扩展来满足应用的需求。容器经常被应用于微服务microservices每一容器代表一个服务这些服务通过网络来进行互联。这种架构使得每一个模块都能够被独立地部署和扩展。

  资源的数量和所期望的容器生命周期是普通调度器和容器调度器的主要区别。传统集群设计比如说Hadoop更关注于运行大规模作业[55]然而容器集群则会运行几十个小的实例来解决问题这些实例需要被组织化和网络化以此来优化共享数据和计算的能力。换热器

  Docker的镜像可以理解为一个操作系统的快照。如果你想要创建一个新的镜像你需要启动一个基础镜像然后做一些修改后提交修改形成新的镜像。这些镜像能够发布在私有或者公有的库上[10]供其他开发者使用开发者只需要将镜像pull下来即可。

  使用镜像可以非常方便的创建操作系统的快照并且使用它们来创建新的容器这些功能非常的轻量和易用这些都是Docer CLI和商业模式的核心。[12]

  其中一个机器运行了一个Swarm的镜像就像运行其他Docker镜像一样它负责调度容器[4]在图片上鲸鱼代表这个机器。Swarm使用了和Docker标准API一致的API这意味着在Swarm上运行一个容器和在单一主机上运行容器使用相同的命令。尽管有新的flags可用但是开发者在使用Swarm的同时并不需要改变他的工作流程。

  当启动Docker daemon时每一个节点都能够被贴上一些标签label这些标签以键值对的形式存在通过标签就能够给予每个节点对应的细节信息。当运行一个新的容器时这些标签就能够被用来过滤集群具体的细节在后面的部分详谈。

  约束过滤器Constraint filter每一个节点都关联有键值对。为了找都某一个关联多个键值对的节点你需要在docker daemon启动的时候输入一系列的参数选项。当你在实际的生产环境中运行容器时你可以指定约束来完成查找比如说一个容器只会在带有环境变量keyprod的节点上运行。如果没有节点满足要求这个容器将不会运行。

  一系列的标准约束已经被设置比如说节点的操作系统在启动节点时用户并不需要设置它们。

  健康过滤器Health filter健康过滤器用来防止调度不健康的节点。在翻看了Swarm的源代码后只有少量关于这个概念的信息是可用的。

  吸引力过滤器Affinity filter吸引力过滤器是为了在运行一个新的容器时创建“吸引力”。涉及到容器、镜像和标签的吸引力存在有三类。

  对容器来说当你想要运行一个新的容器时你只需要指定你想要链接的容器的名字或者容器的ID然后这些容器就会互相链接。如果其中一个容器停止运行了剩下的容器都会停止运行。

  标签吸引力会和容器的标签一起工作。如果想要将某一个新的容器紧挨着指定的容器用户只需要指定一个key为containervalue为container_name的吸引力就可以了。

  依赖过滤器Dependency filter依赖过滤器能够用来运行一个依赖于其他容器的容器。依赖意味着和其他容器共享磁盘卷或者是链接到其他容器亦或者和其他容器在同一个网络栈上。

  端口过滤器Port filter如果你想要在具有特定开发端口的节点上运行容器你就可以使用端口过滤器了。如果集群中没有任何一个节点该端口可用的线c;系统就会给出一个错误的提示信息。

  Apache Mesos & Mesosphere MarathonMesos的目的就是建立一个高效可扩展的系统并且这个系统能够支持很多各种各样的框架不管是现在的还是未来的框架它都能支持。这也是现今一个比较大的问题类似Hadoop和MPI这些框架都是独立开的这导致想要在框架之间做一些细粒度的分享是不可能的。[35]

  因此Mesos的提出就是为了在底部添加一个轻量的资源共享层resource-sharing layer这个层使得各个框架能够适用一个统一的接口来访问集群资源。Mesos并不负责调度而是负责委派授权毕竟很多框架都已经实现了复杂的调度。

  Mesos提供了很多选项来声明每个健康检查之间需要等待多少秒或者多少次连续的健康检查失败后这个不健康的任务需要被终结。

  如果一个集群只由运行容器的节点组成Marathon足以承当起管理的任务。在这种情况下主机可以运行一个TCP的代理将静态服务端口的连接转发到独立的应用实例上。Marathon确保所有动态分配的服务端口都是的这种方式比手动来做好的多毕竟多个拥有同样镜像的容器需要同一个端口而这些容器可以运行在同一个主机上。

  谓词Predicates谓词是强制性的规则它能够用来调度集群上一个新的pod。如果没有任何机器满足该谓词则该pod会处于挂起状态知道有机器能够满足条件。可用的谓词如下所示

  优先级Priorities如果调度器发现有多个机器满足谓词的条件那么优先级就可以用来判别哪一个才是适合运行pod的机器。优先级是一个键值对key表示优先级的名字value就是该优先级的权重。换热器可用的优先级如下

  结论以上三种框架提供了不同的功能和归来来自定义调度器的逻辑。从这节来看显而易见由于Swarm的原生APISwarm是三个中容易使用的。

  以Docker的方式来运行容器[15]意味着一个容器是短暂存在的并且每一个容器只运行一个进程。根据这条原则多个容器提供一个服务或者代表一个应用是极度正常的。

  因此编排和调度容器成为了应当解决的问题这也解释了为什么即便这项技术不是很成熟但仍有那么多的调度器被开发出来并且提供了不同的功能和选项。换热器

  调度器对比从上一节我们可以看到为了让容器一起协调工作成为一个线c;在很多情况下容器调度器都是有必要存在的。

  首先我们会从一个简单的例子只有两个容器运行来对比每个调度器。为了方便我们使用Docker提供的初学者教程中的案例项目这个项目会运行一个快餐车的网站[47]并且将它部署到集群上。

  然后我们会从另外一个例子来对比不同调度器的扩展性基于AWS的投票应用。这个例子基于Docker提供的“try Swarm at scale”教程[7]。应用中所有的模块都运行在容器中而容器运行在不同的节点并且这个应用被设计成可扩展的

  负载均衡负责管理运行Flask应用[1]的web服务器和关联队列的数量。Worker层扫描Redis队列将投票出列并且将重复项提交到运行在其他节点的Postgres容器。

  快餐车应用Food Trucks Application在这一节我们主要对比每个调度器的默认配置比如说由于用户需求极速增长所带来的单容器瓶颈问题还有如何处理一个需要重启的容器。

  我们想要运行的多容器环境是由一个运行拥有Flask进程的容器[1]和其他运行有Elasticsearch进程的容器组成。

  一个主要的问题就是Swarm可以像单主机Docker实例一样从一个Dockerfile来构建镜像但是构建的镜像只能在单一节点上运行而不能够被分布到集群上的其他节点上。因此应用被认为是一个容器这种方式不是细粒度的。

  如果我们使用docker-compose scale来扩展其中一个容器附录 B这个新的容器将会根据调度器规则进行调度。如果容器负载过重Docker Swarm并不会自动扩展容器这对于我们的例子来说是一个大问题我们必须经常去检查下用户访问量是否达到瓶颈。

  如果一个容器宕机了Swarm并不会跟踪一个服务应该有多少个实例在运行因此它不会创建一个新的容器。其外想要在某些容器上滚动更新也是不可能的一个符合Docker思想的特性是非常有用的能够快速启动和停止无状态的容器。

  Mesos提供了一个更加强大的定义文件因为容器和需求都可以被描述。相比于Swarm这种方式并不简单但是它能够很简单的扩展服务比如说通过修改应用定义中的容器实例来扩展。在Flask定义中设置数量为2

  相比于SwarmKubernetes添加了pod和replica的逻辑。这个更加复杂的结构为调度器和编排工具提供了更加丰富的功能比如说负载均衡扩展或者收缩应用的能力。并且你还能够更新正在运行中的容器实例这是一个非常有用的、符合Docker哲学的功能。

  Swarm创建集群的主要步骤有连接集群中所有的节点创建一个网络使得节点之间能够便捷地交流类似于Kubernetes自动提供的通过在每个特定容器上运行镜像来完成后部署。

  我们使用命令行参数restartunless-stopped来运行docker daemon能够在某一个容器意外停止时重启它。如果一整个节点崩了那么节点上的容器并不会在其他节点上重新启动。

  这个集群拥有一个负载均衡器[25]它能防止将请求转发到一个不再存在的节点上因此如果frontend1崩了所有的请求就会自动流向frontend2。因为负载均衡器本身就是一个容器通过参数restartunless-stopped能够确保它意外停止时能够重启。

  这个集群部署的主要问题就是Postgres节点是单一的如果这个节点崩了那么整个应用程序就崩了。为了提高集群的故障容错率我们需要添加另外一个Swarm的管理器以防止前一个崩溃了。

  这个调度器的效率类似于直接在单个机器上运行容器。Swarm的调度策略非常的简单我们从上一节可以看出因此调度器选择节点时非常的迅速仿佛集群中只有一台机器。如果想要看到进一步的性能测试可以参考Docker在Swarm上运行3000个容器的扩展测试[16]。

  一但集群开始运行Meoso master提供了一个Web的接口来显示所有的集群信息。在集群上运行容器的操作类似于Swarm和之间的例子。

  我们需要创建一个replication controller来定义pod的容器和pod的小运行数量。从个案例来看我们可以在一个文件中描述所有集群关于replications的信息。

  未来要做的由于我们比较的调度器都比较新颖暂时还没有可用的基准工具来评价它们之间的扩展性如何。因此未来还需要在这么一个环境中对比调度器有多个集群集群时常出现问题但是集群间又有大量的连接。

  这里对比的调度器主要是用来创建可扩展的Web服务这个用例要求调度器有高容错性但是没有提到当处理成千上万容器时调度器的速度如何。比如说在关于Mesos&Marathon的可扩展性测试上并没有具体的数字来说明容器数量。的用例提到了拥有80个节点和640个虚拟CPU的集群。

  在同样硬件上对比同样的案例一个基准程序benchmark意味着同一时间段运行的大量节点和应用能够被较为公平的比较。这个新的基准程序能够告诉我们不同调取器在其他案例上的具体信息比如说批处理。

  结论Docker Swarm是简单的调取器它拥有易于理解的策略和过滤器但是由于它不能处理节点的失败问题所以在实际的生产环境中不推荐使用。Swarm和Docker环境很好的结合在一起它使用了Docker引擎一样的API并且能够和Docker Compose很好的一起工作因此它非常适合那些对其他调度器不太了解的开发者。

  Swarm非常轻量并且提供了多个驱动使得它它能够和未来所有的集群解决方式一起工作[11]。Swarm是一个调度解决方案非常易于使用比如它为开发者提供了高纬度的配置方式让他们能够快速实现具体的工作流。Docker Swarm并没有绑定到某一个具体的云服务提供商它是完全开源的并且拥有一个非常强劲的社区。

  如果你已经拥有一个Mesos 集群Mesos & Marathon将会是一个完美的组合方案。它能够像其他Mesos框架一样调度行任务同时拥有一个类似于Docker Compose的描述文件来制定任务这些特性使得它成为在集群上运行容器的极佳方案。Mesosphere[45]提供的完整解决方案同样也是一个适合生产环节的、简单而强大的方式。

  尽管Kubernetes的逻辑和标准的Docker哲学不同但是它关于pod和service的概念让开发者在使用容器的同时思考这些容器的组合是什么真是非常有趣的。Google在它的集群解决方案上[26]提供了非常简单的方式来使用Kubernetes这使得Kubernetes对于那些已经使用了Google生态环境的开发者来说是一个合理的选择。

  从后一张图片可以看到Swarm集群能够被其它调取器管理其中容器会分配到不同的集群中。这些组合使得容器能够按照你所想的被调度和编排。

  在linux下利用c语言实现的进程树的打印,主要通过/proc下的目录中的进程文件,获取status中的进程信息内容,然后利用递归实现进程树的打印

  和Docker。如果你没有深入研究,你会认为这两种开源技术都在争夺集装箱至上。让我们明确指出,

  不是竞争对手!两者都各有利弊,可根据您的应用要求使用。 在本文中,有关这些问题的更多信息:

  和Docker如何改变软件开发的时代? 它如何彻底改变了DevOps咨询的方式? 虽然它们不同,...

  ,还从两个实际的案例出发,分析了每个框架具体使用方法。 @Container

  技术大会将于6月4日在光大会展中心国际大酒店举办,来自携程、PPTV、蚂蚁金服、京东、浙江

  有多个目的:使用得集群的资源被高效利用,支持用户提供的配置约束,能够迅速调度应用以此保证它们不会处于待定状态(pending state),有一定程序的“公平”,具有一定的鲁棒性和可用性。 一体式调度(Monolithic scheduling) 由单一的调度代理组成,它负责处理所有的请求,这种框架通常应用于高性能计算。yarn是一个非常流行的架构,尽管它将许多调度功能都分...

  的生命周期。例如,Docker Command Line Interface(CLI)满足在单个主机上管理

  是一个开源平台,初由Google设计,现在由Cloud Native Com

  是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。

  初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用。
以上信息由无锡珂瑞特重工有限公司整理编辑,了解更多容器,换热器信息请访问http://www.wxwchi.com

Copyright ©  2019-2020 无锡珂瑞特-无锡珂瑞特重工有限公司 All Rights Reserved
地址:无锡市滨湖区胡埭工业园北区合欢路99号
联系人:夏致云     手机:13921392475     电话:0510-88215208     邮箱:hnxiazy@163.com