【转载】OpenStack用于生产：来自CERN OpenStack云团队的分享

CERN云上的容器

我们最近在CERN生产中提供了Container-engine-as-a-service（Magnum），作为CERN IT部门为LHC实验和其他CERN社区提供的服务的一部分。这为OpenStack云用户提供了按需的、已经为虚拟机实现的会计、配额和项目权限结构的Kubernetes、Mesos和Docker Swarm。

我们与CERN技术人员分享了有关服务的最新消息。这是在OpenStack巴塞罗那上展示的测试的后续，并在IBM的博客中介绍。在CERN openlab和European Union Horizon 2020 Indigo Datacloud项目的框架下，我们与Rackspace合作完成了这项工作。

性能

在巴塞罗那峰会上，我们和Rackspace、IBM一起介绍了上一篇博文后的额外性能测试。我们每秒2M请求扩展到大约7M，其中一些与OpenStack无关的网络基础设施问题限制了进一步扩展。
当我们创建集群时，部署时间仅随节点数量的增加而增加，因为大多数工作是并行完成的。但对于128个节点或更大的集群，时间的增加开始几乎线性扩展。 在巴塞罗那峰会上，Heat和Magnum团队共同合作，提出了如何在未来版本中进一步改进的建议（虽然在23分钟内部署1000个节点集群已经是一个好结果）。



Cluster Size (Nodes)  

Concurrency        Deployment Time (min)
2        50        2.5
16        10        4
32        10        4
128        5        5.5
512        1        14
1000        1        23

存储

今年LHC产生近50PB的数据，高能物理有一些定制存储技术用于特定用途——EOS用于物理数据，CVMFS用于只读、高度复制存储（如应用程序）。

向CERN用户提供私有云服务的一个特点是将开源社区软件（如OpenStack）的功能与高能物理的特定需求相结合。为了实现这一点，需要一些谨慎的驱动工作，以确保适当的访问和用户权限。尤其是：

1.EOS提供基于磁盘的存储系统，为CERN的用户提供高容量和低延迟访问。典型的用例是科学家分析实验数据。



    2.CVMFS用于对只读数据（如软件）的可扩展、可靠和低维护。

还有我们在CERN使用的其他存储解决方案：

1.HDFS用于使用Hadoop的长期归档数据，该Hadoop在容器中使用HDFS驱动程序。 HDFS在用户空间中工作，因此不需要特殊的集成就可以从内部（非特权）容器中使用它。



    2.如果基本空间不足，Cinder会使用卷提供额外的磁盘空间。这个Cinder集成由上游Magnum提供，以通过添加对Keystone信任的支持来提高安全性的工作已在上一个OpenStack周期中完成。

CVMFS更直接，因为没有必要认证用户。数据是只读的，可以暴露于任何容器。使用已经适于在容器内运行的驱动程序来提供对文件系统的访问。这节省了必须在托管容器的VM内运行附加软件。

EOS需要通过Kerberos等机制进行身份验证以识别用户，从而确定他们有权访问哪些文件。这里，每个用户运行一个容器，不存在凭证共享的风险。详细信息在驱动程序中。
服务模型
在关于容器服务的讨论期间出现的一个有趣的问题是，如何向最终用户提供服务。有几种情况：
1.最终用户启动满足其特定需求的容器引擎，但他们依靠IT部门来维持引擎可用性。这意味着运行容器引擎的VM对最终用户不可访问。
2.最终用户在他们管理的项目中启动引擎。当IT部门维护模板和基本功能（如Fedora Atomic映像）时，最终用户可以控制升级和可用性。
3.选项2的变体，其中运行容器的节点可由最终用户访问和管理，但容器引擎主节点由IT部门管理。这类似于来自Google Container Engine的当前提议，需要对升级进行一些协调和采取策略。
目前，默认的Magnum模型是第二个选项，添加选项3是我们在不久的将来可以做到的。随着用户对使用容器更感兴趣，我们可能会进一步调查第一个选项。
应用程序
在CERN中使用的许多应用程序正在为基于微服务的架构进行重做。不同容器引擎的选择对于软件开发者是有吸引力的。这样的一个示例是文件传输服务，其确保到其他高能物理站点的网络保持繁忙，但是没有数据传输过载。在最近的CHEP 2016 FTS海报上描述了容器化这个应用程序的工作。

虽然部署容器是软件社区非常感兴趣的领域，但关键的价值来自物理应用程序利用容器提供新的工作方式。Swan项目提供了一个用于在浏览器中运行ROOT（高能物理应用程序框架）的工具，可以轻松访问上述存储空间。一组示例可以在https://swan.web.cern.ch/notebook-galleries找到。通过学术论文，使用的程序和从笔记本电脑可用的数据，这允许在审查过程中使用CERNB基于CERN的基于云的文件共享解决方案轻松与其他物理学家共享。

正在研究的另一个应用是http://opendata.cern.ch/?ln=en，它允许公众对LHC开放数据运行分析。典型的应用是Citizen Science和学校的联系。

正在进行的工作

有几个主要项目，我们正在与上游社区合作：

1.集群升级将允许我们升级容器软件， 例如Fedora Atomic、Docker或容器引擎的新版本。使用负载均衡器，可以不用停机。
    2.异构集群支持将允许节点具有不同的风格（cpu vs gpu、不同的i / o模式、不同的AZ、用于改进的故障场景）。这是通过将集群节点拆分为节点组而实现的。

3.通过Grafana仪表板部署Prometheus和cAdvisor实现集群监控，轻松监控Magnum集群。
来源：https://openstack-in-production. ... -on-cern-cloud.html