公司巴比伦 位置联合王国 行业人工智能、医疗

挑战

巴比伦的大量产品都利用了机器学习和人工智能,而在2019年,公司内部的计算能力不足以进行特定的实验。该公司也在增长(三年内从100家增至1600家),并计划向其他国家扩张。

解决方案

Babylon将其面向用户的应用程序迁移到2018年的Kubernetes平台,因此基础设施团队转向Kubeflow,该工具包在Kubernetes上进行机器学习。“我们试图创建一个Kubernetes核心服务器,我们部署了Kubeflow,我们策划了整个实验,最终是一个非常良好的成功,”AI基础设施LowJérémieVallée说。该团队开始在Kubernetes之上建立一个自助AI培训平台。

影响

团队可以瞬间访问,而不是等待数小时或数日才能计算。过去需要10个小时的临床验证;现在他们在20分钟内完成。云本机平台的可移植性也使巴比伦扩展到其他国家。

巴比伦的使命是让地球上的每一个人都能得到可负担得起的医疗保健服务。

自2013年在英国成立以来,这家初创公司已经为全球数百万次数字咨询提供了便利。在英国,病人通常要等上一两个星期才能得到医生的预约。通过巴比伦的国民保健服务,有超过75,000名注册病人的全科医生,39%的人在30分钟内通过电话预约,89%的人在6小时内预约。

这只是一开始。“我们试图将不同类型的技术与我们内部的医学专业知识相结合,以建立将帮助患者管理和理解其健康的产品,并且还可以帮助医生在他们所做的事情上更有效,”艾杰斯说,艾美省JérémieVallée说巴比伦基础设施铅。

其中大量产品利用了机器学习和人工智能,2019年,研究人员遇到了一个痛点。Vallée表示:“我们内部有一些服务器,我们的研究人员在这些服务器上做了很多人工智能实验,并对模型进行了一些培训。我们内部没有足够的计算机来进行特定的实验。”

巴比伦在2018年迁移了面向用户的应用到Kubernetes平台上,“多亏了迁移,我们有了很多Kubernetes的知识,”他补充说。为了优化已经创建的一些模型,该团队求助于Kubeflow,这是Kubernetes上的机器学习工具包。“我们试图创建一个Kubernetes核心服务器,我们部署了Kubeflow,我们精心策划了整个实验,最终获得了非常好的成功,”他说。

基于该经验,Vallée的团队任务是建立一个自助服务平台,帮助巴比伦的AI团队变得更加高效,并通过延期帮助产品更快地推出产品。主要要求:(1)能够为研究人员和工程师提供所需的计算,无论他们可能需要运行的实验规模如何;(2)一种提供团队的方法,他们需要按需求和以集中方式进行工作,以便以集中方式;(3)培训平台必须接近正在管理的数据,因为公司的扩张进入不同的国家。

Kubernetes每次计数都是一个启动器。“Kubernetes是一个很好的机器学习平台,因为它附带了您所需要的所有调度和可扩展性,”Vallée说。需要保留Babylon运营的每个国家都需要多区域,多云策略的数据,以及一些国家甚至可能甚至没有公共云提供商。“我们想让这个平台便携,以便我们可以在任何地方运行培训工作,”他说。“Kubernetes提供了一个基础层,允许您部署云提供商外部的平台,然后部署您需要的任何工具。这对我们来说是一个非常好的卖点。”

一旦团队决定在Kubernetes的顶部构建巴比伦AI研究平台,他们就引用了云本地景观,以建造堆栈:Prometheus和Grafana进行监控;ISTIO服务网格以控制培训平台上的网络,并控制访问所有工作流程的内容;掌舵部署堆栈;和助焊剂管理Gitops部分管道。

云原生AI平台在巴比伦大会上产生了巨大的影响。在该平台上运行的第一个研究项目主要涉及机器学习和自然语言处理。这些实验需要大量的计算——1600个CPU, 3.2 TB内存——这比巴比伦内部的计算量要大得多。另外,访问计算过去需要几个小时,有时甚至几天,这取决于平台团队有多忙。“现在,有了Kubernetes和我们提供的自助服务平台,这几乎是即时的,”Vallée说。

在该平台上完成的另一个重要作品是对巴比伦症状检查器等新应用的临床验证,这计算了鉴于用户的证据的疾病的概率。“在医疗保健中,我们希望我们所有的模型都在他们打算击中生产之前是安全的,”Vallée说。使用ARGO for GITOPS“使我们能够大规模扩展过程。”

研究人员过去常常要等上10个小时才能得到新版本模型的结果。在Kubernetes的比赛中,比赛时间降到20分钟以下。另外,以前他们一次只能进行一个临床验证,现在如果需要,他们可以进行多个平行的验证——考虑到巴比伦在过去三年中从100名员工增长到1600名,这是一个巨大的好处。

首席技术官Caroline Hargrove说:“提供一个自助平台,用户可以运行自己的工作负载,这使我们的数据科学家社区能够在没有任何云技术和平台工程师帮助的情况下进行超参数调优和通用算法开发,从而加速了我们的创新。”

增加了平台操作总监Jean Marie Ferdegue:“向我们的数据科学家提供基于Kubernetes的平台,这意味着通过赋权增加了创新,以及我们的云工程师正在构建数百人使用的经验,更加实惠的健康服务每天,而不是支持特定的定制用例。“

此外,由于巴比伦继续扩大,“它将非常容易船上新的国家,”Vallée说。"Fifteen months ago when we deployed this platform, we had one big environment in the U.K., but now we have one in Canada, we have one in Asia, and we have one coming in the U.S. This is one of the things that Kubernetes and the other cloud native projects have enabled for us."

巴比伦的原生云路线图包括将该公司所有的人工智能工作纳入该平台。这越来越多地包括人工智能护理服务。Vallée表示:“我认为这将是人工智能和医疗保健相结合的一个有趣领域。”“这是一个复杂的问题,围绕着这个问题有很多问题。因此,对于我们的平台,我们想说,‘我们能做些什么来减轻我们的开发人员和机器学习工程师的痛苦?'"