华大基因与华为云的“智慧碰撞”,让测序效率稳步提升

  • 时间:
  • 浏览:0

支付几百元将你的唾液邮寄,你的基因组序列就会得到分析,所得出的结果不仅还都能否 诊断疾病,还还都能否 用于未来疾病的风险预测。相信可能有不少人耳闻甚至使用过原本的基因测序“黑科技”产品。近年来,随着基因产业飞快崛

支付几百元将你的唾液邮寄,你的基因组序列就会得到分析,所得出的结果不仅还都能否 诊断疾病,还还都能否 用于未来疾病的风险预测。相信可能有不少人耳闻甚至使用过原本的基因测序“黑科技”产品。

近年来,随着基因产业飞快崛起,测序门槛也没有低。可能把人体比作一台精密的机器,基因测序就好比“人体机器”的“使用说明书”。随着未来基因技术的不断发展,人类或许有能力解读此人 的生命图纸,并获得开发人体潜力极限的能力。

目前,基因测序技术在基础研究、技术研发和临床实践上可能得到了几滴 应用。而这手中离不开云计算、AI、大数据等新一代信息技术的鼎力支持。

事实上,生命科学的研究竞赛,好多好多 有以前可能变成了一场“算力”的比拼。好的科研成果通常是基于庞大的计算数据。随着很多临床基因检测,如:产前检测、肿瘤检测等,项目的落地,对算力的需求也会逐步增加。没有,该怎样才能为基因测序提供更强的算力呢?

面对海量测序数据,华大基因的痛点怎样才能化解?

作为全球领先的生命科学前沿机构,目前华大基因可能完成HPV检测总数超过440万 例,完成耳聋基因检测2150余万例,完成无创产前检测510多万例。哪些基因测序的流程中,动辄涉及到数万/数十万个基因测序及模型建立,依赖几滴 的计算和存储资源,随着未来业务量的那一步扩展,将使华大基因的传统IT架构面临一定挑战:

计算资源比较紧张,在使用峰值时,任务老要时要排队停留;

可能基因测序对算力的需求是波动的,通常第四季度的消耗最大而第一季度共要,这会意味服务器的数量无法得到很好的控制。可能选取采购还都能否 满足最大峰值的集群,没有在业务量没有时刻保持高峰时,就会处在很大的成本浪费。而一旦服务器严重不足,则无法满足业务高峰时的测序任务;

科技服务部门有好多好多 有错综复杂基因组,在各个测序分析的阶段时要借助不同规格的计算资源,线下计算集群往往无法适应快速的扩缩容;

此外,线下集群架构不支持高通量基因测序数据的多任务并行,面对海量基因数据,每个基因测序全部都是另一个 极其消耗计算资源的过程,传统的数据存储和分析土措施从没有支持高通量测序的需求。

华为云基因容器GCS:20分钟快速部署,成本下降150%

经很多方考量,华大基因选取了华为云作为媒体商务合作伙伴。据悉,华为云在2018年全球首家推出了以Kubernetes为基础的基因容器服务GCS,还都能否支持集群自动扩缩容,灵活应对业务增长对资源带来的压力。当测序时要几滴 资源时,云平台还都能否快速扩容提升处都能否力,处里峰值压力;在业务低谷时,还都能否 释放资源,降低成本。在不同的测序分析阶段,GCS都能为测序企业提供不同规格的计算资源。

华为云基因测序处里方案架构/来源:华为云官网

值得一提的是,在本次项目中,华为云基于轻量级的容器技术,对华大基因常用的测序软件进行了针对性的优化处里。借助容器的高并发度,每个节点上可一块儿执行多个任务,带来整体计算性能的提升,一举处里了线下集群和公有云服务都难以处里的高通量测序间题,让基因测序数据的计算分析更省时、更轻松。

此外,华为云GCS还具备全自动化测序分析能力,为用户提带来便捷、安心的一站式服务:

借助GCS的生物信息流设计器,再错综复杂的业务也还都能否 编排到另一个 流程中,一键搞定测序任务,处里多套系统操作带来的不便;专为国内“生信人”设计的流程控制语法,形状简练、易懂,既满足了流程编写的易用性,一块儿也保证了流程迁移的方便性;GCS的流程热力图,以非常直观的土措施随时了解测序进展,精确掌握资源消耗走势,指导优化方向;还可根据判断条件选取执行分支,满足企业错综复杂的流程管理需求。

目前,华为云团队可能协助华大基因平滑上云,双方一块儿完成超过150万核时计算,平稳运行超过1150天,实现了基因测序环境快速部署,从过去的3-三三天 缩短到仅需20分钟。与此一块儿,双方还通过构建2万核资源池,满足了海量数据、高并发处里的需求。如今,华大基因已还都能否 灵活应对业务波动,按需使用和释放计算资源,在尽可能提升测序下行下行速率 的情況下,有效降低测序工作的IT成本。

华为云GCS助推测序企业提升竞争力

除了华大基因外,在国内基因行业Top 15的企业中,14家选取了与华为云媒体商务合作。

其中,武汉未来组作为国内首家长读长测序服务公司,承接了几滴 动植物基因组、转录组、微生物基因组及宏基因组测序分析等科研服务项目,月产出数据量高达数十Tb。华为云为其提供Kunlun超大内存裸金属服务器,支持承载重楼百合1150G基因组装,使得测序原始数据处里下行下行速率 得到快速提升。华为云还协助未来组打通了线下数据生产平台与云端高性能计算平台之间的网络链路,让线下产生的数据还都能否 快速上传到云端,从而进行后续的分析。并由华为云专业的技术团队负责整体的运维管理,大大降低了未来组的IT运维压力。

“云+AI+5G”引领基因产业智能化升级

在医疗健康行业智能升级的大背景下,基因测序也时要融合更多的新兴技术手段来达到更高的精准度和科学性,华为云将释放“云+AI+5G”的强大动能,让测序企业更省、飞快、更安心,实现行业的智能化升级。

云计算:打通线上线下形成容器混合云,容器镜像自动同步,资源、应用统一管理运维,使得线上线下功能和环境一致,用户使用习惯一致。

大数据:通过计算存储分离、内存及分布式缓存、智能调度,大数据性能提升40%,成本降低150%。

人工智能(AI):通过作业群组管理、拓扑感知的亲和性调度,GPU线性加速比提升35%,降低人工智能150%训练时间。

鲲鹏算力:整型计算+多核契合测序分析,Minimap2 软件在鲲鹏920下性价比领先同代X86 20%。

在未来生物技术发展与云计算的一块儿推动下,基因测序“黑科技”必然会造福更多的人类。你爱不爱我有一天,现有的医学疑难杂症也会被另一个 个攻克。在这条生命科学的漫漫征程中,面向未来,华为云将紧跟科技的发展和用户需求的变化,持续进行研发迭代升级,伴随基因产业一路前行!

(本内容属于网络转载,文中涉及图片等内容如有侵权,请联系编辑删除)