欢迎访问天津都市网  今天是 2024年10月15日 星期二

当前位置: 首页 > 汽车

移动云郭建楠:面向“东数西算”打造新一代算网存储能力

C114讯 4月27日消息(九九)“东数西算”工程凸显了数据作为一种生产要素的价值,并将其分类治理——对于服务后台加工、存储灾备、离线分析、存储备份等对网络时延要求不高的“冷数据”,优先向贵州、内蒙古、甘肃、宁夏节点转移;对于网络时延要求高的“热数据”,选择在东部城市进行布置。

在日前举行的“算网融合,创新发展——移动云技术品鉴会”上,中国移动云能力中心IaaS产品部总经理助理郭建楠指出,在“东数西算”场景下,存储系统面临如下新挑战:本地/近场下的热点数据如何高性能存取?海量数据如何存储及灵活迁移?如何屏蔽存储系统层操作细节,对客户呈现便捷业务应用?

算力网络下的新存储能力:“扛得住”“存得下”“用得好”

郭建楠进一步指出,面对上述问题,存储系统要解决高性能、高扩展、易使用的问题,能够“扛得住”、“存得下”、“用得好”。满足企业关键业务云化对存储的性能要求,提供高带宽、高IOPS、低时延保障;满足高速增长的数据存储需求,提供易扩展、高吞吐、海量文件高效索引保障;屏蔽复杂的存储系统层次操作细节,提供易部署、易操作、简洁易用的产品形态。

移动云将围绕算力网络,持续增强存储性能,提升产品竞争力,基于对象存储跨域纠删能力推进存储全系产品演进。

一是打造超高性能的存储系统,满足高端存储需求。完成基于中国移动云能力中心自主研发的“大云天权统一存储引擎”的百万IOPS云盘产品研发,实现单逻辑卷百万IOPS超高性能及百微秒级超低时延保障。

二是面向海量数据存储需要,提供EB级存储容量扩展性。完成基于天权统一存储引擎的第四代对象存储产品研发,多级负载均衡策略提供Tbps级系统吞吐、多子集群设计提供EB级存储规模、分级元数据管理 提供高效文件索引,满足海量数据存储需求。

三是实现冷热数据自动分层、支持数据跨域自由流动。基于对象存储用户桶空间,存储集群内实现标频-低频-归档类型的数据自由迁移,且可通过“跨域复制”能力实现数据在集群间的东西向高效流动。

四是打造跨域访问文件系统,实现“数随算走、随心接入”。自研文件存储(CFN版本),基于对象存储的跨域纠删能力实现数据的全域可访问,基于跨域KV数据库实现元数据的全域可访问,有效支撑实时流媒体文件编辑等跨域数据共享场景。

应时而生的新存储解决方案:打破“存储墙”,连通“数据孤岛”

郭建楠介绍,移动云云存储产品围绕“大云天权统一存储引擎”展开,在其之上构建了分布式块存储、对象存储、文件存储产品。“天权”存储系列产品已在移动公有云进行长期推广及商用,部署规模超3万台服务器,容量规模超过2500 PB,为移动云80余万家客户提供稳定、安全的 存储服务。

面向算力网络下的新存储挑战,移动云提出应时而生的新存储解决方案:

块存储产品:从IO调度策略、IO路径加速、数据落盘方式三个维度深度优化存储引擎,通过多路顺序预读、智能IO调度策略降低时延,通过SPDK全用户态无锁队列、RDMA网络卸载技术解决上下文切换及锁抢占问题,面向IO全链路深度优化,打造百微秒级时延超高性能。“基于天权存储引擎,打造百万IOPS、百微秒时延、4GB/s吞吐的新一代云硬盘产品,可有效支撑大型数据库、实时日志分析等IO密集型以及AI训练、基因测序等高吞吐型业务场景,满足现场及近场计算诉求。”郭建楠说。

对象存储产品:通过存储多协议协同,实现“存算一体,数随算走”,实现数据冷热智能分层,实现数据自由跨域流动,打破“存储墙”,连通“数据孤岛”,支持数据向算力迁移,打造“数据随心可取”的存储服务体系。

文件存储产品:在基于对象存储的跨域纠删能力基础上,自研移动云文件存储(CFN版本),基于EOS跨域纠删(数据)及跨域KV数据库(元数据)有效支撑实 时流媒体文件编辑等跨地域数据共享场景,实现多点接入、简单配置、随心访问。

当前,相关工作已取得初步进展。数据、元数据分离进行存储,形成集中化元数据架构,将文件协议处理、文件元数据存储与数据存储解耦,提升文件系统元数据性能的同时,增强了文件存储容量扩展性。进行跨域数据库研发,基于“灵活性+高可用性+可扩展性+ACID+通用基础框架”设计原则分而治之,实现组件模块化,功能正交、减少耦合,实现在跨域场景下的故障归一,快速检测、快速恢复。通过S3等标准对象存储接口接入移动云EOS,在统一元数据管理下, 借助移动云EOS数据跨域纠删存储能力,实现文件存储数据分片跨域分布。

移动云新一代存储系统
本文来源于网络,不代表天津都市网立场,转载请注明出处
我要收藏
0个赞
转发到:
腾讯云秒杀
阿里云服务器