您当前的位置: 首页 >  云平台

凌云时刻

暂无认证

  • 2浏览

    0关注

    1437博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

智汇华云 | 异步?NO! 同步?NO! 华云数据新专利解决云平台容灾难题

凌云时刻 发布时间:2018-08-06 17:25:28 ,浏览量:2

快,关注“Linux宝库”,一起涨姿势~

随着云计算业务的快速发展,国内外云计算企业的专利之争也愈发激烈。在云计算这样的技术领域,专利储备往往代表着企业最新的技术实力。华云数据将开设“智汇华云”专栏,不定期更新专利和技术相关文章,与大家共同分享云计算领域的最新技术。

本期讲解人

李忠文

华云数据高级技术经理

在云计算领域,对虚拟机磁盘执行数据保护时一般采用快照技术。用户可以选择定期或者不定期地对系统盘和数据盘做快照(snapshot)。快照技术可以将事故发生后的数据损失降低到一定范围内,比如,允许用户创建的快照个数。但是,快照技术只能将数据恢复至最近的一个快照点的状态,这个快照点之后产生的数据便无法恢复。快照技术虽然可以恢复到过去的某个快照点,但是当本地数据中心发生故障时,保存在本地数据中心的快照也无法使用,从而导致虚拟机磁盘数据无法保证一致性。

此外,在云计算领域中对虚拟机磁盘数据进行保护还可采用异地备份的技术方案。异地备份的实现方式有两种,一种是异地快照备份,即定期或者不定期地将本地数据中心的快照复制到另外一个数据中心,当本地数据中心发生故障时,可以在异地数据中心将数据恢复至最近的一个快照点;另外一种是通过镜像的方式,在另外一个数据中心存放相同的数据。前者的缺点是数据只能恢复至最近的一个异地快照点,而且随着数据量的增大,快照的RPO(Recovery Point Objective,数据恢复点目标) 和RTO(Recovery Time Objective,恢复时间目标) 也将逐渐增大,无法满足关键业务系统不间断运行的要求;而后者的缺点是一旦源数据中心写入了错误的数据,异地数据中心也会存放错误的数据。

再者,在云计算领域中对虚拟机磁盘数据进行保护还可采用连续数据保护方案。对于云平台中连续数据保护通常采用异步方式或者同步方式实现。

在异步方式中,数据请求从客户端发送过来之后,先将数据写入到本地集群和内存当中,然后返回给客户端一个应答,表示该数据请求已经完成, 客户端可以发送后续的读写请求,当内存区域的数据达到一定的阈值,例如内存数据达到预先设定的大小或者达到一定时间的阈值,系统会启动一个额外的线程异步将内存数据复制到远端的数据集群当中,保证这部分本地集群和远端集群数据的一致性,该方案还有一些简单的变化,但是本质还是异步复制数据到远端集群达到数据保护的目的。异步方案的连续数据保护存在本地集群和远端集群数据不同步情况,在本地集群因为某种原因需要通过远端集群恢复数据的时候,可能存在不能恢复到最新的数据,在数据已经写到本地集群和内存中,但是数据还没有异步复制远端集群中,这个时候如果客户端所在物理节点因为某种原因导致内存数据丢失,这个时候数据可能就恢复不到最新的版本。

同步方案针对异步方案存在本地集群和远端集群存在数据不同步的问题,同步方案采取数据请求同时发给本地集群和远端集群,只有本地集群和远端集群保证数据请求的数据已经持久化到本地集群和远端集群,客户端只有收到本地集群和远端集群的应答才会认为本次数据请求已经完成,客户端可以发送后续请求。

华云数据的方案

为克服异步连续数据保护方式在本地集群和远端集群之间由于不同步所造成的数据丢失的缺陷;同时,克服同步连续数据保护方式中需要等待数据在本地集群和远端集群持久化的问题,避免在同步方式中云平台的计算性能的下降。我们提出并实现了一种全新的云平台连续数据同步方案,其系统架构如下:

图一

系统关键组件说明如下:

缓存模块,用于临时存储用户虚拟机发送的请求所对应的数据。

性能判定模块,用于对本地存储集群或者异地存储集群进行性能判定,以确定本存储集群与异地存储集群在一个延迟操作周期所容忍的数据差异。

更新模块,包含一种逻辑,所述逻辑能够根据采集模块发送的性能数据确定延迟操作周期。

采集模块,根据更新模块所设定的时间阈值T,对本地存储集群及异地存储集群的性能数据进行采集,并发送至更新模块。

系统的IO处理原理归纳如下:

虚拟化管理器(Hypervisor)接收自用户虚拟机(User VM)发送的请求,在等待更新模块确定的延迟操作周期后,将请求并行发送至本地存储集群与异地存储集群(会在缓存模块中为前一次响应慢的本地存储集群或异地存储集群保留一份请求数据);Hypervisor不等待该请求所关联的数据在本地存储集群和/或异地存储集群中完成数据持久化,而等待未作出响应的本地存储装置或者异地存储装置作出响应,任务结束。

当本地存储集群与异地存储集群中某一个较快作出响应后,可由Hypervisor接收下一个请求,并向较快完成响应的本地存储集群或者异地存储集群下发下一个请求,并开始执行该请求;当较慢响应前一个请求的本地存储集群或者异地存储集群完成响应后,可以立刻开始下一个请求的响应。

图二和图三分别给出了本地存储集群和异地存储集群先于应答的操作序列:

图二

图三

由于本地存储集群与异地存储集群的性能与网络环境会随时发生变换,因此两者的先后顺序并不固定,从而可根据本地存储集群与异地存储集群的计算性能和/或网络环境而灵活切换与变换先后顺序,从而使得整个技术方案既能够达到目前异步数据备份的高效率的优点,又能避免过分消耗后台或者云平台的计算资源,因此本方案能够显著的提高用户体验,避免用户发出的请求产生响应的滞后与延迟。

专利证书

关于华云数据:

华云数据专注于为客户提供 “自主、安全、可控”的云计算服务,以帮助用户采用云计算提升IT能力,实现业务变革。华云数据主要面向企业级用户提供定制化私有云解决方案,同时还可以提供混合云、大数据、一体机、公有云、IDC转云等“全云”服务。自2010年成立以来,不断深入了解企业用户需求和行业特性,是一家追求卓越的云计算服务提供商,被用户认可为中国私有云领导者,混合云实践者。

关于“Linux宝库”微信公众号:

欢迎关注"Linux宝库"微信公众号,这里每天发布最新的开源人物和开源事件。谨以此号记录Linux和开源业界的点点滴滴,为开源爱好者和从业者点亮人生。

- END -

- 责任编辑:丸子 -

关注
打赏
1663816507
查看更多评论
立即登录/注册

微信扫码登录

0.0447s