500万彩票网,500万彩票

异构数据迁移技术的突破,啃下数据迁移这块“硬骨头”

500万彩票网,500万彩票 发布时间:2020-08-21 | 信息来源: | 发布作者:


当前,是信息量爆发式增长的时代,为了构建智慧和平安城市,需要大量的存储设备用于保存各种信息和数据,各企事业单位和金融机构业务不断发展,每年的数据量呈几何级数增长,数据已经或者正在逐渐成为其核心资产。

 

数据量的爆发式增长对存储的容量和性能都有了新的要求,然而旧的存储设备受容量、性能和运行环境等限制,已无法满足业务系统发展的需要,如何快速、有效、平稳地将旧存储上的异构数据迁移至高性能的新存储,是每个数据中心都会遇到的难题。

 

根据业界对异构数据迁移行为的深入分析后发现,有接近40%的异构数据迁移需求源自于用户对IT系统中服务器或存储阵列设备的更新升级,超过15%的异构数据迁移需求源自于用户不得不对长时间超负荷运营的IT设备进行维护操作;

 

与此相当的是,也有超过15%的用户为了应对业务激增带来的性能压力,必须对IT系统进行性能调优,从而导致异构数据迁移行为的发生。

 

此外,还有接近20%的用户因为机房变更或是设备租赁到期,也不得不对原有数据进行迁移。由此可见,导致异构数据迁移的原因多种多样,异构数据迁移的行为无法避免。

 

据Gartner的统计数据表明,95%的受访用户认为异构数据迁移是个“硬骨头”,让人头痛却又不得不面对。在传统异构数据迁移的过程中,有接近60%的用户经历过业务下线时间超过计划和预期的情况,有超过50%的用户在实施异构数据迁移的过程中,将面临技术升级或是架构革新所带来的兼容性风险,而在架构升级之后,性能不升反降、数据受损、数据丢失等,如梦魇一般,也时刻困扰着实施异构数据迁移的用户。

 

某大型金融机构业务遍及国内和数十个国家和地区,2018年以来逐渐认可了新华三品牌的优势,从2019年初至今,新华三已参与多个全闪存项目,并分别中标高端全闪存项目及中端全闪存项目,实现了H3C CF存储产品在该金融机构业务系统中的大量部署。

 

随着公司存储产品的陆续上线,如何在不影响业务运行的前提下将旧存储的数据快速、平稳、有效地迁移至新存储,是客户和我们共同应对的重要工作。

 

面临的挑战

 

● 存储产品作为承载核心业务的关键设备,其性能、可靠性、可用性和易管理性的要求极高。

 

● 环境复杂,需要进行异构数据迁移的存储有EMC、HDS和NetApp等多个品牌,每个品牌包括多个型号的存储,涉及到的操作系统有AIX、Linux、Windows Server、VMWare ESXi和Windows Hyper-V,数据库有Oracle RAC、SQL Server、MySQL。

 

● 必须使用存储底层异构数据迁移技术,异构数据迁移时业务系统在线或中断时间尽可能短。

 

● 异构数据迁移带宽要求高,多链路并发异构数据迁移,在保证异构数据迁移速率的同时,不能影响源阵列和目标阵列上其它业务系统数据的访问性能,对迁移业务系统的性能影响也不能超过50%。

 

● 迁移业务系统多,共数十套系统,异构数据迁移量大,达到PB级数据量。

 

异构数据迁移技术介绍

 

异构数据迁移是一个非常复杂和细致的过程,它要求设计与实施人员具备多元化的知识结构,否则将陷入顾此失彼的境地。一个完整和成功的异构存储异构数据迁移解决方案包含以下六个部分:

异构数据迁移有较多的技术及手段,可以通过操作系统命令和工具实现,也可以通过应用软件本身来完成,还可以通过目标存储的异构数据迁移工具来达成。根据系统环境和应用的重要级别可选择应用在线、离线或最小中断(异构数据迁移前需要短暂中断应用,异构数据迁移时应用在线)三种异构数据迁移方式,以下根据不同的异构数据迁移需求对各种迁移技术及涉及到的命令和工具做了概要性介绍和对比分析。

 

》磁盘或文件系统异构数据迁移技术对比

》数据库异构数据迁移技术对比

》VMware虚拟机异构数据迁移技术对比

 

Online Import Utility

存储异构数据迁移

 

Online Import Utility是基于存储的异构数据迁移软件,将CF存储通过SAN网络与现有的存储相连,通过安装在一台PC服务器上的OIU工具界面即可完成现有存储到CF存储的异构数据迁移。

 

根据Online Import Support Matrix文档,符合条件的源存储可以通过在线、最小中断(MDM)和离线三种方式实现存储层面的异构数据迁移。

 

根据客户实际环境及需求的不同,通过OIU工具有三种迁移方式:

 

 

在线迁移

整个异构数据迁移过程主机和应用完全在线,数据复制过程主机IO不发生中断。

 

最小中断迁移

启动异构数据迁移之前主机需要进行一次重启,数据复制过程开始以后主机IO不发生中断。

 

离线迁移

异构数据迁移的全过程均需要停止主机IO,并删除现有磁盘与主机之间的映射关系,迁移完成后重新映射后主机上的应用才能启动。


技术方案

 

01

 

异构存储异构数据迁移步骤

02

 

准生产环境异构数据迁移

客户的准生产环境数据保存在EMC DMX4存储上,应用主要是Oracle数据库和GPFS文件系统,运行在AIX5.3和6.1的操作系统上,既有IBM POWER物理机,也有POWER VM虚拟机。由于EMC DMX4是较老的存储,OIU只支持使用该存储的AIX操作系统环境进行离线异构数据迁移,鉴于这种情况,我们构建了上图所示的异构存储异构数据迁移环境,把OIU迁移工具安装在EMC SMI-S Provider服务器上,方便OIU工具通过EMC的标准化存储管理接口操控EMC DMX4存储,异构数据迁移使用两条4Gb/s的带宽,按照OIU的要求,这两条迁移链路必须连接在EMC DMX4和H3C CF8845的一对控制器中不同控制器的前端接口上,整个异构数据迁移过程中,关闭Oracle数据库和 AIX操作系统。

 

03

 

生产环境异构数据迁移

如上图所示,客户生产环境有异构数据迁移需求的系统环境非常复杂,源端存储有HDS的VSP、G1000和G1500三个型号的存储,有NetApp的8060和3250两个型号,还有EMC VMAX 40K,操作系统和应用种类繁多,针对这种情况,按照业务系统最短停机时间需求,我们设计了相应的异构数据迁移原则,然后根据每一套业务系统的架构情况和系统特点,再详细制定具体的迁移实施方案。

 

客户收益

 

● 面对极其复杂又严苛的业务场景,通过H3C CF系列存储OIU工具简化了异构存储数据在线迁移复杂度,圆满完成了生产数据到H3C CF系列存储的在线迁移,这也是目前全球金融行业中最大的在线迁移实施案例之一。

 

● 面对金融大型数据中心混合场景,完成了H3C CF系列存储完整的异构存储异构数据迁移测试,为客户数据中心后续使用H3C CF系列存储积累了宝贵经验。

 

● 通过不断优化迁移方法,打破了H3C CF系列存储生产系统在线迁移多项记录:单个业务系统120TB数据、833个逻辑盘一次性在线迁移、由771个逻辑盘组成的数据一致性复制组同一时间点分离、3.8GB/s迁移速率、每小时迁移13TB数据,极大程度保证了客户业务的连续性。

 

● 异构数据迁移到H3C CF系列存储上,实现了更高的带宽(16GB)和压缩、重删、底层虚拟化等新技术,性能得到大幅度提升。

 

● 迁移过程充分考虑客户环境及业务需求,增强了H3C CF系列存储产品的多项功能,更好的满足了客户的业务场景和使用习惯。


转载于公众号:新华三服务,侵删




沃趣科技,让客户用上更好的数据库技术!
document.write("