20110310-009 无锡市人民医院基于云存储的解决方案

无锡市人民医院基于云存储的解决 刘喻① 满祎① ①无锡市人民医院，214023，江苏省无锡市清扬路 299号 摘 要 随着我院信息系统的不断完善，PACS 系统已经成为医院发展的重要组成部分。但 是随着 PACS系统的使用，在 PACS系统的后台保障平台上逐渐面临瓶颈和风险增多的困难， 主要体现在:如何有效降低数据存储硬件投资（几十至几百 T数据）、 如何进行数据备 份（99%的 PACS影像数据没有备份）、如何提高响应速度（全院级 PACS，几千万至几亿个文 件）、如何避免年年扩容中的痛苦（每年都有 PACS 存储采购）、如何符合法规要求（就诊档 案保存 15年）、如何容灾(DB和影像文件)。而由于历史遗留问题，大多数 PACS系统在建设 初期没有考虑到以后的增长和发展，所采用的存储构架在性能、性价比、灵活性、功能上都 存在滞后。根据这些特点和需求，我们特别了基于虚拟化的云计算定制的 PACS 系统存 储和归档解决方案。 关键词 PACS 云存储 虚拟化 1 现状分析及存在问题 1.1 现状分析 信息中心现状示意图见图 1。 图 1 信息中心现状示意图 信息中心应用系统采用应用层和数据库分层结构。配置 2 台 HP 安腾 8640 服务器配置成“2+2” （两套数据库服务器+两套磁盘阵列）方式的集群系统时, 两台数据库服务器均可同时承担服务任务（运行不同的数据库应用）,并实现应 用的负载均衡（通过 Oracle RAC功能），作为信息中心的后台数据库服务器。 在应用层面采用六台 IBM X3950 服务器作为应用服务器、运行信息中心的 HIS系统、PACS系统、LIS系统，并设置成高可用集群系统，为医院安全运行提 供技术保障。 信息中心目前的存储系统基于 SAN 技术构建，由 2 台磁盘存储阵列、1 台 自动磁带库、连接设备（5台存储光纤交换机、光纤卡等）以及存储管理软件组 成。存储资源划分： HIS 系统采用了两台 HDS AMS500 磁盘阵列，并通过 VERITAS Storage Foundation的卷管理软件，配置成为镜像方式。 PACS 磁盘阵列采用一台 HDS AMS1000 磁盘阵列，用来存储 B 超、CT 等数字 影像资料。 数据归档、备份采用了 Dell PV160T （原 Quantum scalar i2000）磁带库 作为存储设备。 1.2 存在问题 分中心有 7 台 windows 服务器，分别运行不同重要的业务系统， 均为单机，容易出现单点故障。 PACS 系统存储系统剩余空间不足，PACS 系统每天约 33GB的数据增量，目前 剩余 7.9TB 存储空间，8个月后就面临着存储容量不够的局面。 PACS 系统的性能不足，目前 PACS系统只有一台服务器提供服务，医生访问 B超、CT影像资料时经常出现下载到一半就停止的问题，这主要是单机系统造成 的性能瓶颈。经过计算，性能至少要提高至目前的 4至 5倍即 500MB/s 才能满足 目前和今后 3年的需求。 PACS 的影像数据存放和备份策略不完善，鉴于大量长期影像数据需要存放 并且备份，目前的影像归档和备份策略不能满足海量数据的现状。 应用系统备份设备采用 Dell PV160T 磁带库，目前配置 4 台 LTO2 磁带机及 若干盘 LTO2磁带，LTO2磁带机速率为 35MB/s，LTO2磁带容量 200GB（非压缩）， LTO2 带机速度慢，在备份窗口内不能及时备份数据。LTO2 磁带容量较小，目前 磁带容量即将写满。机房需增加空调提供散热、制冷。 2 系统建设目标 2.1 服务器虚拟化整合 通过服务器虚拟化整合，控制和减少物理服务器的数量， 明显提高每个物理服务器及其 CPU的资源利用率，从而降低硬件成本。降低运营 和维护成本，包括数据中心空间、机柜、网线，耗电量，冷气空调和人力成本等。 虚拟化可以加快新服务器和应用的部署，大大降低服务器重建和应用加载时间。 2.2 提升 PACS 系统性能及存储容量 确保医院各科室及时、准确调用 PACS系统， 保 证 PACS 系 统 容 量 和 性 能 需 求 ， 实 现 数 据 生 命 周 期 管 理 。 2.3 降低总体成本(TCO) 保证容量和性能的前提下，降低初次购买和未来扩展的 总成本。 3 建设方案 3.1 总体方案 图 2 总体方案示意图 总体方案示意图见图 2，总体方案包含以下要点。 3.1.1 新购三台高性能 PC 服务器，搭建虚拟化主机平台 针对分中心 7 台 windows 服务器，配置三台高性能 PC 服务器，安装虚拟化软件，配置成为三台 高性能的虚拟化服务器。两台虚拟化服务器运行 5个 windows业务系统，放置在 主中心，另一台虚拟化服务器运行 2个 windows 业务系统，放置在灾备中心，任 一虚拟化系统出现故障均可通过系统调度切换到其他两台系统上运行。三台虚拟 化服务器使用现有的 HDS AMS1000磁盘阵列（已有的，放置在主中心）存储虚拟 机文件. 3.1.2 利旧原有的 PC服务器，搭建 NAS 集群平台 将原有 7台服务器中的 5台通 过 FileStore 软件配置为高性能的可扩展的容量巨大的 NAS 集群平台,为 PACS 服务器提供的网络文件访问服务。 3.1.3 扩充 PACS 存储的容量 通过扩容或新购存储设备，为 PACS 系统提供能够 满足需求的可扩展的存储空间。 3.1.4 升级磁带机到 LTO4 目前 DELL 磁带库采用 LTO2磁带机，速率 35M/s，LTO2 磁带容量 200GB，通过采用最新的 LTO4 磁带机，使速率能够达到 240M/s，单盘 LTO4磁带的容量可以达到 800GB, 以满足 PACS数据备份归档的需求。 3.1.5 机房增加空调提供散热、制冷。 3.2 PACS 数据的 NAS 集群方案 Windows 2003能识别的最大卷容量为 12TB, 目 前 PACS 系统运行在 Windows 2003上，有三个盘符，分别存有数据 12TB，8TB， 8TB。鉴于 windows 2003 操作系统的限制，每增加 12TB 就得增加一个盘符，今 后如果要扩容存储系统，需不断增加盘符，试想如果 26 个英文字母用完，存储 系统将不能使用，并且这种限制在使用中也是非常不方便的，PACS 系统管理员 需在多个盘符间不断切换，增加了操作的复杂性。 只有 PACS 系统的存储卷通过一个盘符进行管理，才能减少大量人工增加盘 符及在多个盘符间切换工作的操作难度，才能真正做到自动管理及操作智能化。 解决问题的办法是使用 Symantec FileStor 的 NAS 技术：通过 CIFS 协议共享， 可以将任意大小的逻辑卷，几百甚至几千 TB 的逻辑卷映射给 WINDOWS 2003 操作 系统，PACS 系统只需添加一个盘符即可，即便未来多次扩容，也无需人工修改 前端配置参数。基于以上再次扩容的需求，选择 Symantec FileStor 的 NAS技术 是最优方案。 目前 PACS 系统只有一台服务器提供服务，医生访问 B 超、CT 影像资料时 经常出现下载到一半就停止的问题，这主要是单机系统造成的性能瓶颈。为此， 我们迫切需要建立一个能够灵活扩展，适应不断变化需求的多链路并行访问、负 载均衡的集群架构 NAS 来解决 PACS 系统性能瓶颈的问题。因此建议在服务器之 下，存储之上架设一个灵活高速，并持续可靠的 NAS平台：NAS集群服务器。推 荐产品是 Symantec File Stor。 Symantec File Stor NAS 集群服务器具有着高性能，性能也会随着节点数 量和磁盘数量的增加线性地扩展：本次配置 5 节点(其中一个节点专用做海 量 PACS 数据的备份)，约 500MB/s吞吐速率，是目前的 10倍。 高容量，空间随需扩展：单一集群可以支持 2000TB空间；单一命名空间的 优势：单个盘大小是 256TB，是目前的 20 倍；保证在增加机头的同时性能可线 性增长：我院以后可以不停业务扩容至目前性能的 4倍；提供优异的小文件和大 文件访问性能：符合 PACS系统的特征；集群之间可以实现故障切换和负载均衡： 保证 PACS 系统不停机。 而传统 NAS 系统是达不到 FileStor 集群 NAS 系统实现的功能的，传统 NAS 系统一般最多由两个节点组成，扩展性差，存在明显的性能瓶颈，受机头处理能 力的限制，在考虑未来海量存储需要时，必须在最初就配置最高端的型号，否则 只有更换机头，这将造成采购成本极大浪费。 因此配置 File Stor 的 NAS 集群是最实际及可靠的选择，FileStor 的 NAS 集群可配置为 4+1节点冗余模式，4个节点同时对外提供服务，可以做到并行访 问、负载均衡，足以满足 PACS 系统的应用性能。此外，可以将替换下来的 7 台 windows服务器（采用虚拟化架构 Vmware）中的 5台作为 NAS集群服务器，可以 有效的利旧及节省投资。 3.3 PACS 数据的存储扩容方案 目前 PACS系统使用的存储设备 HDS AMS1000 使 用空间只剩余 7.9TB，只有扩容和采购新设备有两种方案：方案一：扩容 HDS AMS1000 存储。目前 HDS AMS1000 可用容量 33TB，可以选择扩容 HDS AMS1000 来满足增加 PACS系统容量。若采用此方案，可购置 105块 1T的 SATA 盘共 105T 的容量，未来在不新增机头的前提下，还可以有 165TB的可扩空间。方案二：采 购新设备。购置最新的主流中端磁盘阵列（如 HDS AMS2500），配置双控制器， 105块 1T 的 SATA盘共 105T的容量，还可以有 375TB的可扩空间。 方案一分析优势：价格较低；占用空间、电力消耗等略低；管理相对多台存 储，方便一些；缺点：扩容的硬盘的保修期按原有机头计算，已满三年服务期， 因此扩容硬盘服务随之也到期；续保服务需要产生额外的费用；AMS1000 磁盘阵 列现在正在作为生产系统使用，扩容实施过程中，存在一定风险，可能会对生产 系统造成影响，不利用业务系统工作连续性；AMS1000磁盘阵列已经停产，厂商 对此产品的支持力度受到限制；随着近年来技术水平的高速发展，AMS1000 磁盘 阵列性能已稍显落后；AMS1000经过近三年的使用，产品稳定性、可靠性有所降 低，后期维护成本会大幅提高。 方案二优势：采用目前主流、先进的技术，可以有效保障系统性能；新购 整套存储系统安装调试完成后，再接入生产系统使用，对业务系统不会产生影响； 可用磁盘数量多，足以满足今后存储扩容的需求；缺点：成本稍高于方案一。 综上分析，现有 AMS1000 扩容和新购一台磁盘阵列有明显的区别，方案二优 势多于方案一，建议使用方案二。 3.4 方案特点 3.4.1 整合分中心 7台 windows 服务器，提高系统使用效率 通过虚拟化整合分 中心 7台 windows服务器，提高了服务器的平均利用率，服务器重建和应用加载 时间从小时级到分钟级，可按需自动进行动态资源调配，无中断的按需扩容，不 再担心旧系统的兼容性，维护和升级等一系列问题。 采用“3+1” （三套虚拟化 Vmware服务器+一套磁盘阵列）方式的集群系统， 充分利用主机资源,提高系统运行效率，同时使 RTO 时间最小化（应用恢复时间 最短），RPO为零（数据丢失量近似为零）。 3.4.2 极大提高 PACS 系统的响应时间及系统管理 采用 FileStor NAS 集群，4+1 架构，4 台服务器同时对外提供服务，解决了单台 PACS 服务器性能瓶颈，NAS 集群可满足多链路并行访问需求、负载均衡及排除单点故障。通过 CIFS 协议共 享，对于后端任意大小的存储容量，PACS 系统只需添加一个盘符即可，简化了 管理难度。 3.4.3 保证了容量和性能的需求 新购存储配置 105TB 容量，这样未来至少 5 年 内 PACS 的扩容，无需停机，也不会对业务应用产生任何影响，只需要插入磁盘 即可完成。 3.4.4 实现了 PACS 数据全生命周期管理的自动化 通过使用 Symantec 的 FileStor 产品，使最近几月的 PACS 数据直接使用 FC 高速盘，保证高性能；所 有的当天新增 PACS 数据自动归档到 SATA低速盘，省去每天数据备份的必要性。 磁带备份对 SATA低速盘上的数据进行季度备份。 3.4.5 医院信息化安全保护步入新境界 Symantec 的 FileStor 产品创建了几乎 近于无限的快照，把由于逻辑错误造成的数据丢失限制在秒级，无需预留空间。