IBM-存储-DS8000使用及维护手册-V1[1]0_图文

IBM-存储-DS8000使用及维护手册-V1[1]0_图文 DS8000使用及维护手册 ——VER 1.0 目录 第1章 IBM DS8000概述 ......................................................... 4 第2章 环境说明 ................................................................ 6 2.1 DS8000体积和重量参数 .............................................................. 6 2.2 DS8000机房环境要求 ................................................................ 7 2.3 DS8000机房电气要求 ................................................................ 7 2.4 DS8000 机房通讯要求 ................................................................ 8 2.5 DS8000 机房工作环境要求 ............................................................ 9 2.6 DS8000 机房安全性要求 .............................................................. 9 2.7 DS8000 装机前要求 .................................................................. 9 2.8 DS8000 现场环境CHECK LIST ........................................................... 9 2.9 DS8000 到货情况CHECK LIST .......................................................... 10 2.10 DS8000电源示意图和具体度量、连接 .............................................. 10 第3章 硬件说明 ................................................................ 13 3.1 IBM SYSTEM STORAGE DS8300............................................................ 14 3.2 DS8000 STORAGE ENCLOSURE CONNECTIVITY ................................................... 15 第4章 规划DS8000存储器的安装 .................................................... 16 4.1 公司信息 ......................................................................... 16 4.2 管理控制台网络设置................................................................ 17 4.3 远程支持设置 ..................................................................... 19 4.4 安装需求 ......................................................................... 23 4.5 磁盘大小规划与主机名规划 .......................................................... 24 第5章 DS8000 逻辑配置 ......................................................... 25 5.1 安装DSCLI ........................................................................ 25 5.2 激活DS8000 LICENSE ................................................................ 26 5.3 DS8000逻辑配置 ................................................................... 27 第6章 DS8000日常维护 ......................................................... 44 第7章 DS8300 存储规划 ......................................................... 46 7.1 IO卡规划......................................................................... 46 7.2 存储规划 ......................................................................... 47 第8章 SAN规划举例 ............................................................ 51 8.1 SAN与ZONE简介.................................................................... 51 8.2 关于光纤布线 ..................................................................... 53 8.3 ZONE的划分 ....................................................................... 53 8.4 SAN布线规划 ...................................................................... 54 第1章 IBM DS8000概述 IBM DS8000是为支持连续操作的高性能、高容量的磁盘存储器系列。DS8000系列的各型号(机器类型 2107)使用 IBM POWER5服务器技术，该技术与IBM Virtualization Engine 技术集成。DS8000系列的各型号由一个存储单元和一个或两个管理控制台组成。图形用户界面(GUI)或命令行界面(CLI)允许您对存储器进行逻辑分区并使用内置复制服务功能。为获取高可用性，硬件组件是冗余的。 DS8300(921 型) IBM DS8300(921型)提供了许多功能。这些功能包括: , 双重两路处理器复合体 , 最多 128个磁盘驱动器，最高容量达 384 TB , 处理器内存(高速缓存)最高达 128 GB , 最多有16个光纤通道,FICON或ESCON主机适配器 DS8300型号可以支持一个扩展机架。使用一个扩展机柜，可以将921型的容量扩展多达 384个磁盘驱动器，最高容量达 115.2TB 注:当订购一个转换为922型或9A2型的型号转换件时，IBM服务代表可以现场升级921型。 下图显示了921型的最高配置，该配置是921基本型号加上一个92E扩展型号。 第2章 环境说明 2.1 DS8000体积和重量参数 DS8000 外形尺寸: 高: 193 cm 宽: 84.7 cm 厚: 118.3cm DS8000 重量: 不含包装 含包装 DS8000 基本柜: 1189千克 (2107-921) 1309千克 (2107-921) 1248千克 (2107-922) 1368千克 (2107-922) 1248千克 (2107-9A2) 1368千克 (2107-9A2) DS8000 第一扩展柜: 1089千克 (2107-92E & 1209千克 (2107-92E & 2107-9AE) 2107-9AE) DS8000 第二扩展柜: 867千克 2.2 DS8000机房环境要求 , 机房内部机器布置应具有足够的操作空间并有可扩充性(见图): , 机房楼板承重应大于610KG/m^2。 , 机房高度要求地板至天棚距离大于2.7M，地面至地板距离为35CM。 , 因DS8000 外形尺寸比较大，建议机房具有货运通道，并确保安全通过;货运通道的倾斜 角度不得大于,,度: 2.3 DS8000机房电气要求 , 要求使用机房专用地， 对地电阻小于4 欧姆。 , 要求防静电地板电阻在150K欧姆至20000M欧姆。 , 要求UPS供电，具体指标如下: A) 两路三相供电。每路要求如下: , 3PHASE: FC9091: 330V-508V，25A , 频率:50 ? 3 or 60 ? 3.0 Hz , 三相电相序要求正确，并为DS8000 的两路电源使用独立的两个空气开关便于电 源线的连接及以后的管理，空开请选用30,35A。 , 零地之间的电压小于1V。 , 零线，地线连接正确。 B) 单相供电 , 200V-240V，频率:50 ? 3 or 60 ? 3.0 Hz , 尽管DS8000内部使用的控制台以及网络交换机均不需要额外外部供电，但我们建 议还是准备,个单相供电电源，以备工程师使用外部终端(如笔记本电脑等)进 行维护工作 , 各电源柜，电源线，开关标签明确。 , 功率、散热附表: 2.4 DS8000 机房通讯要求 机房至少要为DS8000配备专用的电话线和可以访问internet的网络线各一条，用于 DS8000远程诊断，以便于远程维护。 2.5 DS8000 机房工作环境要求 机房空调应使室温保持在22度左右，正负不超过2度。 相对湿度保持在45%(+5%-- -5%)。 2.6 DS8000 机房安全性要求 要求有防火、防水设备，备有紧急电闸、紧急出口，以及报警、监查设备和电话线路。 2.7 DS8000 装机前要求 , 如果机房地板承重不满足DS8000要求，需提前准备好支撑机架，底面积不小于3平 方米且上表面有钢板。 , 凡有台阶的地方，要准备足够承重的斜坡，斜坡斜度不得大于,,度。 , 地面及地下需要清洁。 , UPS电气性能稳定。 , 各机电源以及机房电工到位。 , 空调已正常运转两至三天。 , 消防设备到位。 , 地板通气孔到位 , DS8000 布线所需的一块打孔地板到位(孔的位置在地板边沿，面积约400CM^2)。 2.8 DS8000 现场环境Check List 现场环境 YES NO 机房是否有足够的空间 机房高度是否满足要求 机房地板承重是否足够 UPS 是否安装到位并正常运行 三相交流电源是否准备好 单相交流电源是否准备好 机房地线是否准备好 电源零线，地线电压是否小于1V 打孔地板是否到位 空调是否到位并运行正常 机架是否准备好 运输通道能否安全通过 是否有台阶并准备好足够承重的斜坡 DDD电话线以及网线是否准备好(远程支援用) 2.9 DS8000 到货情况Check List 到货情况 YES NO DS8000 主机是否到货, DS8000 其他附件是否到货(电缆等), 系统软件及升级软件是否到货, 2.10DS8000电源示意图和具体度量、连接方法 下图中(1)(2)为机器三相电的接头，(1)(2)最好各自独立供电。 (1) (2) 四条导线各有不同的颜色: , L1 (phase 1) = 黑色 , L2 (phase 2) = 蓝色 , L3 (phase 3) = 褐色 , PE (ground) = 绿/黄 注:这个接头的接法必须没有零线。 第3章 硬件说明 3.1 IBM System Storage DS8300 3.2 DS8000 storage enclosure connectivity 第4章 规划DS8000存储器的安装 在安装过程中，IBM会根据您在定制工作表中提供的信息来定制存储器复合体的安装。每次安装新的存储单元或管理控制台时，您必须完成定制工作表，然后IBM服务代表才能执行安装。 您能通过定制工作表为首次安装指定以下内容: , 公司信息 , 管理控制台网络设置 , 远程支持(包括回拨和远程服务设置) 重要:您必须完成存储单元或管理控制台的定制工作表，IBM服务代表才能安装存储单元或管理控制台。 4.1 公司信息 您可通过公司信息工作表指定任何公司信息，使IBM服务人员(或您的服务供应商)能够尽快联系您并且处理您的存储器复合体。 这些信息包含以下内容: , 一般公司信息，例如公司名称和电话号码 , 管理员联系信息 , 存储器复合体位置和调制解调器号码 必须对所有包含MC的安装完成该工作表。 公司信息工作表 您能通过该工作表来提供关于贵公司和管理员的基本信息以及一般系统信息。您能通过公司信息工作表来提供关于贵公司和管理员的基本信息以及一般系统信息。 工作表用途 IBM服务代表使用公司信息工作表上的信息来定制您的IBM存储器复合体。当您使用任何远程支持功能部件时，管理控制台(MC)会将这些信息发送到IBM，这样IBM服务代表会与您联系。 必须对所有包含MC的安装完成该工作表 项或设置 指示信息 您的信息 公司名称 提供贵公司的名称。IBM服务代表在接收到您的IBM存储 系统发出的回拨报告时会使用该信息来确定贵公司。 请 确保此处提供的公司名称与您的IBM客户帐户所对应的 所有其它机器相一致 客户号 提供IBM制定给贵公司的客户号 管理员信息 在以下部分中提供关于存储系统管理员的信息 管理员姓名 提供您所在地管理员的姓名 服务代表将就关于IBM存储 系统服务事项与其联系 管理员电子邮件地址 提供可以用来联系管理员的电子邮件地址 管理员电话号码 提供服务人员将用来联系存储系统管理员的主要电话号 码。包括区域代码和国家或地区代码(如果有的话) 备用电话号码 提供IBM服务代表可以用来联系存储系统管理员的备用 或轮休时的电话号码 包括区域代码和国家或地区代码 (如果有的话) 传真号码 提供IBM服务代表在必须将文档通过传真方式提供给存 储系统管理员时可以使用的主要传真号码。包括区域代码 和国家或地区代码(如果有的话) 备用传真号码 提供服务人员在必须将文档通过传真方式提供给存储系 统管理员时可以使用的备用传真号码。包括区域代码和国 家或地区代码如果有的话) 管理员邮寄地址 提供管理员的邮寄地址 请指定完整的地址 包括街道地 址、大楼(如果有的话)、市,区,县或地级区域、省, 直辖市以及邮政编码 存储系统信息 在以下部分提供关于存储系统和管理控制台(MC)的基本信息 系统位置 如果与管理员地址不同 请提供存储单元所在地的完整地 址 包括街道地址、大楼(如果有的话)、市,区,县或地 级区域、省,直辖市以及邮政编码 调制解调器号(MC1) 对于要利用拨入远程服务的第一个MC(请提供存储器复 合作中第一个MC的调制解调器电话号码 包括区域代码 和国家或地区代码(如果有的话) 4.2 管理控制台网络设置 您能通过管理控制台网络设置工作表来指定管理控制台(MC)的IP地址和LAN设置。 MC 网络设置包含以下内容: , MC网络标识 , 以大网设置(如果要将MC连接到LAN) , DNS设置(如果使用域名服务器来解析网络名称) , 路由(如果要指定缺省路由网关) 注:在存储器复合体已安装并运作之后，IBM将连接到您的LAN。 必须对所有包含MC的安装完成该工作表。 管理控制台网络设置工作表 您能通过该工作表来指定基本网络信息，例如管理控制台(MC)标识、以太网设置和DNS设置。 您能通过管理控制台(MC)网络设置工作表来指定基本网络信息，例如 MC标识、以太网设置和DNS设置。当存储单元通过VPN向IBM发送任何回拨信息或向您发送关于可服务事件的通知(使用SNMP陷价或电子邮件)时，这些设置将包含在信息中以确定并提供有关已发送了服务请求的MC的重要信息。 工作表用途 IBM服务代表将使用MC网络设置工作表上的信息来设定支持MC的网络设置。必须对所有包含MC的安装完成该工作表。 工作表和指示信息 注:MC1和MC2列中的粗体选项表示缺省设置。 项或设置 指示信息 MC1 MC2(如果有的话) MC名称(主机名) 提供要指定给MC工作站的控dsmcl 制台或主机名(例如dsmcl)。 控制台名称和域将用来向网络 标识MC 域名 提供要指定给 MC工作站的域 名 MC时间和时区 请选择使用本地时间和时东八区，北京时间 区(将MC设置为本地时间和时 区(MC实际所在地的时间和时 区)如果要使用其它时区，请 选择使用以下时区(并指定要 使用的时区(例如 中部欧洲时 间或美国太平洋时间) 以太网设置 如果MC连接到局域网，请完成以下部分 介质速度 选择自动或以太网适配器的介【 】 自动 【 】 自动 质速度。提示:如果选择自【 】 10 MB/s 【 】 10 MB/s 动(MC能够自动选择适合您配【 】 100 MB/s 【 】 100 MB/s 置的介质速度。 【 】 1000 MB/s 【 】 1000 MB/s 外接交换机或路由器选择在以太网网络设置中定义 方式 的方式 TCP/IP接口地址 提供要分配给MC的地址 TCP/IP接口网络掩码 提供要应用于TCP,IP地址的 网络掩码 DNS设置 如果计划使用域名服务器(DNS)来解析网络名，请完成此部分 名称服务(DNS)地址提供 MC作站将访问的名称服 1 务器的地 名称服务器域名1 提供名称服务器的域 名称服务(DNS)地址提供该工作站可以访问的第二 2(可选) 个名称服务器的地址 名称服务器域名2(可如果有第二个名称服务器(请 选) 提供第二个名称服务器的域名 路由设置 如果要为路由制定缺省网关，请完成以下部分 网关地址 提供网关的地址 4.3 远程支持设置 您能通过远程支持工作表来指定是需要拨出支持还是拨入(远程服务)远程支持。 IBM建议同时启用拨出和拨入支持，这样您能维持数据的最高可用性。 启用拨出支持时，管理控制台将在存储器复合体内发生问题时把电子回拨记录发送到IBM支持中心。在每个回拨记录的标题处会出现回拨密码。如果拨入远程服务也已启用，该密码使IBM服务代表能够远程登录到管理控制台来回应服务呼叫。如果启用了拨出支持，但是没有启用拨入远程服务支持，IBM服务代表必须亲自来到您的场所，对存储器复合体进行故障诊断和维护。 启用拨入远程服务后，服务代表可以远程执行服务任务。他们可以查看错误日志和问题日志，然后启动跟踪或转储检索。 必须对所有包含MC的安装完成该工作表。 远程支持工作表 您能通过这些工作表来指定拨出(回拨)Outbound (call home)和拨入(远程服务)Inbound (remote services)设置。您能通过远程支持工作表来指定有关拨出和拨入远程支持的各项设置。有两种远程支持工作表: , 拨出(回拨)工作表 , 拨入(远程服务)工作表 4.3.1 拨出(回拨)Outbound (call home)工作表 通过出站(回拨)工作表，您能指定IBM回拨功能的设置。 您能在该工作表中指定是否要启用IBM回拨功能，以及如果启用的话在IBM存储系统上如何设置它。 设置IBM 回拨功能使存储系统能够在系统识别出可服务事件时自动向IBM服务代表请求服务。 回拨功能可帮助您快速解决可服务事件，因为它将自动向IBM报告硬件问题，从而无需您的提醒IBM服务代表就能开始着手解决问题。 提示:如果要参与 Standby CaPacity On Demand计划，您必须设置回拨功能。工作表用途 IBM服务代表将使用拨出(回拨)工作表所提供的信息来定制您的存储系统使用或禁用回拨功能。 必须对所有包含MC的安装完成该工作表。 工作表和指示信息 注:MC1和MC2列中的粗体选项表示缺省设置。 项或设置 提示信息 MC1 MC2(如果有) 是否启用回拨功能 如果要IBM提供回拨功能，请【 】是 【 】是 选择是，然后选择回拨的方式。方式: 方式: (可以两种方式都选择)如果【 】通过调制解调【 】通过调制解调器 选择不启用IBM回拨功能，请器 【 】通过VPN 选择否，就完成了这张工作表 1【 】通过VPN 【 】否 【 】否 1 选择通过VPN表示在与IBM服务中心建立连接后允许MC通过因特网连接使用VPN 如 果使用VPN,MC必须有权通过您的因特网防火墙访问以下IP地址: ?IBM Boulder VPN 服务器:207.25.252.196 ?IBM Rochester VPN服务器:192.42.160.16 ?IBM Bouder测试 VPN服务器:207.25.252.198 您还必须启用对以下端口和的访问: ?端口 500 UDP ?端口 500 ESP ?端口 4500 UDP 调制解调器设置 如果要启用使用调制解调器的回拨功能(访完成以下部分: 调制解调器使用的选择该框表示本地调制解调器【v 】音频 【 】音频 拨号方式 使用音频拨号还是脉冲拨号 【 】脉冲 【 】脉冲 是否等待拨号音 如果MC调制解调器等到有拨号【v】是 【v】是 音后再拨号。请选择是，如果【 】否 【 】否 调制解调器不等到有拨号音就 拨号，请选择否 拨出前缀号 如果调制解调器拨外线时必须【 】前缀号: 【 】前缀号: 先拨前缀号，请选择前缀号并 _______ _______ 提供具体的前缀号，如果不需【 】不适用 【 】不适用 要前缀号，请选择不适用 Dump和Trace数据 请完成以下部分来指定如何将Dump或trace数据发送到IBM服务中心 Dump和Trace数据的如果您希望MC将回拨设置用于【 】使用回拨设置 【 】使用回拨设置 传递方法 Dump和Trace数据回拨的传输, 【 】使用FTP设置 【 】使用FTP设置 请选择使用回拨设置。如果您 希望将Dump和Trace数据直接 发送到IBM FTP数据资源库服 务器，则选择使用FTP(要使用 FTP，必须使MC 与LAN连接) 如果选择使用回拨设置，就已 完成了这张工作表。 是否使用FTP防火如果使用FTP进行Dump和【 】是 【 】是 墙, Trace数据回拨的传输，那么如【 】否 【 】否 果Dump和Trace数据文件要通 过用于过滤FTP流量的防火墙， 请选择是。如果没有FTP防火 墙过滤传输，请选择否。如果 选择是，请完成余下的工作表 项。如果选择否，就已完成了 这张工作表 FTP防火墙设置 如果使用FTP将Dump和trace数据文件发送到IBM服务中心并且转储和跟踪要通过FTP防火墙，请完成此部分工作表 【 】Proxy 【 】Proxy FTP防火墙类型 选择使用的防火墙类型 【 】Relay 【 】Relay FTP防火墙服务器提供FTP防火墙服务器的名称 (主机名) FTP防火墙用户名 提供用来跨FTP防火墙获得访 问权的用户名 FTP防火墙密码 提供用来跨FTP防火墙获得访 问权的密码 FTP防火墙密命令 提供用来跨FTP防火墙获得访 问权的命令 FTP防火墙端口 提供用来跨FTP防火墙获得访 问权的端口 4.3.2 拨入(远程服务)Inbound (remote services)工作表 您能通过拨入(远程服务)工作表来指定是否允许无人照管拨入远程服务以及允许无人照管会话时要使用哪些设置。 您能通过该工作表来指定是否允许授权IBM服务代表进行无人照管的拨入远程服务，以及允许无人照管会话的话要使用哪些设置。 注:如果在初始配置中选择不允许无人照管服务会话，但之后希望存储单元得到远程维护，就必须联系IBM服务代表，约定具体的时间。您可以将MC配置为暂时允许无人照管远程服务(指定起始和终止日期)，也可以指定现场人员手工启用服务代表的人站呼叫并且在服务会话过程中留在MC旁。 工作表用途 IBM服务代表将使用拨入远程服务工作表上的信息，将存储系统定制为允许或禁止授权IBM服务代表拨人您的MC然后启动无人照管会话来进行深人分析并解决可服务事件。 必须对所有包含MC的安装完成该工作表。 工作表和指示信息 注:MC1和MC2列中的粗体选项表示缺省设置。 项或设置 提示信息 MC1 MC2(如果有) 允许无人照管远程会 话吗, 无人照管远程会话设置(Unattended remote session settings) 如果在上面选择了是(允许无人照管远程会话)，请完成以下部分 远程服务方式 请选择一种方式来表示何时允 许无人照管会话，选择始终启用 表示支持任何时候的拨入远程 服务，选择自动表示支持在存储 器复合体发生故障后指定天数 内的拨入呼叫 自动方式的天数 如果选择了自动方式 请指定在存储器复合体发生任 何故障后的多少天内允许无人 照管服务会话 4.4 安装需求 除完成以上表格，另需要符合以下条件: , 机器定位完毕; , 380V电源就绪; , SAN交换机上电完毕，光纤布线完毕或使用临时光纤进行测试; , Remote Support所用的电话线、以太网就绪; 4.5 磁盘大小规划与主机名规划 IBM工程师将根据表为您的规划磁盘，并分配到相应的主机。 您能通过该主机名来指定与规划出的磁盘的对应关系，IBM工程师将按照该表将规划出的磁盘分配到相应主机。 磁盘与主机对应表 您能通过下面的工作表来指定主机与规划出的磁盘的对应关系 主机名 磁盘大小 所属VG 繁忙程度 主机FC卡归属 分行IT基础设施资源整合,技术组件项目文档 第5章 DS8000 逻辑配置 5.1 安装DSCLI 为提高配置的速度，建议大家划分DS8000采用DSCLI(DS Command Line Interface)，在笔记本上安装DSCLI后(执行命令setupwin32.exe)，修改其C:\Program Files\IBM\dscli\profile\ dscli.profile，如下: # Management Console/Node IP Address(es) # hmc1 and hmc2 are equivalent to -hmc1 and -hmc2 command # options. hmc1: 172.16.0.1 #hmc2: 127.0.0.1 # # Default target Storage Image ID # "devid" and "remotedevid" are equivalent to # "-dev storage_image_ID" and "-remotedev storeage_image_ID" # command options, respectively. devid: IBM.2107-7523201 # locale # Default locale is based on user environment. locale: en 其中hmc1为DS8000的HMC地址，此处为HMC缺省IP172.16.0.1; devid为DS8000的storage facility image ID，为IBM.2107-7523201。 请取消关于语言的default定义，缺省是用户自己的语言环境(前面有,注释)，请最好改成英文，这样我们copy给support时比较好。 Notes: 1、关于DSCLI版本，请大家使用你所配置的DS8K微码对应的DSCLI版本，DSCLI版本之间互不兼容，即便你发现高版本可以管理低版本的DS8K，IBM Lab不保证版本之间的兼容性。 2、关于devid，任何一台DS8K的序列号均以0结尾，对于2107-9A2，devid的为75-xxxx1和75-xxxx2，对于2107-921/922，devid永远为75-xxxx1;在profile中输入devid后，在以后的命令行以及脚步本便可以不再写devid了。 3、请把笔记本连接到DS8K内部的交换机中的上面的一台，即黑色网线相连的交换机。 打开IE浏览器，打开如下网址: :8452/DS8000/Console 缺省用户已经密码为admin/admin，登陆后，系统将提示密码超期，请更改密码，建议使用密码passw0rd。 安装DSCLI后，将在桌面上创建DSCLI的图标，双击该图标后，再次键入dscli可以进 中国建设银行信息技术管理部SFB项目组 分行IT基础设施资源整合,技术组件项目文档 入dscli交互式命令行。 Notes:请注意不要在24小时内3次输入错误的用户密码，3次的错误输入将导致该用户的帐户被锁。 I advise you run below command to disable 3 times lock pwd function: chpass -expire 0 -fail 0 5.2 激活DS8000 License 在配置DS8K之前，需要激活DS8K的license，如下方法: 1. 获取 Signature (该步骤现在可以忽略) dscli> showsi -fullid IBM.2107-75BCYY1 Date/Time: 2006年2月6日 上午10时26分56秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.21 07-75xxxx1 Name - desc - ID IBM.2107-75xxxx1 Storage Unit IBM.2107-75xxxx0 Model 9xx WWNN 5005076304FFC1C0 Signature fb78-de56-4e89-e46b State Online ESSNet Enabled Volume Group IBM.2107-75xxxx1/V0 os400Serial - dscli> 2. 通过DS8000序列号和刚才取得的signature去以下网站拿capacity的license key，文 件例如:2107_75BBY00.xml ://www-306.ibm.com/storage/dsfa/index.jsp 在DS8000中增加在上面一步中取得的license 3. dscli> applykey –file c:\xxxxkeys.xml IBM.2107-75xxxx1 也可以使用GUI界面输入该key: 打开如下网页::8452/DS8000/Console In the navigation panel, select, in order, Real-time Manager, Manage Hardware, and Storage images. In Storage images — Main Page, select a Storage image. Then select Apply activation codes in the Select Action drop-down list. Then click Go. The Apply activation codes page is displayed 4. 查看license状态，查看刚才输入的license是否生效(下面为示例，红色行注意应为 100ALL就对了) dscli> lskey IBM.2107-75xxxx1 分行IT基础设施资源整合,技术组件项目文档 Date/Time: 2006年1月26日 下午02时08分47秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.2 107-75xxxx1 Activation Key Capacity (TB) Storage Type ================================================= Operating Environment 100 All 5.3 DS8000逻辑配置 一般我们采用一对一的方法配置DS8K，即arraysite->array->rank->extpool (Sxx,Axx,Rxx,Pxx)的形式，如下: 因此逻辑配置的步骤如下: 1. 创建array 2. 创建rank 分行IT基础设施资源整合,技术组件项目文档 3. 创建extend pool 4. 将rank加入到相应的extend pool 5. 创建LUN 6. 创建volume group 7. 将LUN加入到需要的volume group中 8. 创建host connection(将LUN，host connection加入到volume group) 9. 主机端安装SDD软件，识别vpath。 5.3.1 列出arraysite 命令:lsarraysite Arraysite为IBM工厂预定义的，每8块盘为1个arraysite，不需要我们配置。 关于你所配置的DS8K中的arraysite数目，可以用机器中的盘数目除以8即可;也可以查已 经的IR，找到类似如下的描述: 2107 922 75BCYY0 2116 8 A 146 GB 10K DRIVE SET 其中每个driver set中有16块DDM，构成2个arraysite。 命令输出结果如: dscli> lsarraysite Date/Time: Feb. 9, 2006 2:57:27 PM EDT IBM DSCLI Version: 5.1.0.297 DS: IBM.2107-75xxxx1 arsite DA Pair dkcap (10^9B) diskrpm State Array =================================================== S1 2 146.0 10000 Unassigned - S2 2 146.0 10000 Unassigned - S3 2 146.0 10000 Unassigned - S4 2 146.0 10000 Unassigned - S5 2 146.0 10000 Unassigned - S6 2 146.0 10000 Unassigned - S7 2 146.0 10000 Unassigned - S8 2 146.0 10000 Unassigned - S9 0 146.0 10000 Unassigned - S10 0 146.0 10000 Unassigned - S11 0 146.0 10000 Unassigned - S12 0 146.0 10000 Unassigned - S13 0 146.0 10000 Unassigned - S14 0 146.0 10000 Unassigned - S15 0 146.0 10000 Unassigned - S16 0 146.0 10000 Unassigned - 稍后将详细介绍DA pair 5.3.2 创建Array 命令格式如下: mkarray [-dev storage_image_ID] -raidtype 5|10 -arsite Array_site 分行IT基础设施资源整合,技术组件项目文档 如:(创建raid10) dscli>mkarray -raidtype 10 -arsite S1 dscli>mkarray -raidtype 10 -arsite S2 命令结果如: dscli> lsarray Date/Time: 2006年1月26日 下午02时21分28秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.2 107-75xxxx1 Array State Data RAIDtype arsite Rank DA Pair DDMcap (10^9B) ====================================================================== A0 Unassigned Normal 10 (3x2+2S) S1 - 2 73.0 A1 Unassigned Normal 10 (4x2) S2 - 2 73.0 A2 Unassigned Normal 10 (3x2+2S) S3 - 2 73.0 A3 Unassigned Normal 10 (4x2) S4 - 2 73.0 A4 Unassigned Normal 10 (4x2) S5 - 2 73.0 A5 Unassigned Normal 10 (4x2) S6 - 2 73.0 A6 Unassigned Normal 10 (4x2) S7 - 2 73.0 A7 Unassigned Normal 10 (4x2) S8 - 2 73.0 A8 Unassigned Normal 10 (3x2+2S) S9 - 0 73.0 A9 Unassigned Normal 10 (4x2) S10 - 0 73.0 A10 Unassigned Normal 10 (3x2+2S) S11 - 0 73.0 A11 Unassigned Normal 10 (4x2) S12 - 0 73.0 A12 Unassigned Normal 10 (4x2) S13 - 0 73.0 A13 Unassigned Normal 10 (4x2) S14 - 0 73.0 „ 下面将详细介绍上面的输出结果中的RAID type与DA Pair: 下面的图是关于2107的各种型号的Disk Enclosures与DA之间的关系。 分行IT基础设施资源整合,技术组件项目文档 分行IT基础设施资源整合,技术组件项目文档 在后续的章节中，我们在创建LUN并将其分配到主机时，需要考虑LUN在DA pair中的均衡问题。 关于RAID type，在每个DA pair中，要有4个Hot Spare盘。对于RAID10，每个Arraysite对应的array将提供2个Hot Spare;对于RAID5，最先创建的RAID5，将分别提供一个Hot Spare盘。 5.3.3 创建RANK 命令格式如下: mkrank [-dev storage_image_ID] -array array_ID -stgtype fb|ckd 如: mkrank -array A0 -stgtype fb mkrank -array A1 -stgtype fb 5.3.4 创建Extend Pool 命令格式如下: Usage: mkextpool [-dev storage_image_ID] -rankgrp 0|1 -stgtype fb|ckd Extent_pool_name 如: mkextpool -rankgrp 0 -stgtype fb ext_pool0 mkextpool -rankgrp 1 -stgtype fb ext_pool1 mkextpool -rankgrp 0 -stgtype fb ext_pool2 mkextpool -rankgrp 1 -stgtype fb ext_pool3 分行IT基础设施资源整合,技术组件项目文档 关于:rankgrp 0 | 1 Assigns the extent pool to either rank group 0 or 1. Rank group 0 is managed by server 0, and rank group 1 is managed by server 1. 所以在创建extend pool时，为了保证在server(controller)这一层上的负载均衡，请交 错使用0、1，如上面的例子。 关于:stgtype fb|ckd 对于open system，使用类型fb，ckd是给S390使用的。 关于:Extend_pool_name 该名字是别名，只是为了我们之间知道该pool是干什么的就可以，在所有的命令行中，我们 只能使用ID，而不能使用别名。 命令执行后如下: dscli> lsextpool Date/Time: 2006年2月10日 下午03时17分56秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.2107-75xxxx1 Name ID stgtype rankgrp status availstor (2^30B) %allocated available reserved numvols ================================================================================= ext_pool0 P0 fb 0 below 0 100 0 0 0 ext_pool1 P1 fb 1 below 0 100 0 0 0 ext_pool2 P2 fb 0 below 0 100 0 0 0 ext_pool3 P3 fb 1 below 0 100 0 0 0 ext_pool4 P4 fb 0 below 0 100 0 0 0 ext_pool5 P5 fb 1 below 0 100 0 0 0 ext_pool6 P6 fb 0 below 0 100 0 0 0 ext_pool7 P7 fb 1 below 0 100 0 0 0 ext_pool8 P8 fb 0 below 0 100 0 0 0 5.3.5 将rank加入到相应的extend pool 请务必等待RANK的状态变成'Unassigned'， Issue "lsrank " to get the rank status. 如下: dscli> lsrank Date/Time: 2006年1月26日 下午02时30分51秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.2 107-75xxxx1 ID Group State datastate Array RAIDtype extpoolID stgtype ========================================================================== R0 - Unassigned Normal A0 10 - fb R1 - Unassigned Normal A1 10 - fb R2 - Unassigned Normal A2 10 - fb R3 - Unassigned Normal A3 10 - fb R4 - Unassigned Normal A4 10 - fb 分行IT基础设施资源整合,技术组件项目文档 R5 - Configuring Normal A5 10 - fb R6 - Configuration Pending Normal A6 10 - fb R7 - Configuration Pending Normal A7 10 - fb R8 - Configuration Pending Normal A8 10 - fb R9 - Configuration Pending Normal A9 10 - fb R10 - Configuration Pending Normal A10 10 - fb 上面的例子中R0,R4的状态为Unassigned，R5正在被配置，R6,R10的状态是Pending，我 们需要等待所有的rank的状态为Unassigned，才能进行下一步配置。 当所有的RANK的状态变成'Unassigned'后，进行如下步骤: 命令格式如下: Usage: chrank [-dev storage_image_ID] [-extpool extentpool_ID] Rank_ID ... 如: chrank -extpool P0 R0 chrank -extpool P1 R1 命令执行完毕后，如下: dscli> lsrank Date/Time: 2006年1月26日 下午02时57分58秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.2 107-7500191 ID Group State datastate Array RAIDtype extpoolID stgtype =========================================================== R0 0 Normal Normal A0 10 P0 fb R1 1 Normal Normal A1 10 P1 fb R2 0 Normal Normal A2 10 P2 fb R3 1 Normal Normal A3 10 P3 fb R4 0 Normal Normal A4 10 P4 fb R5 1 Normal Normal A5 10 P5 fb R6 0 Normal Normal A6 10 P6 fb R7 1 Normal Normal A7 10 P7 fb R8 0 Normal Normal A8 10 P8 fb 上面可以看出，R0对应于A0，R0属于P0。 请注意:pool ID为偶数的extend pool归server 0管理，pool ID为奇数的extend pool 归server 1管理。 5.3.6 创建LUN 关于LUN的大小，因为任何的LUN都是虚拟在raid上的，所以对单个的LUN来讲，LUN大小 与性能没有直接的联系，但是要考虑一下两个方面: 1、LUN不能太大。太大的LUN将导致客户的数据过分的集中在单一的RAID中，形成瓶颈。 2、LUN不能太小。太小的LUN将导致host端的hdisk过多，容易引起HACMP切换失败。 一般来讲取70,120左右的值，将RAID中空间分完即可，为了方便，取整数即可。 分行IT基础设施资源整合,技术组件项目文档 关于每个Array的大小，当RANK加入到extend pool后，可以用lsextpool找到raid大小， 如: dscli>lsextpool Date/Time: 2006年1月21日 下午03时10分27秒 IBM DSCLI Version: 5.0.3.134 DS: IBM.2107-75xxxx1 Name ID stgtype rankgrp availstor (2^30B) availext reservedextents numvols ============================== ================================== ext_pool0 P0 fb 0 388 388 0 0 ext_pool1 P1 fb 1 388 388 0 0 ext_pool2 P2 fb 0 388 388 0 0 ext_pool3 P3 fb 1 388 388 0 0 ext_pool4 P4 fb 0 452 452 0 0 ext_pool5 P5 fb 1 452 452 0 0 如果无法运行上述命令，请参考下面的值做规划: 72GB RAID: 7+P=452GiB(AIX see) 6+P+S=388GiB 3X2+2S=193GiB 4X2=258GiB 7+P=909GiB(AIX see) 146GB RAID: 6+P+S=779GiB 3X2+2S=388GiB 4X2=519GiB 300GB RAID: 7+P=1844GiB 6+P+S=1582GiB 3X2+2S=790GiB 4X2=1054GiB 30GiB: DS8000 Extents are defined in binary Gigabytes (GiB: 2 bytes) 9GB: Normal volumes are defined in decimal Gigabytes (GB: 10 bytes) 因为DS8K使用的是GiB来定义LUN的大小，因此，主机上可以使用的hdisk大小就是该GiB 值，不用再除以1024*1024*1024。但是如果该DS8K要与ESS800做copy service，我们必须 定义DS8K的LUN格式为ESS格式，缺省格式DS格式，详见mkfbvol命令。 创建LUN的命令格式如下: mkfbvol [-dev storage_image_ID] -extpool extentpool_ID [-cap capacity] [-type blocks|ess|ds] [-name volume_name] Volume_ID 如: mkfbvol -extpool P0 -cap 97 –name fb_vol_#h 2000-2007 mkfbvol -extpool P1 -cap 97 –name fb_vol_#h 2100-2107 分行IT基础设施资源整合,技术组件项目文档 第一条命令将在extend pool 0(P0)中创建8个大小为97GiB的LUN，其LUN ID分别为2000，2001，2002，2003，2004，2005，2006，2007，LUN的别名为fb_vol_2000，fb_vol_2001，fb_vol_2002，fb_vol_2003„.. fb_vol_2007。 关于volume_name，你可以使用方便识别的名字，如BI_vol_xxxx，DB_vol_xxx。 关于capacity，最小值为1GiB，可以取1,array size中间任何一个整数值。 关于LUN ID: LUN ID的格式为xyzz (x=address group, xy=LSS, zz=volume ID)，为16进制，我们可以使用的LUN ID范围如下: 其中: x为DS8K address group，可以使用的值为0,F。一般我们把0预留给S390，open平台可 以使用其余的值，如果微码版本比较低，请先使用0,7。 xy为LSS的ID，使用范围为00,FF，比如我们使用address group 2，则我们可以使用的 LSS ID为20，21，22，23，,2E，共16个LSS。请注意LSS ID中的Y决定该LSS有那 个server来管理，即Y为偶数的LSS(及所含的LUN归server 0管理，Y为奇数的LSS (及所含的LUN)归server 1管理。 关于在HP平台上LUN ID的选择: Due to limitations in the host operating system, LUNs greater than x'3FFF' are not supported. When you create or assign LUNs and volumes, only LUN and volume IDs less than x'3FFF' are supported. This limits the maximum number of volumes that are allowed for HP host types to 16384 请不要分配LUN ID大于3FFF，否则HP将无法识别。 关于LSS的选择: 如果客户的系统没有PPRC/flashcopy、将来也不会购买这些功能，我们可以随意的选择LSS ID，但是如果需要考虑这些功能的情况下，建议尽量减少LSS的使用量。在copy service情况下，总是需要执行freeze/unfreeze，LSS pair越多，需要执行的mkpprcpath命令也越多，对数据库的consistent不利。有可能的情况下，对于一套独立的应用，使用2个LSS即可，一个给sever0管理，另外一个给server1管理。 zz为volume ID，从00,FF，共256个。 在DSCLI的LUN创建中，需要我们指定LUN的ID，请按照上述方法指定ID即可。一般情况下，为了方便管理，我们对相同应用所分配的LUN的取相同的LSS ID。最好每一个LSS对应一个RANK(Array)，如下图: 分行IT基础设施资源整合,技术组件项目文档 mkfbvol的命令执行后，在DSCLI端马上就会返回如: CMUC00025I mkfbvol: FB volume 2000 successfully created. CMUC00025I mkfbvol: FB volume 2001 successfully created 此时DS8K开始从后台对LUN进行格式化，会发现DDM开始快速闪烁。此时你如果将LUN分配到下面将描述的volume group中，并建立host connection，在AIX端便可以识别到这些LUN。但个人不建议此时立即开始进行读写访问，这样会使LUN格式化的速度降低。 当DDM的灯不再连续、快速的闪烁时，LUN格式化完毕。 5.3.7 创建volume group Volume Group: 通过volume group管理对DS8K上LUN的访问，即LUN masking。要完成LUN masking必须包含如下要素:主机端的FC卡的WWPN，通过DS8K哪一个HBA port，访问哪一个volume group(volume group中包含LUN)，如下图所示: pSeries2pSeries1 FC Port SAN HBA Port DS8K Volume Group 1 LUN 1111 对应LUN masking，在DSCLI中可以使用一条命令完成。 在双机环境中，要完成LUN的共享，可以通过如下两种方法完成: – Place hosts in separate volume groups and shared volumes in multiple 分行IT基础设施资源整合,技术组件项目文档 volume groups – Place shared volumes and multiple hosts in single volume group 如果要求部分的LUN共享，部分的LUN不共享，我们可以使用第一种方法: 创建两个volgrp，把需要共享的LUN分别加入到这两个volgrp中，不需要共享的LUN只加入到自己对应的volgrp中即可。(LUN可以被多个volgrp共享) 第二种方法比较简单，对于一般要求全部共享LUN的情况，使用第二种方法即可。 按照下列方法创建volume group: 命令格式如下: mkvolgrp [ -type scsimask|scsimap256|os400mask ] [-dev storage_image_ID] Volume_Group_Name 关于-type，一般我们使用scsimask，可以包含64K个LUN; 关于Volume_Group_Name，该名字是别名，只是方便识别的标识，在其他命令行中不能引用，只能引用volume group的ID。 请在下面的描述中找到你的系统应该使用的volgrp类型: dscli> lshosttype -type scsimask Date/Time: 27 October 2005 23:13:50 IBM DSCLI Version: 5.1.0.204 HostType Profile AddrDiscovery LBS ================================================== Hp HP - HP/UX reportLUN 512 SVC San Volume Controller reportLUN 512 SanFsAIX IBM pSeries - AIX/SanFS reportLUN 512 pSeries IBM pSeries - AIX reportLUN 512 zLinux IBM zSeries - zLinux reportLUN 512 dscli> lshosttype -type scsimap256 Date/Time: 27 October 2005 23:13:58 IBM DSCLI Version: 5.1.0.204 HostType Profile AddrDiscovery LBS ===================================================== AMDLinuxRHEL AMD - Linux RHEL LUNPolling 512 AMDLinuxSuse AMD - Linux Suse LUNPolling 512 AppleOSX Apple - OSX LUNPolling 512 Fujitsu Fujitsu - Solaris LUNPolling 512 HpTru64 HP - Tru64 LUNPolling 512 HpVms HP - Open VMS LUNPolling 512 LinuxDT Intel - Linux Desktop LUNPolling 512 LinuxRF Intel - Linux Red Flag LUNPolling 512 LinuxRHEL Intel - Linux RHEL LUNPolling 512 LinuxSuse Intel - Linux Suse LUNPolling 512 分行IT基础设施资源整合,技术组件项目文档 Novell Novell LUNPolling 512 SGI SGI - IRIX LUNPolling 512 SanFsLinux - Linux/SanFS LUNPolling 512 Sun SUN - Solaris LUNPolling 512 VMWare VMWare LUNPolling 512 Win2000 Intel - Windows 2000 LUNPolling 512 Win2003 Intel - Windows 2003 LUNPolling 512 iLinux IBM iSeries - iLinux LUNPolling 512 pLinux IBM pSeries - pLinux LUNPolling 512 ===================================================== 例如:mkvolgrp -type scsimask data_dbsvg1 命令执行成功后，结果如下: dscli> lsvolgrp Date/Time: June 13, 2005 5:34:56 PM CST IBM DSCLI Version: 5.0.3.134 DS: IBM.2107-75xxx1 Name ID Type ======================================= data_dbsvg1 V0 SCSI Mask All CKD V10 FICON/ESCON All All Fixed Block-512 V20 SCSI All All Fixed Block-520 V30 OS400 All 上面除data_dbsvg1以外的volgrp为系统自定义的。 5.3.8 将LUN加入到需要的volume group中 命令格式如下: chvolgrp [-dev storage_image_ID] [-name new_Volume_Group_name] [-ac tion add|remove|replace] [-volume volume] Volume_Group_ID 如: chvolgrp -action add -volume 1400,1402,1409 v0 在ESS中，我们是不能单独删除LUN的，但是在DS8000中，我们可以方便的将LUN删除，而不需要格式化RANK，使用上面的参数-remove即可。 5.3.9 创建host connection 命令格式如下: mkhostconnect [-dev storage_image_ID] -wwname wwpn [-profile "port_profile_name"] [-hosttype hostType] [-volgrp volume_group_ID] [-ioport port_ID[,...]|all|none] Host_name 关于-profile "port_profile_name" 和-hosttype hostType，这两个参数只使用其中一个即可，你可以使用lsportprof列出DS8K支持的profile类型;或者使用lshosttype列出DS8K 分行IT基础设施资源整合,技术组件项目文档 支持的host type。 需要说明的是，一个host connection只能给一个volgrp使用。 关于-ioport port_ID，下图是DS8K的IO port ID: I0000I0000I0010I0030I0040I0010I0030I0040I0100I0100I0110I0130I0140I0110I0130I0140I0001I0001I0011I0031I0041I0011I0031I0041I0101I0101I0111I0131I0141I0111I0131I0141I0002I0002I0012I0032I0042I0012I0032I0042I0102I0102I0112I0132I0142I0112I0132I0142I0003I0003I0013I0033I0043I0013I0033I0043I0103I0103I0113I0133I0143I0113I0133I0143Slot 0Slot 1Slot 3Slot 5Slot 0Slot 1Slot 3Slot 5Slot 2Slot 2Slot 4Slot 4Slot 0Slot 1Slot 3Slot 5Slot 0Slot 1Slot 3Slot 5Slot 2Slot 2Slot 4Slot 4 Enclosure 0Enclosure 0Enclosure 1Enclosure 1I0200I0200I0210I0230I0240I0210I0230I0240I0300I0300I0310I0330I0340I0310I0330I0340I0201I0201I0211I0231I0241I0211I0231I0241I0301I0301I0311I0331I0341I0311I0331I0341I0202I0202I0212I0232I0242I0212I0232I0242I0302I0302I0312I0332I0342I0312I0332I0342I0203I0203I0213I0233I0243I0213I0233I0243I0303I0303I0313I0333I0343I0313I0333I0343Slot 0Slot 1Slot 3Slot 5Slot 0Slot 1Slot 3Slot 5Slot 2Slot 2Slot 4Slot 4Slot 0Slot 1Slot 3Slot 5Slot 0Slot 1Slot 3Slot 5Slot 2Slot 2Slot 4Slot 4 Enclosure 2Enclosure 2Enclosure 3Enclosure 3 Note : A port ID is letter I + EEAP EE is an I/O port enclosure number (00~17) A is the adapter number (0,1,3,4) P is the port number (0 ~ 3) 不同配置的DS8K所配置的HBA卡数目不同，请参照你所配置机器的实际数目定义你所需要的IO port。可使用命令lsioport查看机器上的port ID。 因为我们通过mkhostconnect完成LUN masking，因此我们必须了解我们需要通过什么哪些IO port才是合理的，满足冗余、流量的要求。 分行IT基础设施资源整合,技术组件项目文档 pSeries1pSeries2 Zone SAN1SAN2 XI1XI2 DS8K IO EnclosureXI3XI4 有的pSeries主机配置的FC卡较多，比如16块，而同时，DS8K也有至少16个IO port，如何才能更好的使用这些卡，保持每个vpath对应的hdisk为4个，将非常重要。 我们可以将这些卡分为几组，形成我们比较经典的形式即可;比如上图，我们将每块主机的FC卡与DS8K的一个端口绑定在一个zone中，则该FC卡只可以看到该zone中的DS8K IO port;对于在DS8K内部的要assign给这台pSeries主机的LUN，我们可以将他们添加到一个volume group中，将这条链路加到该 volume group中即可，则对于上图的volume group，可以有4条链路，共8GB的带宽。 对于DS8K上的HBA卡，其上面两个在一个芯片上，下面的两个端口在另外一个芯片上;因此，我们在使用时候，应该尽量将IO分布在两个独立的芯片上，以达到最大的负载均衡，即优先使用IO port0、2，之后再使用1、3如下图: 如果客户的主机较多，SAN的端口也充足，对IO带宽的要求很高，我们可以使用尽可能多的DS8K的IO port以满足要求。 在使用IO port之前，我们要对其进行配置，一般情况下，我们都是连接到SAN switch上，要将其port属性改成scsi-fcp的，可选的连接形式为:fc-al 、scsi-fcp 和ficon。更改IO port的命令为setioport，命令格式如下: 分行IT基础设施资源整合,技术组件项目文档 setioport [-dev storage_image_ID] [-topology fc-al|scsi-fcp|ficon] Port_ID 如: dscli> setioport -topology scsi-fcp I0030 I0031 I0032 I0033 该命令执行前: dscli> lsioport Date/Time: 2006年2月10日 上午01时10分56秒 IBM DSCLI Version: 5.1.0.297 DS: IBM. 107-75BCYY1 ID WWPN State Type topo portgrp ============================================================ I0030 50050763040301C0 Offline Fibre Channel-SW - 0 I0031 50050763040341C0 Offline Fibre Channel-SW - 0 I0032 50050763040381C0 Offline Fibre Channel-SW - 0 I0033 500507630403C1C0 Offline Fibre Channel-SW - 0 执行后: dscli> lsioport Date/Time: 2006年1月26日 下午03时27分59秒 IBM DSCLI Version: 5.1.0.297 DS: IBM.2 107-7500191 ID WWPN State Type topo portgrp =============================================================== I0030 50050763030305C6 Online Fibre Channel-SW SCSI-FCP 0 I0031 50050763030345C6 Online Fibre Channel-SW SCSI-FCP 0 I0032 50050763030385C6 Online Fibre Channel-SW SCSI-FCP 0 I0033 500507630303C5C6 Online Fibre Channel-SW SCSI-FCP 0 关于Host_name，是给这个链路起的名字，以方便识别。 建立host connection的命令如: mkhostconnect -wwname 10000000C9428122 -profile "IBM pSeries - AIX" -volgrp v0 -ioport i0010 p595-2-fcs0 mkhostconnect -wwname 10000000C94027C6 -profile "IBM pSeries - AIX" -volgrp v0 -ioport i0200,i0300,i0032,i0102 p595-1-fcs8 命令的输出结果如: dscli> lshostconnect Date/Time: June 13, 2005 5:35:37 PM CST IBM DSCLI Version: 5.0.3.134 DS: IBM.2107-7523201 Name ID WWPN HostType Profile portgrp volgrpID ESSIOport ===============================================================================p595-2-fcs0 0000 10000000C9428122 - IBM pSeries - AIX 0 V0 I0010 p595-1-fcs8 0001 10000000C94027C6 - IBM pSeries - AIX 0 V0 I0032, I0200,I0300,I0102 分行IT基础设施资源整合,技术组件项目文档 5.3.10 用脚本执行命令 上面所有的命令可以事先写在脚本中，用脚本执行。 双击桌面上的DSCLI图标，进入DSCLI的界面，可以在此执行写好的脚本，如下: dscli -script f:\sh.txt -user admin -passwd passw0rd >>output.log 其中f:\sh.txt为脚本，我们把命令的输出追加到output.log，以便于排查错误。 下面是脚本的范例，共参考: mkarray -raidtype 5 -arsite S1 mkarray -raidtype 5 -arsite S2 mkarray -raidtype 5 -arsite S3 mkarray -raidtype 5 -arsite S4 mkarray -raidtype 5 -arsite S5 mkarray -raidtype 5 -arsite S6 mkarray -raidtype 5 -arsite S7 mkarray -raidtype 5 -arsite S8 mkrank -array A0 -stgtype fb mkrank -array A1 -stgtype fb mkrank -array A2 -stgtype fb mkrank -array A3 -stgtype fb mkrank -array A4 -stgtype fb mkrank -array A5 -stgtype fb mkrank -array A6 -stgtype fb mkrank -array A7 -stgtype fb mkextpool -rankgrp 0 -stgtype fb ext_pool0 mkextpool -rankgrp 1 -stgtype fb ext_pool1 mkextpool -rankgrp 0 -stgtype fb ext_pool2 mkextpool -rankgrp 1 -stgtype fb ext_pool3 mkextpool -rankgrp 0 -stgtype fb ext_pool4 mkextpool -rankgrp 1 -stgtype fb ext_pool5 mkextpool -rankgrp 0 -stgtype fb ext_pool6 mkextpool -rankgrp 1 -stgtype fb ext_pool7 当所有的RANK的状态变成'Unassigned'后，进行如下步骤,请分成两个脚本执行。 chrank -extpool P0 R0 chrank -extpool P1 R1 chrank -extpool P2 R2 chrank -extpool P3 R3 chrank -extpool P4 R4 chrank -extpool P5 R5 chrank -extpool P6 R6 chrank -extpool P7 R7 mkfbvol -extpool P0 -cap 97 -name fb_vol_#h 2000-2007 mkfbvol -extpool P1 -cap 97 -name fb_vol_#h 2100-2107 mkfbvol -extpool P2 -cap 97 -name fb_vol_#h 2200-2207 分行IT基础设施资源整合,技术组件项目文档 mkfbvol -extpool P3 -cap 97 -name fb_vol_#h 2300-2307 mkfbvol -extpool P5 -cap 101 -name fb_vol_#h 1100-1108 mkfbvol -extpool P6 -cap 101 -name fb_vol_#h 1200-1208 mkfbvol -extpool P7 -cap 101 -name fb_vol_#h 1300-1308 建议创建完LUN后的命令在DSCLI提示符下运行，命令重复的地方不多，执行脚本并不 省时间。 5.3.11 主机端安装SDD软件，识别vpath 需要安装的软件如下: devices.fcp.disk.ibm.rte (device driver or just ODM PuAt installer for DS8K, DS6K, the current verion is 1.0.0.2) devices.sdd.52.rte ( SDD 1.6.0.0 for 2107 and 1750 ) devices.sdd.52.1.6.0.2.rte ( SDD 1.6.0.5 update for 2107 and 1750 ) 安装成功后，reboot机器后，便可以在主机端识别从DS8K上assign给该主机的LUN了。 Set the LTG size to 256 KB for a DS8000. The LTG size is the maximum I/O size that will be issued from the LVM layer of the I/O stack. It must be less than or equal to the maximum I/O size the DDMs in the DS8000 will support, which is 256 KB and can be determined with the command, lquerypv -M vpath20. The LTG size can be changed with the chvg -L 256 vgname command. More on LTG in , “Striped logical volumes” on page 301. With AIX 5.3, the LTG size is automatically set. We recommend the use of either Big or Scalable volume groups, as these avoid issues with LVCBs. One can create logical volumes without LVCBs on Big volume groups via the mklv -T O flag, and for scalable volume groups the LVCBs do not exist on the logical volume. When LVCBs exist on a logical volume, they occupy the first 512 bytes of the logical volume and can cause I/Os to span physical volumes due to this offset. This in turn affects the atomicity properties of applications (i.e., when a application expects that a I/O will be completely done or not done at all) as an application I/O may then span two physical volumes in a volume group and only one of the physical I/Os may complete during a system crash. 分行IT基础设施资源整合,技术组件项目文档 第6章 DS8000日常维护 C:\Program Files\ibm\dscli>dscli Enter your username: admin Enter your password:passw0rd Date/Time: June 13, 2005 5:34:15 PM CST IBM DSCLI Version: 5.0.3.134 DS: IBM.2107-7523201 dscli> lssi dscli> lsarray (看RAID级别，从中选出RAID5或RAID10的RANK) dscli> lsrank dscli> lsextpool dscli> lsfbvol -l (列出所有的volume，即LUNs) dscli> lsvolgrp (列出所有的volume group) dscli> lsioport (列出所有的HBA 端口) dscli> lshostconnect (列出主机信息) dscli> lsarraysite dscli> lsuser dscli> showvolgrp v0 dscli> showvolgrp v1 dscli> showvolgrp v2 dscli> showvolgrp v3 dscli> showvolgrp v4 日常工作中将LUNs 映射给某一台主机，只要执行类似于下列命令: chvolgrp -action add -volume 1708,1806 v16 -volume 1708,1806是volume ID， v16是volume group的名称 举一个例子: 1) 创建Volume Group: mkvolgrp -type scsimask pekax019 2) 将LUN加入到需要的volume group中: chvolgrp -action add -volume 1708,1806 v16 3) 创建host connection: mkhostconnect -wwname 10000000C9593264 -profile "IBM pSeries - AIX" -volgrp v16 -ioport i0000,i0200 pekax019_fcs0 mkhostconnect -wwname 10000000C9569E50 -profile "IBM pSeries - AIX" -volgrp v16 -ioport i0100,i0300 pekax019_fcs2 4)常用维护和划LUN命令: 分行IT基础设施资源整合,技术组件项目文档 看DS8300上的LUN lsfbvol -l 看某个特定Volume Group内的LUN信息 lsfbvol -volgrp v2(volume group name) 在主机上运行datapath query essmap |pg 分行IT基础设施资源整合,技术组件项目文档 第7章 DS8300 存储规划 7.1 IO卡规划 分行IT基础设施资源整合,技术组件项目文档 7.2 存储规划 7.2.1 物理位置 分行IT基础设施资源整合,技术组件项目文档 分行IT基础设施资源整合,技术组件项目文档 7.2.2 容量规划 (1) 新增E: 新增E IBM DS8300(3TB可用容量(Raid1+0、146GB 15KRpm)、32GB Cache、32端口) RAID10:50GB 1001 1002 1003 1004 1005 1031 1037 RAID10_1_01 50G 50G 50G 50G 50G 100M 100M 1006 1007 1008 1009 1010 1032 1038 RAID10_1_02 50G 50G 50G 50G 50G 100M 100M 1011 1012 1013 1014 1015 1033 1039 RAID10_1_03 50G 50G 50G 50G 50G 100M 100M 1016 1017 1018 1019 1020 1034 1040 RAID10_1_04 50G 50G 50G 50G 50G 100M 100M 1021 1022 1023 1024 1025 1035 RAID10_1_05 50G 50G 50G 50G 50G 100M 1026 1027 1028 1029 1030 1036 RAID10_1_06 50G 50G 50G 50G 50G 100M RAID10:30GB 2001 2002 2003 2004 2005 2006 2007 2008 RAID10_2_01 30G 30G 30G 30G 30G 30G 30G 30G 2009 2010 2011 2012 2013 2014 2015 2016 RAID10_2_02 30G 30G 30G 30G 30G 30G 30G 30G 2017 2018 2019 2020 2021 2022 2023 2024 RAID10_2_03 30G 30G 30G 30G 30G 30G 30G 30G 2025 2026 2027 2028 2029 2030 2031 2032 RAID10_2_04 30G 30G 30G 30G 30G 30G 30G 30G 2033 2034 2035 2036 2037 2038 2039 2040 RAID10_2_05 30G 30G 30G 30G 30G 30G 30G 30G 2041 2042 2043 2044 2045 2046 2047 2048 RAID10_2_06 30G 30G 30G 30G 30G 30G 30G 30G (2) 新增F: 新增F IBM DS8300(4TB可用容量(Raid1+0、146GB 15KRpm)、32GB Cache、32端口) RAID10:50GB 1001 1002 1003 1004 1005 1041 1049 RAID10_1_01 50G 50G 50G 50G 50G 100M 100M 1006 1007 1008 1009 1010 1042 1050 RAID10_1_02 50G 50G 50G 50G 50G 100M 100M 1011 1012 1013 1014 1015 1043 RAID10_1_03 50G 50G 50G 50G 50G 100M 1016 1017 1018 1019 1020 1044 RAID10_1_04 50G 50G 50G 50G 50G 100M 1021 1022 1023 1024 1025 1045 RAID10_1_05 50G 50G 50G 50G 50G 100M 1026 1027 1028 1029 1030 1046 RAID10_1_06 50G 50G 50G 50G 50G 100M 1031 1032 1033 1034 1035 1047 RAID10_1_07 50G 50G 50G 50G 50G 100M 1036 1037 1038 1039 1040 1048 RAID10_1_08 50G 50G 50G 50G 50G 100M 分行IT基础设施资源整合,技术组件项目文档 RAID10:30GB 2001 2002 2003 2004 2005 2006 2007 2008 RAID10_2_01 30G 30G 30G 30G 30G 30G 30G 30G 2009 2010 2011 2012 2013 2014 2015 2016 RAID10_2_02 30G 30G 30G 30G 30G 30G 30G 30G 2017 2018 2019 2020 2021 2022 2023 2024 RAID10_2_03 30G 30G 30G 30G 30G 30G 30G 30G 2025 2026 2027 2028 2029 2030 2031 2032 RAID10_2_04 30G 30G 30G 30G 30G 30G 30G 30G 2033 2034 2035 2036 2037 2038 2039 2040 RAID10_2_05 30G 30G 30G 30G 30G 30G 30G 30G 2041 2042 2043 2044 2045 2046 2047 2048 RAID10_2_06 30G 30G 30G 30G 30G 30G 30G 30G 2049 2050 2051 2052 2053 2054 2055 2056 RAID10_2_07 30G 30G 30G 30G 30G 30G 30G 30G 2057 2058 2059 2060 2061 2062 2063 2064 RAID10_2_08 30G 30G 30G 30G 30G 30G 30G 30G 分行IT基础设施资源整合,技术组件项目文档 第8章 SAN规划举例 8.1 SAN与Zone简介 8.1.1 SAN的概念 SAN(存储区域网络)的一个概念是允许存储设备和处理器(服务器)之间建立直接的高速网络(与LAN相比)连接，通过这种连接实现只受光纤线路长度限制的集中式存储。SAN可以被看作是存储总线概念的一个扩展，它使用局域网(LAN)和广域网(WAN)中类似的单元，实现存储设备和服务器之间的互连。这些单元包括:路由器、集线器、交换机和网关。SAN可在服务器间共享，也可以为某一服务器所专有，既可以是本地的存储设备也可以扩展到地理区域上的其他地方。 SAN可被用来绕过传统网络的瓶颈，它通过以下三种方式支持服务器与存储设备之间的直接高速数据传输: * 服务器到存储设备:这是服务器与存储设备之间的传统的相互作用模式，其优点在于多个服务器可以串行或并行地访问同一个存储设备。在该种连接中，服务器被成为主动设备，存储设备被成为被动设备。 * 服务器到服务器:SAN可用于服务器之间的高速大容量数据通信。 * 存储设备到存储设备:通过这种外部数据传输能力，可以在不需要服务器参与的情况下传输数据，从而使服务器周期能更多地用于其他活动如应用程序处理等。这样的例子还包括磁盘设备不需服务器参与就可以将数据备份到磁带设备上(Server Free)，以及跨SAN的远程设备镜像操作。 8.1.2 Zone的概念 在目前的服务器应用环境中，会越来越多地涉及到存储区域网络(SAN)，服务器群通过SAN来获得存储空间，SAN上连接了磁盘阵列、磁带库等设备。在多数情况下，不同的服务器会需要连接不同的磁盘或磁盘阵列，为此在大的SAN环境中，我们需要划分不同的分区，这样，可以控制SAN上的数据存取，保证数据的完整性，同时提高网络存储数据的安全性，杜绝非授权使用某些数据。例如，可以将财务部的服务器和磁盘阵列分配在一个独立的分区。 存储区域网络中的分区被称作Zone，分区的结果是在同一个Zone内的设备可以相互访问，在不同的Zone内的设备不能相互访问，Zone对于服务器和磁盘阵列来讲是透明的，分区是在 分行IT基础设施资源整合,技术组件项目文档 存储的光纤交换机上实现的。 分区的好处: 加强设备安全――通过在一个光纤通道交换架构中部署分区，设备访问将仅限于分区中的设备。这让用户可以根据对某个特定的存储设备(对象)的访问权限隔离设备。对于那些需要访问同一个物理交换架构的多OS 环境来说，这种一项必需的要求。很多操作系统无法读取或者理解其他文件系统的区块设计或者文件系统。例如，如果某个基于Windows的主机看到一个被一台AIX主机使用的磁盘，将无法识别该磁盘的文件结构，而且可能会将其视为一个受损的可用Windows卷，并且必须修复。一旦Windows 服务器向该磁盘写入它自己的“特征数据”，原来的AIX 服务器也将无法识别该磁盘，因而导致数据受损。这种情况正是人们设计分区服务的主要原因，也是分区如此重要的根本原因。 8.1.3 SAN的分区有几种类型 存储区域网络(SAN)中的分区(Zoning)是在存储的光纤交换机上实现的。在IBM 2109光纤交换机的分区的类型有两种:硬件分区(Hardware Zoning)和软件分区(Software Zoning)，它们的实现机制不一样，各自有各自的优缺点。 硬件分区(Hardware Zoning)，它的成员必须是单独基于交换机的物理端口或单独基于设备的WWPN(World Wide Port name)的划分。例如Hardzone1包括端口1和端口2;Hardzone2包括WWPN1和WWPN2。其中端口号还要包含交换机的信息，而设备的WWPN是要在服务器或存储设备上通过软件或操作系统命令来查看的。每块光纤通道卡(HBA)的WWPN是唯一的，类似于IP网络中的MAC地址，不过，是64bit长。硬件分区是基于交换机的交换芯片实现的，所以效率高，对整体的传输性能影响小;硬件分区的安全性高，可以阻止非法用户访问。缺点是设备必须连接到规定的交换机端口，灵活性稍差。 软件分区(Software Zoning)，它的成员是基于交换机的物理端口和基于设备的WWPN(World Wide Port name)的划分。例如Softzone包括端口3、端口4、WWPN3和WWPN4。软件分区是基于交换机上的名字服务(Name Server)实现的，它的特点是灵活性高，基于WWPN的设备可以接入交换机的任何端口。缺点是安全性差，交换机不控制数据的流动，某些设备可以经未授权连接。 所以，在设计SAN的分区时，要考虑硬件分区和软件分区的特点，根据需要划分。 8.1.4 分区原则 分区原则: 分行IT基础设施资源整合,技术组件项目文档 , 采用Hardware Zoning,并使用port来进行zone的划分; , 每个分区中只有1个主动设备，也就是只有1块主机光纤适配卡; , 进行备份的zone与生产的zone，由于其被动设备的不同(磁盘设备与磁带库设备)， 需要规划到不同的zone中。 8.2 关于光纤布线 在布线时，需要注意以下几个问题: , 保持光纤线两端的清洁; , 控制弯折角度，避免直角弯; , 两端做光纤线标识，以方面日后维护; , 预留相应的光纤线作为备份，以利于更换。 8.3 Zone的划分 8.3.1 SAN物理连接图 磁带库 I/O I/O I/O I/O I/O I/O I/O I/O DRVDRV DRVDRVenclosure 3enclosure 4enclosure 1enclosure 2enclosure 3enclosure 4enclosure 1enclosure 21234111111111111222222222222333333333333444444444444Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port 12345678910111213141516171819201234567891011121314151617181920 SAN Switch 1 IP:192.168.101.3SAN Switch 2 IP:192.168.101.4Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port Port 21222324252627282930313233343536373839402122232425262728293031323334353637383940 HBA2HBA1数据fcsfcsfcsfcsfcsfcsfcsfcsfcs0fcs1fcs3fcs5fcs6fcs4fcs2fcs0fcs1fcs0fcs2fcs1fcs5fcs4fcs3fcs1fcs2fcs3fcs4fcs5fcs0fcs7fcs8fcs9fcs10fcs12fcs6fcs11备份S1S2S3S4S7S9S11S12 S13S14S17S19S151S11S71S112S12S72S111S21S192S191S81S171S182S82S172S1801010120 应用服务器应用服务器开发LPAR测试LPAR生产备份LPAR 8.3.2 Zone规划表 SAN SWITCH 1 IP: xxx.xxx.xxx.xxx admin/password 分行IT基础设施资源整合,技术组件项目文档 Zone Name Zone Member Host Port Storage Port(DS8K1) SAN SWITCH 2 IP: xxx.xxx.xxx.xxx admin/password Zone Name Zone Member Host Port Storage Port(DS8K1) 8.4 SAN布线规划 1)说明: , SAN:表示SAN交换机，标签标记号S , 单台设备同类线型布线不超过10根，备1根;超过10根，备2根。 分行IT基础设施资源整合,技术组件项目文档 , 信号线槽口总共6个，分别为N4~N9。 分行IT基础设施资源整合,技术组件项目文档 2)机房信号线布线数目列表 出单根长端 入端 出槽入槽数信号线类总长度度 备注 口 口 量 型 (米) 设设备 (米) 备 存储光纤IBM供货;供货长SAN N4 P570 N7 3 22 线 度25M。 存储光纤SAN N4 P570 N7 1 22 备用，规格同上一项。 线 存储光纤IBM供货;供货标准长SAN N4 DS8300-1 N6 14 20 线 度25M。 存储光纤SAN N4 DS8300-1 N6 2 20 备用，规格同上一项。 线 存储光纤IBM供货;供货标准长SAN N4 DS4800 N7 2 22 线 度25M。 存储光纤SAN N4 DS4800 N7 1 22 备用，规格同上一项。 线 合存储光纤85根(其中备用13根) 计 8.4.1 P570 光纤布线规划 P570后视图如下: 中国建设银行信息技术管理部SFB项目组 分行IT基础设施资源整合,技术组件项目文档 光纤标识: 出槽入端设信号线出端设备 入槽口 数量 备注 口 备 类型 存储光SAN N4 P570 N7 3 IBM供货;供货标准长度25M。 纤线 存储光SAN N4 P570 N7 1 备用，规格同上一项。 纤线 主机端 交换机端 光纤标识 I/O Subsystem 1 Slot 1 SAN Switch 1 Port 15 N7P570I1S1-N4S1P15 039 I/O Subsystem 1 Slot 3 SAN Switch 2 Port 15 N7P570I1S3-N4S2P15 040 I/O Subsystem 1 Slot 4 SAN Switch 2 Port 38 N7P570I1S4-N4S2P38 041 I/O Subsystem 1 Slot x SAN Switch _ Port __ N7P570I1Sx-N4S_P__ 042 8.4.2 DS8300 光纤布线规划 DS8300后视图如下: 分行IT基础设施资源整合,技术组件项目文档 I/O Enclosure 1I/O Enclosure 2 P1 P2 P3 P4 Slot162Slot163452345I/O Enclosure 3I/O Enclosure 4 光纤标识: 出端设出槽入槽信号线类入端设备 数量 备注 备 口 口 型 存储光纤SAN N4 DS8300-1 N6 14 IBM供货;供货标准长度25M。 线 存储光纤SAN N4 DS8300-1 N6 2 备用，规格同上一项。 线 主机端 交换机端 光纤标识 I/O Enclosure Slot 1 port SAN Switch Port 1 N6DS8K1E3S1P1-N4S1P01 048 3 1 1 I/O Enclosure Slot 4 port SAN Switch Port N6DS8K1E3S4P1-N4S1P21 049 3 1 1 21 I/O Enclosure Slot 1 port SAN Switch Port 5 N6DS8K1E4S1P1-N4S1P05 050 4 1 1 I/O Enclosure Slot 4 port SAN Switch Port N6DS8K1E4S4P1-N4S1P25 051 4 1 1 25 I/O Enclosure Slot 4 port SAN Switch Port 9 N6DS8K1E1S4P1-N4S1P09 052 1 1 1 I/O Enclosure Slot 1 port SAN Switch Port N6DS8K1E2S1P1-N4S1P29 053 2 1 1 29 I/O Enclosure Slot 1 port SAN Switch Port 1 N6DS8K1E3S1P3-N4S2P01 054 3 3 2 I/O Enclosure Slot 4 port SAN Switch Port N6DS8K1E3S4P3-N4S2P21 055 3 3 2 21 I/O Enclosure Slot 1 port SAN Switch Port 5 N6DS8K1E4S1P3-N4S2P05 056 4 3 2 I/O Enclosure Slot 4 port SAN Switch Port N6DS8K1E4S4P3-N4S2P25 057 4 3 2 25 I/O Enclosure Slot 4 port SAN Switch Port 9 N6DS8K1E1S4P3-N4S2P09 058 分行IT基础设施资源整合,技术组件项目文档 1 3 2 I/O Enclosure Slot 1 port SAN Switch Port N6DS8K1E2S1P3-N4S2P29 059 2 3 2 29 I/O Enclosure Slot 4 port SAN Switch Port N6DS8K1E3S4P2-N4S1P13 060 3 2 1 13 I/O Enclosure Slot 1 port SAN Switch Port N6DS8K1E2S1P2-N4S2P13 061 2 2 2 13 I/O Enclosure Slot _ port SAN Switch Port N6DS8K1E_S_P_-N4S_P__ 062 _ _ _ __ I/O Enclosure Slot _ port SAN Switch Port N6DS8K1E_S_P_-N4S_P__ 063 _ _ _ __ 8.4.3 DS4800布线规划: DS4800后视图如下: 光纤标识: 出端设出槽信号线类入端设备 入槽口 数量 备注 备 口 型 存储光纤SAN N4 DS4800 N7 2 IBM供货;供货标准长度25M。 线 存储光纤SAN N4 DS4800 N7 1 备用，规格同上一项。 线 主机端 交换机端 光纤标识 HBA1 SAN Switch 1 Port 16 N7FAStT HBA1-N4S1P16 080 HBA2 SAN Switch 2 Port 16 N7FAStT HBA2-N4S2P16 081 分行IT基础设施资源整合,技术组件项目文档