为了正常的体验网站,请在浏览器设置里面开启Javascript功能!

服务器学习笔记

2012-11-26 50页 doc 1MB 118阅读

用户头像

is_023032

暂无简介

举报
服务器学习笔记服务器学习笔记 目录 2服务器学习笔记(一):服务器知识简单了解 4服务器学习笔记(二):服务器技术概览 7服务器学习笔记(三):硬件技术之服务器处理器技术 9服务器学习笔记(四):硬件技术之内存技术 13服务器学习笔记(五):硬件技术之I/O总线技术 17服务器学习笔记(六):服务器集群技术 22服务器学习笔记(七):服务器容错机制 24服务器学习笔记(八):磁盘RAID技术 30服务器学习笔记(九):三种主流的数据存储方式 35服务器学习笔记(十):数据备份与容灾 37服务器学习笔记...
服务器学习笔记
服务器学习笔记 目录 2服务器学习笔记(一):服务器知识简单了解 4服务器学习笔记(二):服务器技术概览 7服务器学习笔记(三):硬件技术之服务器处理器技术 9服务器学习笔记(四):硬件技术之内存技术 13服务器学习笔记(五):硬件技术之I/O总线技术 17服务器学习笔记(六):服务器集群技术 22服务器学习笔记(七):服务器容错机制 24服务器学习笔记(八):磁盘RAID技术 30服务器学习笔记(九):三种主流的数据存储方式 35服务器学习笔记(十):数据备份与容灾 37服务器学习笔记(十一):Linux第一篇,从Shell开始学起! 40服务器学习笔记(十二):Linux第二篇,学习常用的Shell命令 44服务器学习笔记(十三):Linux第三篇,文件管理中常用的Shell命令 46服务器学习笔记(十四):Linux第四篇,Shell脚本简单了解 51服务器学习笔记(十五):Linux第五篇,磁盘管理之为linux系统添加一块新硬盘 55服务器学习笔记(十六):Linux第六篇,磁盘管理之LVM 发布人微博:http://weibo.com/hexen 原作者Blog:http://hi.baidu.com/senya/blog 服务器学习笔记(一):服务器知识简单了解 近来在学习服务器方面的知识,把自己所了解的有关服务器方面的知识与大家交流分享,同想学习服务器方面知识的朋友们一起努力学习。   什么是服务器?服务器是计算机的一种,它是在网络操作系统的控制下为网络环境里的客户机提供共享资源的高性能计算机,它的高性能主要体现在高速度的CPU运算能力、长时间的可靠运行、强大的I/O外部数据吞吐能力等方面。   一、服务器的分类:   按着不同的分类,可以有不同的分类。   1、按CPU的类型分类:   RISC(Reduced Instruction Set Computing,精简指令集计算)架构服务器  使用RSIC芯片并且主要采用Unix操作系统的服务器有HP的PA-RISC、IBM公司的pSeries服务器、SUN公司的SPARC等。   CISC(Complex Instruction Set Computing,复杂指令集计算)架构服务器 基于IA(Intel Architecture)架构的服务器,使用CISC芯片且主要用Widnows Server/Linux/BSD等操作系统的服务器。如Intel的Xeon、AMD的Opteron处理器,也称工业标准服务器。   IA-64服务器。采用IA-64架构的处理是主要是Intel安腾处理器(Itanium)。Itanium处理器是HP与Intel共同开的。安腾处理器似乎出现了一些麻烦,Windows、Redhat及Oracle都已经宣布不再支持安腾处理器。   2、按应用规模分类:   大型服务器   中型服务器   小型服务器、入门级服务器   3、按应用用途分类:   数据库服务器、域名服务器、DHCP服务器、文件服务器、FTP服务器、邮件服务器、代理服务器、打印服务器、Web服务器、WINS服务器等   4、按外形结构分类:   塔式服务器、机架式服务器、刀片服务器      x86架构的服务器通常称为PC Server. 运行UNIX的服务器通常被称为小型机。   二、服务器系统特征与性能:   选定服务器的几个标准:   ◆先进的系统结构;   ◆先进的性能;   ◆卓越的扩展性;   ◆先进的管理性;   ◆使人信服的可靠性;   ◆强大的可用性;   ◆持续的服务能力。   国内外服务器标准   国内服务器标准:SUMA:Scalability(可扩展性)、Usability(易使用性)、Manageability(易管理性)、Availability(可用性)。这一标准是由国内的服务器厂商曙光所倡导。   ①Scalability   服务器必须具有一定的可扩展性,这是因为企业网络随着企业的发展壮大而发展,用户增多、业务扩展,服务器也应该具有很强的扩展性,具备一定的可扩展空间。   ②Usability   服务器的功能强大而硬件与软件都很复杂。服务器的易用性主要体现在服务器是不是容易操作,用户导航系统是不是完善,有没有关键恢复功能等等。   ③Manageability   服务器的易管理性也是服务器的一个重要特性,能够做到及时发现问,及时完成故障处理。服务器的易管理性还体现在服务器有没有智能管理系统,有没有自动报警功能,是不是有独立于系统的管理系统。   ④Availability   对于一台服务器,可用性非常重要,服务器为了保障用户的连续业务,通常要求服务器得不间断地工作,持续为用户提供连续服务。   国外服务器标准:RAS:Reliability(高可靠性)、Availability(高可用性)、Serviceability(高可服务性)   三、服务器操作系统   服务器上常用的操作系统有Windows Server Family(Windows NT、windows 2000 Server、windows server 2008)、Linux(最有名气的Redhat Enterprise Linux)、UNIX(HP的HP-UX、IBM的AIX及Sun的Solaris(已经被甲骨文收购)等)   服务器操作系统与PC操作系统的区别在于前者可以支持更多的CPU、更大的内存及更为卓越的性能和强大的网络功能。   四、国内外服务器生产厂商   国外的主要有:HP、IBM、Oracle(Oracle收购了Sun公司)。国内的主要有:曙光、浪潮、长城。   小结:网络可以分为资源子网与数据子网。服务器属于资源子网,在网络中占有重要的地位。服务器的高可靠性、高可用性与高可服务性等这些特性决定了服务器所使用的技术,如服务器的冗余技术、热插拔技术、集群技术等等。 服务器学习笔记(二):服务器技术概览 服务器技术包括复杂的硬件技术与软件技术。由服务器的高可用性、扩展性、持续的工作等方面的要求,服务器与PC在硬件技术上差别很大。目前通用服务器硬件技术通常包括:CPU技术(RISC与CISC处理器架构技术、SMP对称多处理技术、)、内存(ECC内存纠错)、硬件冗余、热插拔、磁盘阵列技术、智能管理技术I/O总线(I2O智能输入/输出技术和服务器总路线技术)等。   一、RISC和CISC处理器指令架构技术   RISC和CISC都是服务器处理器的指令系统执行方式技术,它们也被称为服务器处理器架构技术。RISC指令架构技术以IBM、HP和Sum公司的RISC处理为代表,而CISC则以Intel的IA处理器为代表(AMD的服务器处理器也都基本上采用这种指令架构)   二、SMP对称多处理器技术   SMP(Symmetrical Multi-Processing,对称多处理)技术是相对非对称多处理技术而言的,在这种架构中,同一服务器主板需要提供多个处理器插座,但所支持的处理器个数都是偶数的,这就是其“对称”性所要求的。组建SMP系统需要有特定的处理器、操作系统和应用软件的支持:①处理器必需内置APIC(Advanced Programmable Interrupt Controllers,高级可编程中断控制器)单元;②相同的处理器型号;③完全相同的运行频率;④尽可能保持相同的产品序列编号。   三、I2C(Inter-Integrated Circuit)总线技术   I2C总线是一种由菲利普公司开发的串行总线,是一种具有多端控制能力的双线双向串行数据总线系统。I2C通过一个带有缓冲区的接口,数据可以被I2C总线发送或接收,控制和状态信息则通过一套内存映射寄存器来传送。利用I2C总线技术可以对服务器的所有部件进行集中管理,可随时监控内存、硬盘、网络、系统温度等多个参数,增加了系统的安全性,方便了管理。   四、智能监控管理技术   智能监控技术不是一个单一的服务器技术,它是一系列智能管理技术的总称,其中包括EMP(应急管理端口)、ISC(Intel服务控制)、IPMI(智能平台管理接口)和SNMP(Simple Network Management Protocol)等技术。目前高性能服务器普遍采用专用的服务处理器(Service Processor)来对系统的整体运行情况进行监控。系统中的一些关键部件的工作情况都通过一条被称为I2C总线的串行通信接口被传送到服务处理器,而且服务处理器通过专用的监控软件监视各个剖件的工作状态。服务处理器可以对服务器的所有部件进行集中管理,可随时监控内存、硬盘、网络和系统温度等多个参数。   ①EMP(Emergency Management Port,应急管理端口)   EMP是服务器主板上所带的一个用于远程管理服务器的接口。远程控制机可以通过Modem与服务器相连,控制软件安装于控制机上,远程控制机通过EMP Console控制界面可以对服务器进行下列工作:打开或关闭服务器的电源;重新设置服务器,甚至包括主板BIOS和CMOS的参数;监测服务器内部情况。   ②ISC(Intel Server Control,Intel服务器控制)   ISC是一种网络监控制技术,现在已经改名为ISM(Intel Server Management),只适用于使用Intel架构的带有集成管理功能的主板的服务器。采用这种技术后,用户可在一台普通的客户机上,通过局域网或广域网对服务器进行启动、关闭或重新置位,也可以监测网络上所有使用Intel主板的服务器的运行状况,包括机箱、电源、风扇、内存、处理器、系统信息、温度和电压等。   ③IPMI(Intelligent Platform Management Interface智能平台管理接口)   为降低服务器管理系统的开发有管理成本,并解决不同的服务器与周边设备因接口不同而无法沟通的问题,Intel、HP、NEC和Dell携手结合多家服务器芯片制造厂商,从1997年开始研究,在2001年3月推出了一项重要的管理规范——IPMI。它定义了在监控终端上通过网络或串行调制解调器管理、监视远程服务器的。通过IPMI能对系统健康状态进行监视,对严重事件自动产生告警,而县还能实现自动系统控制和系统事件日志记录功能。IPMI结构的核心是一个被称为“基板管理控制器”的微控制器。   五、智能输入/输出(I2O)技术   随着服务器处理器性能的提高,服务器系统的功能越来越强,作用越来越大,作为网络中心设备后,其数据传输量会大大增加,因而I/O数据传输性能经常会成为整个系统的瓶颈。智能输入/输出(I2O)技术把任务分配给智能I/O系统,在这些子系统中,专用的I/O处理器将承担中断处理、缓冲存取及数据传输等烦琐任务,这样,系统的吞吐能力就得到了提高,服务器的主处理器也能被解放出来去执行更为重要的任务。   I2O(Intelligent Input & Outpu,智能输入输出)是一项可以降低系统CPU负载并改进I/O数据通信的新技术。在这一技术下,I/O子系统的体系结构完全独立于网络操作系统,并不需要外部设备的支持,这样一方面可减轻操作系统的负担,另一方面还可以提高I/O通信效率。   六、硬件冗余技术   硬件冗余技术是最常见的、最基本的服务器技术之一,也是应用最广的服务器通过技术。它是通过提供双份完全一样的硬件,并通过相应的技术使备用件时刻处于待命状态,发现相应部件失效后立即接替原来的部件继续工作,使得服务器保持恒久不间断的动作。它是提高服务器可用性的一个重要手段。根据不同的冗余部位和冗余程度,主要分为以下几中硬件冗余方式。   ①单机容错冗余。这是一种最高级别的冗余,达到了100%冗余。在这样一个服务器中,对所有部件都提供了冗余,任何单一部件的损坏都不会造成硬盘中的数据丢失。   ②双服务器冗余。这种冗余方式采用双台服务器进行冗余容错,将双台服务器分为主/从服务器,从服务器是为主服务器出现故障而准备的,不过这一容错技术需要专门的服务器集群软件来实现。当主服务器出现故障时,从服务器将立即接替主服务器的工作,从而使得任何一台服务器出故障都不会造成系统崩溃。   ③磁盘冗余。这是最常见的硬件冗余方式之一,就是提供多个备用磁盘。在这种冗余方式中,应用最广的是磁盘冗余阵列技术(RAID)。   ④电源冗余;⑤风扇冗余;⑥网卡冗余。   七、热插拔技术(Hot Plug)   热插拔技术就是指可以在系统带电的情况下对有些部件进行插、拔操作。一般来说具有热插拔性能的硬件主要包括:硬盘、CPU、RAM、电源、风扇、PCI适配器和网卡等。   八、诊断技术   服务器诊断技术是服务器可管理性的一个重要方面,它可由软件实现服务器的自我诊断,当所监控的硬件出现故障时,及时告知管理人员,以便得到及时维护。   1、光通路诊断技术。这是由IBM开发的,它使得技术人员能够迅速确定和找到发生故障的系统组件;2、Active Diagnostics(活动诊断)技术。   九、64 位处理器技术   64位与32位处理器相比,最为关键的优势就体现于位宽和内存寻址能力上。位宽对处理器性能的影响很大,位宽是指处理器一次执行指令的数据带宽。64位处理器一次就能处理64位,即8个字节的数据。   十、服务器集群(Cluster)技术   服务器集群技术是提高服务器性能的一项技术措施。一个服务器集群包含多台共享数据存储空间的服务器,各服务器之间通过内部局域网进行相互通信。当其中一台服务器发生故障时,它所运行的应用程序将由其它的服务器自动接管。   十一、负载均衡技术   负载均衡的思路是每台服务器都具备同等的地位,都可以单独对外提供服务而无须其它服务器的辅助,通过某种负载分担技术,将从外部发送来的请求均匀分配到称结构中的某些服务器上。负载均衡技术可以完成以下任务:解决网络拥塞,实现服务就近提供;为用户提供更好的访问质量;提高服务器的响应速度;提高服务器及其它资源的利用效率;避免在网络关键部位出现单点失效。   小结:这些技术都是为了提高服务器的高可用性、高可靠性、高可以服务性,保证服务器的能够不间断地向用户提供高性能的服务。 服务器学习笔记(三):硬件技术之服务器处理器技术 一、服务器处理器(Server CPU)的分类   通常按按服务器处理器架构(服务器处理器所采用的指令系统)划分为以下几类:   ①CISC(Complex Instruction Set Computing,复杂指令集计算)架构   从计算机诞生以来,一直采用CISC指令集方式。基于CISC的CPU主要有Intel、AMD的X86CPU。它们通常在低端服务器中使用。操作系统为Windows系列或Linux。CISC也可以称为IA-32架构或X86架构。   ②RISC(Reduced Instruction Set Computing,精简指令集计算)架构   这类CPU通常在高端服务器中使用,最具代表性的产品是IBM的POWER、POWERPC处理器、Sun的SPARC处理器、HP的PA-RISC、Alpha处理器及MIPS的MIPS处理器。在20世纪70年代,IBM发明了RISC技术,到了80年代后期,RISC指令架构逐渐代替了服务器领域中的CISC指令架构,成为服务器主流微处理器架构。RISC优化指令系统,加快程序编译进程,提高运行速度。   RISC技术采用了更加简单和统一的指令格式,固定的指令长度以及优化的寻址方式,使整个计算结构更加合理。一般来说,RISC处理器比同档的CISC处理器要快50%~75%。   ③VLIW(Very Long Instruction Word,超长指令集)架构   VLIW架构采用了先进的EPIC(Explicitly Parallel Instruction Computing,清晰并行指令)设计,可以把它叫做IA-64架构。HP与Intel合作开发的安腾(Itanium)处理就采用该架构技术。   二、服务器处理器技术介绍   ①IBM POWER处理   POWER是Power Optimization With Enhanced RISC的缩写。POWERPC中的PC是Performance Computing的缩写。   ◆POWER1处理器最早发布于1990年。   ◆POWER4处理器发布于2001年,是世界上第一颗双核心处理器。   ②Sun SPARC处理器   SPARC是Scalable Processor ARChitecture。   ③HP PA/Alpha处理器   HP由于并购了Compaq公司,因此它有两个系列的RISC处理器,即HP自己开发的PA-RISC处理系列和Compaq公司的Alpha处理器系列。   PA-RISC于1986年问世,第一款芯片的型号为PA-8000,主频为180MHz,PA-8800是于2004年2月底推出的,它的起始频率为1GHz,是Hp的第一个双核心64RISC处理器。     ④MIPS处理器   MIPS(Microprocessor without Interlocked Piped Stages)   AMD Opteron处理器的优势   AMD的Opteron处理器与Intel的IA-64架构的Itanium和Itanium2处理相比,主要存在有以下不同:①处理器架构不同 对于64位处理器,AMD采用了与Intel截然不同的策略:AMD采用一种基于x86指令体系的64位架构,也就是x86-64架构,可以让64位处理器运行在32位应用环境下。②向下兼容性不同 AMD的x86-64架构的最大优势就是完全兼容现存的x86代码。   Intel Itanium/Itanium2处理器   Intel的第一款64位处理器Itanium发布于2000年,它采用的是全新的IA-64架构。Intel的IA-64架构所采用的显示并行指令(EPIC)架构,具有分支预测执行、寄存器轮动、更多的计算单元和流水线等技术。它的内存寻址能力很强,能够容纳近180亿GB的物理内存。   Intel Nocona Xeon处理器   Nocona处理器是Intel迫于AMD Opteron处理器所带来的压力,在无奈的情况下发布的。Nocona Xeon处理器重拾当年自己抛弃的x86架构(Intel为了避嫌,称之为“EM64T”架构),既能支持64位程序运算,同时又能很好地支持现行主流的32位程序。   小结:服务器的角色与功能决定了服务器CPU的性能在名个方面远远高于PC机的CPU。芯片技术是信息技术中的最为重要的技术。 服务器学习笔记(四):硬件技术之内存技术 内存会出错   计算机中使用的内存储设备主要有两种类型:静态随机存储器(SRAM)和动态随机存储器(DRAM)。其中SRAM作为缓存使用,这是因为它的速度快,并可以在关闭电源前一直保存其中的数据;而DRAM芯片装在168脚的DIMM(Dual inline memory modules)上,每一个DRAM芯片以电容行或电容列存储数据,对这些存储单元必须不停地进行充电或者更新否则其中的数据就会丢失。一个充电的电容器由数据“1”表示,一个放电的电容器由数据“0”表示。充电或放是由存储设备的电压决定的。当电容器中的电荷受到外界的影响发生变化时,读数就会出现偏差,则服务器中使用的内存模块就会出现存储错误。   一、内存的通用技术   ◆奇偶校验技术 比特(bit)是内存中的最小单元。比特是通过“1”和“0”来表示数据高、低电平信号的。8个连续的比特叫做一个字节(byte),在不带“奇偶检验”的内存中如果某个字节数据有一个比特出错,那么数据将出错。可以在每个字节数据后增加一个奇偶检验位。   ◆ECC内存查纠错技术 ECC是Error Checking and Correcting(错误检查和纠正)的缩写。ECC纠错技术也需要额外的空间来储存校正码。   二、IBM服务器内存技术   ◆Chipkill内存技术   ◆大容量高速度技术   ◆内存保护   ◆内存镜像技术   内存镜像(Memory Mirroring)是IBM的另一种更高级的防止因内存错误而导致整个服务器不稳定性事件发生的技术。内存镜像的工作原理很像磁盘镜像,就是将数据同时写入到两个独立的内存卡中(两个内存卡的配置是一样的),平时的内存数据读取只在激活的内存卡中进行。   三、HP的服务器内存技术   ◆新ECC内存技术   为了加强对内存数据的保护,HP于1996年引入了新ECC技术(Advanced ECC technology),它类似于IBM的Chipkill内存技术。   ◆在线备份内存模式   HP的在线备份内存模式在HP Proliant 300和HP Proliant 500两个系列的服务器中得到应用,但这两个系列的服务器所采用的在线备份内存模式并不完全一样。   ◆镜像内存方式   镜像内存方式可以用来保护发生多比特错误的数据。   ①单存储板配置——非热插拔方式(Non-Hot Plug)用户可以在服务器自带的存储板上设置镜像内存。这样无论是发生了单比特错误还是多比特错误,系统都可以保数据的安全可靠。用户可以指定两个镜你存储区(C和D)。运行在镜像内存方式下的服务器,其系统内存可以达到4GB。为了保证内存镜像方式的正常运行,存储区C和D的配置必须和存储区A和B的配置一样。如图所示,数据被同时写入系统内存和镜像内存,但只从系统内存中读出。如果系统内存中的某个DIMM出现单比特错误达到错误极限,那么系统会自动将存储区C和D设置成系统内存,将A和B指定为镜像内存,数据仍然会被同时写入系统内存和镜像内存中,但只从系统内存中读数据。 图 一 单存储板配置   ②热插拔的镜像内存模式需要扩展存储板(选件,)此模式可以为内存提供比在线备份方式更好的保护。热插拔的镜像内存模式包括在线扩展和在线替换内存。在线扩展是指用户可以在空的插槽上插入DIMM以扩展系统内存容量,在线替换是指用户可以在系统运行中直接将出现故障的DIMM替换掉。为了确保热插拔的镜像内存模式运行正常,两块内存板必须是一样的。一个数据被同时写入两块内存板上,但只从主内存板上读数据。 图二 双存储板配置的镜像内存模式   ◆热插拔RAID内存(Hot Plug RAID Memory)技术   HP热插拔RAID内存可以为长时间不断运行的应用程序提供极高的实用性、灵活性和容错能力。即使内存设备彻底地发生故障,内存仍然可以正常工作。 图三 RAID内存原理     四、主要服务器内存模组技术   ⑴双倍DIMM面积模组   DIMM(Dual-inline Memory Modules,双列直插式存储模块) 图四 双倍DIMM面积模组   ⑵Elpida和Kingston的TSOP双面内存模组   TSOP:Thin Small Outline Package,薄型小尺寸封装。 图五 TSOP封装的内存 图六  叠加的TSOP封装的内存   ⑶Elpida的TCP模组   TCP:Tape Carrier Packaging 图七  TCP封装的内存   五、FB-DIMM内存体系架构 服务器学习笔记(五):硬件技术之I/O总线技术 CPU工作时需要与外围硬件设备进行数据、指令的交换,这就需要与各部件有一个传输通道。如果每种设备都分别引入一组线路直接与CPU相连,则可导致系统线路杂乱无章,甚至不可能实现。为了简化硬件电路和系统结构,人人引入了一组通用线路,并配以适当的接口,CPU通过这条线路与外围硬件设备相连,这条通用线路被称为总线(BUS)。根据连接设备的不同,总线又可以分为内部总线、系统总线和外部总线三大类。内部总线连接的是CPU与系统内部芯片,系统总线(I/O)是连接系统主机与扩展插卡的总线。外部总线是连接系统与外部设备的总线。   自从IBM PC问世至今,从整体来看,经历了ISA和PCI两种不同类型阶段。   服务器中先后应用了多种总线技术,其中最为著名的有InfiniBand、PCI-X和PCI-Express(简称为:PCI-E)。      一、ISA总线时代   最早的PC总线是IBM公司于1981年在PC/XT电脑上采用的系统总线,它是为基于8位的8088处理器设计的,被称为“PC总线”或者“PC/XT总线”。为了开发与IBM PC兼容的外围设备,行业内便逐渐确立了以IBM PC总线规范为基础的ISA(Industry Standard Architecture)总线。   ISA总线是8/16位的系统总线,最大传输速率仅为8Mb/s,但允许多个CPU共享系统资源,由于兼容性好,它在上个世纪80年代是应用最为广泛的系统总线。随着发展,ISA总线的带宽成了系统的瓶颈,影响到处理器性能的发挥。1988年,康柏、惠普等9个厂商协同把ISA扩展到了32位,这就是EISA(Extended ISA),最后由PCI-SIG发布的PCI(Peripheral Component Interface)总线取代。   二、PCI总线   1992年Intel在发布486处理器的时候,同时发布了32位PCI总线。最早发布的PCI总线工作在33MHz频率之下。传输带宽达到了133Mb/s。1993年发布了64位PCI总线后来把它的频率提供到了66MHz,这样64位66MHz的PCI总线带宽就达到了533Mb/s。 图 一 三种接口插槽     三、PCI-X总线技术   PCI-X最初是由IBM开发的,后来由PCI特殊利益组织(PCI-SIG)发布,属于PCI总线的扩展架架构。PCI-X有两种版本,多种不同的规格。其中PCI-X1.0版本可以支持66MHz、100MHz和133MHz这种频率,依次能管理4个、2个和1个PCI-X设备,并分别具有533Mb/s、800Mb/s和1066Mb/的峰值带宽。PCI-X2.0标准能够在每个时钟周期内更快地传输数据,PCI-X 266标准速度为2.1Gb/s,PCI-X 533标准速度为5.3Gb/s。PCI-X是对原有PCI总线的扩展,所以它在结构上与PCI总线类似,而且兼容PCI总线。PCI-X总线主要应用于高性能工作站和服务器上,使用PCI-X接口较多的设备就是SCSI、RAID控制卡和千兆网卡。 图二   PCI与PCI-X   四、PCI-Express总线技术   PCI-Express(简称:PCI-E)是针对PCI总线的局域性而提出的一种新型总线标准,它属于串行总线标准,突破了并行总线标准的极限频率限制,传输速率可以极大地改善。PCI-E总线特点:   ◎数据传输速度快   单根PCI-E线缆的传输速度可以达到206Mb/s,8线版本的为1.6Gb/s,而32线的传输速度是6.4Gb/s。   ◎易于布线、减少串扰   PCI-E技术不需要像PCI总线那样在主板上布大量的数据线,而PCI相比,PCI-Express总线的导线数量减少了将近75%,也就减少了相互之间的串扰。   ◎点对点连接   与PCI总线中所有设备共享同一条总线资源不同,PCI-E总线采用点对点技术,能够为每一块设备分配独享通道,不需要设备共享资源,这样充分保障了各设备的宽带资源,提高了数据传输速度。   ◎兼容PCI和PCI-X   跨平台兼容是PCI-E总线非常重要的一个特点。   五、InfiniBand(无线带宽)总线   InfiniBand总线技术最初是由Dell、HP、IBM、Intel、Microsoft和Sum等180多个成员组成的InfiniBand Trade Association组织提出的。在技术上,InfiniBand总线技术是基于Switched Fabric结构的。InfiniBand是一个共享或者集群的装置,不仅擅长于多台I/O设备的智能化互连,而且本身的智能化程序也非常高,接口自然比较复杂,侧重于服务器应用。 图  基于InfiniBand的计算机体系结构   InfiniBand可以支持一个共享I/O体系架构。在该体系架构中,多个主机可以使用一个I/O设备。I/O共享允许多个机柜安装的商用服务器以这样一种方式进行集群,即服务器出现故障时,就失效转移到另一台服务器。这种失效转移性能可以允许快速轻松地更换出故障的服务器,同时也提供了用成品组件来配置高度可靠服务器方法。InfiniBand系统通过连接HCAs、TCAs、交换机和路由器而发挥作用,该体系架构的模型如下: 图 InfiniBand体系架构模型     六、HyperTransport总线   AMD的HyperTransport总线技术是一种为主板上集成电路的互连而设计的总线技术,它可为内存控制器、硬盘控制器以及PCI总线控制器之提供更大的带宽。 服务器学习笔记(六):服务器集群技术 服务器集群是由一些互相连接在一起的计算机构成一个并行或分布式系统。这些计算机(服务器)一起工作并运行一系列共同的应用程序,同时,为用户和应用程序提供单一的系统映射。从外部来,它们仅仅是一个系统,对外提供统一的服务。集群内的计算机物理上通过电缆连接,程序上则通过集群软件连接。通过集群,可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益。简单地说,服务器集群是相互连接的两个或多个服务器,通过一个应用程序公共接口,以一台服务器的形式出现,实际上就是一个虚拟服务器系统。   服务器集群结构中,又分为“不对称集群”和“对称集群”两大类。“不对称集群”结构中有一些服务器专门用于当工作服务器出现故障时接替它们的工作。在“对称集群”结构中,每个服务器都承担有工作,每台服务器都相互平等,没有专门用于备用的服务器。如果一个服务器出现故障,其余服务器则会继续处理其自身所分配的应用程序组,同时处理发生故障的服务器上的应用程序,具体由哪台或哪几台服务器接管,要看集群服务配置了。 图一 不对称服务器集群结构 图二 对称服务器集群结构   集群技术和双机热备份技术的本质区别体现在能否实现并行处理和节点失效后的任务平滑接管。双机或多机备份技术的原理是一台服务器作主机,其他服务器作备份机(也可以同时工作),当主机失效时,备份机接管。集群系统使用的它的高可用性而不是容错。   服务器集群技术的优势:①扩展能力强;②实现方面容易;③高可用性;④易管理性   对集群技术需求最迫切,发展也最快的领域主要有Web应用、VOD应用,科学计算、数据库应用等领域。集群服务不保证不停顿的操作,但它为大多数执行关键任务的应用程序提供了足够的可靠性。   一、服务器集群:故障迁移解决   集群服务器设计的目的就是提高服务器性能,同时在出现故障时能及时进行故障迁移(将应用程序或服务安装在发生故障时彼此能接管对方工作的多台服务器上,一台服务器接管发生故障服务器工作的过程就称为“故障转移”),提高服务器的可用性。所以在集服务器设计之初,必须充分考虑故障迁移方案。   故障迁移的原理   ①检测故障   要让备用服务器变成活动服务器,必须设法确定活动服务器是否不再正常工作。系统使用下列某个常规类型的心跳机制来做到这一点。◎发送信号。活动服务器以定义好的时间间隔将指定信号发送到备用服务器。如果备用服务器在某个时间间隔内未收到信号,则确定活动服务器发生故障并担任活动角色。◎接收信号。备用服务器向活动服务器发送请求。如果活动服务器没有响应,则备用服务器按特定次数重复发送此请求。如果活动服务器仍然没有响应,则备份服务器接管活动服务器的工作。以上发送和接收信号是通过专用通信通道发送的,以使网络拥塞和一般网络问题不会导致假的故障转移,这个专用通信通道通常被称为“心跳线”。   ②同步状态   的集群服务器系统中,在正式接管活动服务器的工件前,首先要将备用服务器的状态与发生故障的服务器的状态进行同步,然后才能开始处理事务。主要有三种不同的同步方法。◎事务日志。在事务日志方法中,活动服务器将对其状态的所有更改记录到日志中。同步实用工具定期处理此日志,以更新备用服务器的状态,使其与活动服务器的一致。当活动服务器发生故障时,备用服务器必须使用此同步实用工具处理自上次更新以来事务日志中的任何添加内容。◎热备用。在热备用法中,将把活动服务器内部状态的更新立即复制到备用服务器。因为备用服务器的状态是活动服务器状态的克隆,所以备份服务器可以立即成为活动服务器,并开始处理事务。◎共享存储。在共享存储方法中,两台服务器都在共享存储设备(如存储区域网络或磁盘阵列)上记录其状态。这样,因为不需要进行状态共,故障转移可以立即发生。这种同步方式所需的切换时间也较短,可用性也较高。   ③确定活动服务器   对于指定的一组应用程序,只存在一台活动服务器,这是极其重要的。     ④扩展故障迁移集群服务器   故障迁移解决方案示例   在下图中,网络中只有一台服务器为网络客户端提供服务,当这台服务器出现故障时,就无法向用户提供服务: 图三 有故障单点的服务器     为了提高上图网络中服务器的高可用性,可以采用服务器集群故障转移技术,如下图: 图四 具有故障转移的服务器集群方案   在上图方案中,第一台数据库服务器是处理所有事务的活动服务器。仅当第一台数据库服务器发生故障时,处于空闲状态的第二台数据库服务器才会处理事务。集群将一个虚拟IP地址和主机名在客户端和应用程序所使用的网络上公开。   二、服务器集群:负载均衡解决方案   将服务或应用程序安装到多台服务器上,并将这些服务器配置为共享工作负荷,这种类型的配置就是Load-Balanced Cluster(负载均衡集群)。负载均衡技术通过将客户端请求分散到多始服务器上,从而提高了基于服务器的程序的性能。   负载均衡器使用不同的算法控制通信流量,这些算法用于以智能方式分散负载,或最大限度地利用集群内的所有服务器。其中一些典型的算法如下:◎循环法。循环算法将负载均衡地分配每台服务器,而不考虑当前的连接数或响应时间。循环法适合于集群中的服务器具有相同处理能力的情况。◎加权循环法。加权循环算法适合于每台服务器具有同处理能力的情况。管理员将性能权值手动分配给每台服务器,而且按照服务器权值自动生成调度序列。◎最少连接。最少连接算法确定集群中哪台服务器当前正在处理连接数最,从而将请求发送给服务器。◎基于负载。基于负载算法先判断集群中哪台服务器当前的负载最低,然后将请求发送给该服务器。   负载均衡解决方案示例   负载均衡的两种主要类别如下:◎基于软件的负载均衡。基于软件的负载均衡是在负载均衡集中安装特殊的均衡管理软件。均衡管理软件根据不同的算法发送或接收客户端向服务器发出的请求。◎基于硬件的负载均衡。 图五 负载均衡集群方案 服务器学习笔记(七):服务器容错机制 什么是容错技术?   所谓“容错”,就是允许服务器出现一定的错误(或者称为“故障”),但是服务器系统中要有自动修复和冗余机制,当错误出现时,这些出错的部件可以得到及时的修复,或同相同功能部件接替出错部件的工作,继续保持服务器不间断运行。   容错技术的发展历史      ◎第一代Stratus架构容错技术早在20世纪80年代,第一代容错技术就开始进入商用领域。当时美国的Stratus公司采用Motorola M68000处理器,在Stratus独特的硬件级容错技术及专门的VOS操作系统的支持下,为美国当时的金融业、证券业、电信业和交通业等行业应用提供了高可用性。◎第二代Intel I860架构容错技术◎第三代HP PA-RISC架构容错技术◎第四代IA架构容错技术   一、服务器网卡容错技术   Intel的三种容错服务器网卡:AFT(Adapter Fault Tolerance网卡容错)、ALB(Adapter Load Balancing,网卡负载平衡)和FEC(Fast Ether Channel,快速以太通道)或GEC(Gigabit Ether Channel,千兆以太通道)。   ①AFT AFT技术是在服务器和交换机之间建立冗余连接,即在服务器上安装两块网卡,一块为主网卡,一块为备用网卡,然后用两根网线将两块网卡都连接到交换机上,在服务器与交换机之间建立主连接和备用连接,一旦主连接断开,备用连接会在几秒钟内自动顶替主连接的工作,而网络用户不会觉察到任何变化。   ②ALB 在ALB技术中,服务器安装的两块(两块以上)网卡可以同时工作,不仅可以提供冗余备份,还可以实现负载平衡,提高服务器的网络带宽。   ③FEC(GEC) FEC和GEC技术具有AFT和ALB技术的全部功能,在一个网卡组(几块网卡)中实现容错和负载平衡。   二、服务器磁盘容错技术   服务器磁盘容错技术内容比较多,另单独写一篇学习笔记,请参见《服务器学习笔记()磁盘RAID技术》   三、服务器整体性容错技术   服务器容错,更多的应该是强调服务器整个系统的容错,而不是仅指某一个部分的容错。磁盘冗余、网卡冗余、热插拔等都是服务器的某个方面的容错技术。服务器系统容错技术有三类:服务器集群技术、双机热备份和单机容错技术。它们所对应的容错级别是从低到高的,也就是说服务器集群技术容错级别最低,而单机容错技术级别最高。   ①服务器集群技术 服务器集群技术不仅可以做到容错,还可以实现负载平衡,提高服务器的性能。内容多,所以也单独做了学习笔记,请参见:《服务器学习笔记():服务器集群技术》   ②双机容错方案   双机容错是计算机应用系统稳定、可靠、有效、持续运行的重要保证。它通过系统冗余的方法解决计算机应用系统的可靠性问题,具有维护简单、稳定可靠、监测直观等优点,当一台主机出现故障时,冗余容错软件可及时启动另一台主机接替原主机的任务,保证了用户数据的可靠性和系统的持续运行。双机容错技术由两台服务器系统和一个外接共享磁盘阵列柜及相应的双机热备份软件组成。双机热备份通常要求两台服务器的配置完全一样。在该方案中,操作系统和应用程序安装在两台服务器的本地系统盘上,用户的数据存储在外接共享磁盘阵列中。双机热备份系统采用“心跳”方法保证主系统与备用系统的联系。   双机热备份的三种工作模式:双机热备模式、双机互备模式及双机双工模式。   Ⅰ、双机热备份(Hot Standby)   双机热备份就是一台主机为活动工作机(Active Server),另一台主机为备份(Standby Server)。在这种容错方案中,各服务器只需一块网卡,共同连接在同一网络上,磁盘阵列的连接都是通过SCSI电缆连接两主机和磁盘阵列的。   Ⅱ、双机互备(Dual Active)   所谓双机互备就是两台主机均为工作机,在正常情况下,两台工作机均为信息系统提供支持,即都为活动服务器(Active Server),并互相监视对方的运行情况。当一台主机出现异常时,不能支持信息系统正常运营,另一主机则主动接管异常机的工作。   ③单机容错方案   单机容错技术是由一台服务器实现高性能容错,它的容错能力要远比服务器集群和双机热备份的容错能力高。容错服务器是通过CPU时钟锁频和对系统中所有主要部件的冗余来实现的容错,包括CPU、内存、网卡和I/O总线等。通过系统内所有冗余部件的在线同步运行,实现真正意义上的容错。   四、HP NonStop容错服务器   HP NonStop是HP工业标准服务器系列产品中的高端产品,其专用性表现在它的核心容错结构,可进行全面的故障检测和隔离,以确保数据的完整性。整个系统无任何单点故障,其可用性达到99.999%,足以让最关键和复杂的应用得到满足。 服务器学习笔记(八):磁盘RAID技术 RAID是Redundant Array of Independent Disks的缩写,意思为独立磁盘阵列。RAID技术可以把几个物理上独立的磁盘组合成一个大的逻辑磁盘,这种磁盘组可以提高磁盘的存储性能、保证数据的安全性。对于几个常用的RAID技术进行了学习。   RAID的起源   RAID磁盘阵列系统,是美国加州大学伯克利分校Patterson教授,于1988年首先提出的,它的原理是将若干个小型磁盘驱动器与控制系统组成一个整体,在使用者看来像一个大磁盘。由于有多个驱动器并行工作,提高了存储容量和数据传输率。RAID技术主要以下三个基本功能:①通过对磁盘上的数据进行条带化,实现对数据成块存取,减少磁盘的机械寻道时间,提高了数据存取速度;②通过对一阵列中的几块磁盘同时读取,减少了磁盘的机械寻道时间,提高了数据存取速度;③通过镜像或者存储奇偶校验信息的方式,实现了对数据的冗余保护。   RAID实现的方式:硬件和软件。硬件方式就是通过RAID控制器实现。在RAID应用中,最常选用的就是RAID控制卡(有的服务器已经集了RAID控制卡),RAID控制卡是一种磁盘阵列卡,它的核心就是RAID控制芯片。   SCSI磁盘接口 SCSI(Small Computer System Interface)接口设备在RAID中的应用非常普遍,也是中高档磁盘阵列的主要接口类型。SCSI接口向来是以高传输速率和高可靠性著称,其应用速度从最初4Mb/s一直发展到目前最快的320Mb/s(Ultra320 SCSI技术规范)。   几种常见RAID模式   ◆JBOD模式   JBOD(Just Buddle of Disks,简单磁盘捆绑),JBOD并不是真正意义上的RAID模式,它是在逻辑上把几个物理磁盘一个接一个地串联到一起,从而提供一个大的逻辑磁盘,简单地从第一个磁盘开始存储,当第一个磁盘的存储空间用完后,再依次从后面的磁盘开始存储数据。   ◆RAID0   RAID0(中文:无差错控制的条带华阵列)又称为Strip(条带化)或Striping(带区集),是所有RAID规格中速度最快但可靠性最差的磁盘阵列模式。RAID0不仅可以将多块硬盘连接起来形成一个容量更大的存储设备,而且还可以获得呈倍数级增长的性能提升。在RAID0模式中,对磁盘读写是同时进行、并行操作的。如RAID0中有四块磁盘,在写数据时把数据分成等量四段,分别同时写入(并行操作)四块磁盘中;在读取数据时,目标数据被同时从多块硬盘中取出并经控制器组合成完整的文件。这样可以提高磁盘读写性能,但是它没有冗余措施,其中的某一块磁盘损坏时那么数据就会全部丢失。在RAID0模式中至少需要两块磁盘。 图一 RAID0模式   ◆RAID1(中文:镜像结构)   RAID1也被称为“镜像”,是最为安全的一种RAID模式,它是将一个磁盘上的数据完全复制到另一个磁盘上,百分百地实现数据冗余,数据安全非常有保障。它的不足之处就是磁盘利用率低只有50%,实现RAID1至少需要2块磁盘,当采用多块磁盘时,必须是对称的,即硬盘数必须是偶数。 图二  RAID1模式   ◆RAID2(带海明码校验)   RAID2是带海明码校验磁盘阵列,在这种RAID模式中,磁盘组的第2的n次幂个磁盘驱动器是专门的校验盘,用于校验和纠错,余下的其它盘才用数据存储。因此RAID2的磁盘利用率很低。   ◆RAID3(带奇偶校验码的并行传送)   RAID3为带有专用奇偶位(parity)的条带,是对RAID0的改进模式,对于RAID0中的“条带”来说,RAID3增加一块磁盘专门做奇偶校验如果某个存储数据的磁盘出现了故障,可以用它来进行数据恢复。RAID3至少需要3块磁盘。 图三   ◆RAID4(带奇偶校验的独立磁盘结构)   RAID4与RAID3很相似,不同的是RAID4对数据的访问是按数据块进行的,也就是按磁盘进行的,每次是一个盘。RAID3是一次一横条(strip条带)。所以RAID3常须访问阵列中所有的磁盘驱动器,而RAID4只须访问有用的磁盘驱动器。配置RAID4也至少需要3块磁盘。   ◆RAID5   RAID5被称为“带分布式奇偶位的条带”,RAID5把奇偶位信息随机地分布在所有的磁盘上,而不是单独用一个磁盘来存储,(RAID3单独用一块磁盘存储奇偶校验位)这样可以减轻奇偶校验盘的负担。需要至少3块磁盘。 图 四 RAID5模式   ◆RAID6(带有两种分布存储的奇偶校验码的独立磁盘结构)   RAID6是带有两种分布存储的奇偶校验码的独立磁盘结构,是使用了分配在不同的磁盘上的第二种奇偶校验的增强型RAID5。 图 五 RAID6模式   ◆RAID7(优化的高速数据传输磁盘结构)   RAID7自身带有智能化实时操作系统和用于存储管理的软件工具,可完全独立于主机运行,不占用主机CPU资源。RAID7存储计算机操作系统(Storage Computer Operating System)是一套实时事件驱动操作系统,主要用来进行系统初始化和安排RAID7磁盘阵列的所有数据传输,并把它们转换到相应的物理存储驱动器上。 图 六  RAID7模式   除了上面几种常用的RAID模式外,这些模式还可以进行组合,构成新的RAID模式:   ◆RAID0+1(RAID10)   RAID0+1是RAID0与RAID1模式的组合,它即有RAID0的高性能,也具有RAID1的安全性。实现RAID0+1模式的方法是将2组RAID0的磁盘阵列互为镜像,形成一个RAID1陈列。RAID0+1至少需要4块磁盘,成本比较高而县磁盘利用率低,只有50%。   ◆RAID30   RAID30是RAID0与RAID3的组合,它具有RAID0和RAID3的特性,由两组RAID3的磁盘组成阵列,使用专用奇偶位,而这两组磁盘再组成一个RAID0的陈列。RAID30至少要有6个磁盘,配置成本较高,磁盘利用率也较低。 图 七 RAID30模式     ◆RAID50   RAID50是RAID0与RAID5的组合,它同时具有RAID5和RAID0的特性,由两组RAID5磁盘组成。 图 八 RAID50模式   RAID相关专业词语释义:   条带(条带化):在向磁盘中读写数据时,同时把数据分成多个数据块并分布到一个磁盘阵列的多个磁盘上来提高数据吞吐量及读写速度,这个技术称为分条或条带化。   参考资源:①《RAID技术详解 》 服务器学习笔记(九):三种主流的数据存储方式 服务器与数据存储是息息相关,密不可分的,随着企业的发展,企业的应用数据量会不断增大,对数据存储的容量与性能上的要求也会越来越高。什么是数据存储呢?数据存储就是根据不同的应用环境通过采取合理、安全、有效的方式将数据保存到某些介质上并能保证有效的访问。总的来讲可以包含两个方面的含义:一方面它是数据临时或长期驻留的物理媒介;另一方面,它是保证数据完整安全存放的方式或行为。数据存储就是把这两个方面结合起来,向客户提供一套数据存放解决方案。   说到存储介质,它的范围非常广,小到计算机系统中的几百KB的ROM芯片,大到TB级的磁盘阵列系统都可以用来保存数据,都可以称为存储。   三种数据存储形式   为了减少企业对存储的整体投入,通常对不同的数据采取不同的存储方式,因此在一个较在的存储系统中的存储设备可分成三种角色:在线存储(Onstore,又称联机存储)、近线存储(NearStore)和离线存储(OffStore,又称脱机存储)。通常将不经常访问的数据存储在离线存储的设备上(如磁盘库),将要求传输速度快或经常访问的数据存放在在线存储的设备上(如磁盘阵列)。   三种主流的数据存储方式是:DAS(Direct Attached Storage,直接附加存储/直接连接存储)、NAS(Network A
/
本文档为【服务器学习笔记】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。

历史搜索

    清空历史搜索