为了正常的体验网站,请在浏览器设置里面开启Javascript功能!

案例分析dns故障引发子网流量异常

2017-09-20 13页 doc 31KB 18阅读

用户头像

is_212655

暂无简介

举报
案例分析dns故障引发子网流量异常案例分析dns故障引发子网流量异常 这是最近亲历的一起网络故障,故障比较典型,排错思路比较可取。我把这个过程写下来和大家分享,希望能够帮助到你。 1、症状描述 客户来电报告中心主网络则基本正常,而一个子网突然变慢。这是本地铁通网络服务公司,该公司为普通用户提供Web服务和Internet接入服务。前几天其服务的一个片区的用户反映网络速度很慢,发Email也需要等待超过60秒以上的时间才能联通。这个片区被划分为一个子网,从主机房的网管系统上观察发现除了该片区(子网)路由器流量很高以外(测试为97%),中心网络的路由器与其它...
案例分析dns故障引发子网流量异常
案例dns故障引发子网流量异常 这是最近亲历的一起网络故障,故障比较典型,排错思路比较可取。我把这个过程写下来和大家分享,希望能够帮助到你。 1、症状描述 客户来电中心主网络则基本正常,而一个子网突然变慢。这是本地铁通网络服务公司,该公司为普通用户提供Web服务和Internet接入服务。前几天其服务的一个片区的用户反映网络速度很慢,发Email也需要等待超过60秒以上的时间才能联通。这个片区被划分为一个子网,从主机房的网管系统上观察发现除了该片区(子网)路由器流量很高以外(测试为97%),中心网络的路由器与其它子网的交互流量均为40%以下。此外,没有其它特别现象。 2、诊断过程 铁通的维护人员自行进行了网络排错可惜没有找到故障所在,由于不能断开网络停止用户服务来进行检查,于是求助于我们,本人被派出诊。应该说,从症状上看这个故障比较简单,只要查出子网的路由流量来源就可以很快确定故障方向,进一步则立即可以查出流量源。 从网络拓扑图上看,故障子网与中心网络为E1链路。故障子网下面有一个营业厅,一般只与中心网络交互一些业务数据应该不会有太大的流量。此外,该子网下的Web服务器数量为45台,中心的网管系统报告97%的流量肯定是过高的。 笔者考虑只有一种情况可以比较多地占用E1通道的有效流量,那就是故障子网下的网站与中心网络的网站或服务器之间有多媒体文档的传输或者下载业务才会造成这种情况。不过询问管理人员得知中心网络并不提供诸如多媒体视频的播放和下载服务,那只能借助工具进行检测了。 由于故障网络规模比较小,中心网络的网管系统只支持到路由器一级的管理,交换机和服务器等采用的是廉价的桌面交换机,所以无法支持网络管理。将网络测试仪接入交换机进行测试,启动便携网管功能,可以看到路由器的流量和网管系统观测的到的流量是相同的,均为97%左右。 查看中心网络处与此相连的路由器流量,也是997%左右,这说明路由器通道链路性能基本正常。不过这样高的通道流量必然导致路由器拥塞和丢包,所以从流量的角度看又是不正常的。现在需要了解的是,如此高的路由流量是从哪里来的,以及数据包到达路由器以后的去向等。这样就可以很快定位导致如此之高的通道流量的数据源和拥塞源。 将网络流量分析仪接入网络的路由器通道进行监测和分析,结果显示95%流量流向了业务数据服务器,且多数为HTTP和Email方面应用。其中,Internet访问流量占88%,本地流量占7%。查看流量分析仪指示的流量来源分布图,没有发现集中的流量应用,IP地址分布比较均衡,最高的流量只占0.5%。这些数据明,用户的应用比例均衡,故障原因应该在应用过程中而不是某个集中的用户“轰击”比如黑客等。也就是说,应该是应用的过程和通道出了问题。其原因是这些流量按通道设计不应该到达营业厅网络的业务服务器,而是应该直接从中心网络的Internet主路由器进入互联网。那么,这些流量是如何被引导到营业厅服务器方向上来的呢? 下面我们进行进一步的分析,大家知道IP数据包在传输过程中会在路由器中作地址解析(ARP),或是在本地DNS中进行域名分析。如果这些分析路径出问题,则IP数据包的传输和交换就会出问题。根据流量分析仪的指示,笔者任意选择了10个IP地址做路由追踪测试,用网络测试仪追踪的结果是,他们都要经过一个DNS服务器。而模仿营业厅网络成员分别对已知的本地和外地用户做ICMP监测和路由追踪测试,结果发现ICMP监测中重定向数据包占 82%,目标不可达数据包数量占13%。这表明,只有约2%的用户能一次性出入正常路由到达目标站点,其余95%的IP数据包都要经过路由竞争或重新发送才能有部分机会到达目的地。 由此,可以重点检查主路由器的路由表和DNS的转换表。由于多数Internet访问流量 被引导到了营业厅业务服务器,所以可以重点检查DNS 服务器。用网络测试仪对DNS服务器做查询,观察查询结果,发现DNS转换表有相当大的比例指向了营业厅子网中的业务服务器。笔者怀疑是DNS服务器出了问题! 于是通知中心网络的网管人员将DNS服务器重新启动并快速设置一次,稍后网络管理人员报告网络业务恢复正常。用网络测试仪的Internet工具包查询DNS服务器,可以看到指向营业厅业务服务器的数据已经全部消失,这表明网络已经完全恢复了正常工作。但好景不长,约3分钟后,故障重新出现,仍有97%的通道流量被指向了子网。 由于DNS服务器只设置了一台,没有备份或备用服务器,于是不得不立即来到中心网络机房,对DNS服务器及其周围设备进行检查。测试服务器网卡和与路由器的电缆正常。为了不中断服务,笔者让网管人员在另一台备用服务器上临时安装设置了DNS服务器。经过短暂的业务中断后,更换上的新DNS服务器开始投入适用。只见子网路由器的流量立刻降低到了1.5%。经过30分钟的稳定工作后,所有用户均恢复到正常工作状态,故障消除。 3、故障原因 大家知道,DNS服务器用于将用户域名转换为IP地址,一般来说不会出现什么问题。但由于某些原因,造成了类似本例的中转换地址统统指向了营业厅子网的业务服务器。业务服务器不具备路由处理功能,对发送来的IP数据包要么拒收并置之不理,要么返回目标不可达或需要重定向的报告数据包。这就是我们在ICMP监测时经常观察到的现象。 本地铁通的用户数量并不多,而且与上级网络的链路带宽为155M的ATM链路,大有富余,所以上Internet的用户其上网速度主要受子网带宽的影响。因为许多的用户要经过拥挤的无效E1链路,造成路由重定向和严重的时延。大量的IP数据包拥向只有2M带宽的子网路由器,流量达到了97%,造成子网工作速度突然变慢,路由器出现严重拥塞等现象。 4、两点建议 (1).DNS服务器要定期“体检” 基为了防止DNS服务不稳定造成业务中断或出错,不少网管人员在设置DNS服务器时都安装了备用DNS服务器,亦即安装不只一台DNS服务器。但这样做也会带来一个潜在的危险,即主DNS服务器出问题,备用自动服务器投入运行,这样会牺牲一定的网络带宽,使得系统总体性能有所下降。危险在于,性能的下降常常是在不知不觉中来到的。所以,为了保证网络经常处于良好的工作状态,网络管理人员需要定期检查DNS服务器的转换表。 本故障中的DNS指向错误导致用户的IP数据包对准了子网服务器,但如果对准的不是服务器而是中心网络本地网段中的某台机器,则故障强度会减弱,用户不会感到非常明显的速度变慢。这样可能不会感到明显的“身体不适”从而使得网络长期带病运行。就象人一样,定期的体检对及时发现疾病及其隐患是非常必要的。而如何及时发现路由优化方面的问题,也是网络定期项目测试中的内容之一,对大型网络则更有必要,必须坚持定期维护和测试。 (2).网络状况的实时监控 许多网络设备如路由器、交换机、只能集线器等都支持SNMP网管功能,但为了全面监测网络通道功能,还需要网络设备支持全面的RMON和RMON2。用这样的设备组建起来的网络其管理和故障诊断功能是很不错的。但现实的问题是,这样的网络设备价格是普通网络设备的 6,10倍左右,用户难以接受。因此,为了随时监测网络的服务应用流量及其比例、来源,工作记录以及必要时进行解包分析,建议用户在重要的服务器通道或路由通道上安装监测接口。以便必要时可以随时将流量分析仪、网络测试仪接入通道进行监测和分析。这样,本故障的查找时间可以缩短到20分钟左右。当然,如果资金允许,也可以将流量分析仪长期接入通道对多个重要的网络设备进行全速率透明流量监测,这样可以把故障定位时间缩短到1分钟以内。 这次“出诊”总的来说还算顺利,其实每次出诊就是一次学习和提高的机会。也许上述案 例只是个案,你可能不会遇到,但排错思路还是值得大家借鉴的。另外,最后的两点建议我希望能够引起大家的重视. 下面是经典歌词100句,朋友们可以享受下,不需要的朋友可以下载后编辑删除!!谢谢!! 林夕经典歌词 1、若只是喜欢,何必夸张成爱。——林 2、擦光所有火柴难令气氛像从前闪耀,至少感激当日陪着我开甜蜜癿玩笑。——《失恋太少》 3、你是千堆雪我是长街,怕日出一到彼此瓦解。——《邮差》 4、谁能告诉我,要有多坚强,才敢念念不忘。——《当时癿月亮》王菲 5、我愿意做你癿老师,示范着执子之手如何解释,不愿为深奥癿感情变白痴。——《诗人癿情人》方大同 6、有一梦便造多一梦,直到死别都不觉任何阵痛,趁冲动能换到感动,这愉快黑洞苏醒以后谁亦会扑空。——《梦死醉生》张国荣 7、谁能改变人生癿长度,谁知道永恒有多么恐怖,但现实往往比命运还残酷,只是没有人愿意认输。——《无间道》 8、似等了一百年忽已明白,即使再见面,成熟地表演,不如不见。——《不如不见》 9、在有生癿瞬间能遇到你,竟花光所有运气。——《明年今日》 10、害怕悲剧重演我癿命中命中,赹美丽癿东西我赹不可碰。其实我再去爱惜你又有何用,难道这次我抱紧你未必落空?——《暗涌》 11、黑了倦眼都侧耳倾听,让我做只路过蜻蜓,留下能被怀念过程,虚耗着我这便宜生命。——《路过蜻蜓》张国荣 12、如除我以外在你心,还多出一个人,你瞒住我,我亦瞒住我,太合衬。原来我非不快乐,只我一人未収觉若无其事原来是最狠癿报复。——《想哭》 13、闭起双眼我最挂念谁眼睛张开身边竟是谁。——《人来人往》 14、我想知如何用爱换叏爱,如何赤足走过茫茫深海,赸乎奇迹以外。当赤道留住雪花,眼泪融掉细沙,你肯珍惜我吗?——《当这地球没有花》 15、那日我狂哭不止,曾经差一点想过死,多少艰辛不可告人,多少光阴都因为等。——《奇迹》 16、爱若难以放进手里,何不将这双手放进心里。——《人来人往》 17、剪影癿你轮廓太好看,凝住眼泪才敢细看。——《约定》 18、但凡未得到,但凡是过去,总是最登对。——《似是故人来》 19、无论热恋中失恋中,都永进记住第一,,别要张开双眼。——《相爱很难》 20、得到,你癿爱情,还要再得到你任性。一切,原是注定,因我跟你都任性。——《明知故犯》 21、悲哀是真癿,泪是假癿,本来没因果,一百年后没有你也没有我。——《百年孤寂》 22、感情寻找它癿模特儿,衣朋挂在橱窗,有太多人适合,没有独一无二。——《香奈儿》 23、有生之年狭路相逢终不能幸免,手心忽然长出纠缠癿曲线,懂事之前情动以后长不过一天,留不住算不出流年。——《流年》 24、不要我癿我不要,不爱我癿我不爱,把灯关上连背影都不会存在。——《不爱我癿我不爱》 25、我们拥有癿,多不过付出癿一切。——《不爱我癿我不爱》 26、可能在我左右,你才追求,孤独癿自由。——《红豆》 27、拿下了你这感情包袱戒者反而相信爱。——《邮差》 28、如能忘掉渴望,岁月长衣裳薄。——《再见二丁目》 29、不是爱不起,只是伤不起。——《伤不起》 30、就像蝴蝶飞不过沧海,没有谁忍心责怪。——《蝴蝶》 31、爱是没名字癿歌,留给这世上没名字癿你。——《没名字癿歌,无名字癿你》 32、过去都已经过期,何必要跟自己过不去,还过得去,就值得恭喜。——《还 过得去》 33、做最爱做癿我没什么不敢,才是最大癿力量,梦想癿现场,每个人头上都有光环。——《梦想》 34、只想追赶生命里一分一秒,原来多麽可笑,你是真正目标。——《追》 35、但愿我可以没成长,完全凭直觉觅对象。模糊地迷恋你一场,就像风雨下潮涨。——《有心人》 36、趁冲动,能换到感动,这幻觉不去用苏醒以后难道你会哭出笑容。——《梦死醉生》 37、哭,我为了感动谁。笑,又为了碰着谁。——《路过蜻蜓》 38、我就是我,是颜色不一样癿烟火。——《我》 39、从前到以后,一夜间拥有,谁说这不算相恋到白头。——《红颜白収》 40、天爱上地,不会完全凭运气。这刻春光明媚,差点不忍记起。——《奇迹》 41、你离开了,却散落四周。——《左右手》 42、你这样恨我,好不好过,温馨被单,都变成负荷。——《你这样恨我》 43、十年之后,我们是朊友,还可以问候;只是那种温柔,再也找不到拥抱癿理由。——《十年》 44、不信眼泪,能令失乐癿你爱下去。难收癿覆水,将感情慢慢荡开去。如果你太累,及时地道别没有罪。牵手来,空手去就去。——《玱璃之情》 45、感情不必拿来慷慨。——《因为爱,所以爱》 46、谁貌似花美艳?是谁努力照亮半边天?但是情无独钟,贪心癿你偏爱哪一边?——《情无独钟》 47、谁亦记得不能容他宠坏,不要对他倚赖,感情随他出卖,若你喜欢犹大。 ——《情,》 48、传说有一男一女同偕到白収之后才怀念刻骨铭心癿旧友,回头陪着那合照,一块将余生渡过。——《一千零一个》 49、爱是一段一段一丝一丝癿是非,叫有情人再不能够说再会。——《天下有情人》 50、不爱就不爱,难捱就不捱。——《如果你是李白》 1.但凡未得到,但凡是过去,总是最登对。《似是故人来》 ——所以和你生活的那一个,永远是second best 。 2.无论热恋中失恋中,都永远记住第一戒,别要张开双眼。《相爱很难》 ——爱情就是盲目的。能使爱情长久的方法,便是找片树叶来遮住眼睛。 3.得到,你的爱情,还要再得到你任性。一切,原是注定,因我跟你都任性。《明知故犯》 ——难怪李宗盛要说爱情是精神鸦片 。 4.悲哀是真的,泪是假的,本来没因果,一百年后没有你也没有我。《百年孤寂》 ——既是如此,何必执着, 5.感情寻找它的模特儿,衣服挂在橱窗,有太多人适合,没有独一无二。《香奈儿》 ——这年头,哪有不二臣,(亦舒语)所以,没什么放不下的。 6.有生之年狭路相逢终不能幸免,手心忽然长出纠缠的曲线,懂事之前情动以后长不过一天,留不住算不出流年。《流年》 ——爱情有时徒有虚名,不过是一场宿命。 7.不要我的我不要,不爱我的我不爱,把灯关上连背影都不会存在。《不爱我的我不爱》 ——唱的容易做的难,谁又真能如此洒脱, 8.我们拥有的,多不过付出的一切。 ——爱情游戏中,永远只有十分之一的甜,剩下的十分之九,有苦,有涩,有酸,就是没有甜。 9.可能在我左右,你才追求,孤独的自由。《红豆》 ——拥有的时候永远不懂珍惜,人类通病。 10.拿下了你这感情包袱或者反而相信爱。《邮差》 ——拿开旧的奶酪,才能得到新的。所以,谁动了我的奶酪,并不要紧。 11.你喜欢不如我喜欢,你的不满成全我的美满。《你喜欢不如我喜欢》 ——这样爱,会容易得多。 12.就像蝴蝶飞不过沧海,没有谁忍心责怪。《蝴蝶》 ——只要蝴蝶曾在沧海上飞过,就已足够,结果,永远没有过程重要。 13.不要迷信情变等于灯灭,不要含泪直到与他肯定再不相见,爱恨无须壮烈,不随便狂热。《情戒》 ——感情,只是人生中的一小部分,不要为它死去活来,让人看低。 14.害怕悲剧重演,我的命中越美丽的东西我越不可碰。《暗涌》 ——爱情虽然美丽,却是易碎玻璃。 15 不要虔诚直到懂得怎样去爱魔鬼,纪念留给下世,不对别人发誓 。《情戒》 ——要学会自己保护自己,也不要轻易对一段感情做出承诺,否则害人害己。 16.每个人都是单行道上的跳蚤,每个人皈依自己的宗教,每个人都在单行道上寻找,没有 人相信其实不用找。《单行道》 ——缘分可遇不可求。 17.有一梦便造多一梦,直到死别都不觉任何阵痛,趁冲动能换到感动,这愉快黑洞苏醒以后谁亦会扑空。 《梦死醉生》 ——人生得意需尽欢,莫使金樽空对月。感情是一个道理,愉快那么快,何必等到互相伤害, 18.你这样恨我好不好过,温馨被单都变成负荷,当牧童害了绵羊难道觉得庆贺。《你这样恨我》 ——本是相爱的人到最后却只能互相伤害,这是爱情最可悲的地方。 19.你欣赏我因我本性不会改,别太认真认真怎可放开自在。《寂寞有害》 ——爱一个人不见得是要在他的名前冠上“我的”二字,换言之,爱不是占有,所以给他多一点空间,不要老想他按着自己的意愿改变 。 20.相亲相爱倒不如想入非非真真假假也无所谓。《想入非非》 ——有时候,性比爱重要。但要小心像《蓝宇》那样由性进入爱,那可就违背你游戏人间的初衷了。 21.没有拥抱你只怕这个游戏代价不菲,没有爱上谁也该知道爱一个人好累。《想入非非》 ——所以准备爱的时候,一定要看看自己有没有这个能力。 22.从前和以后一夜间拥有,难道这不算相恋到白头 ,但愿会相信缠绵时分手,能令我减轻了内疚。《红颜白发》 ——在爱到极至时分手,是最明智的选择。天长地久,只能让感情生锈。 23.夜晚会面白天道别,才没有弱点。《侧面》 ——真正爱一个人,千万别只看他侧面。更不能不看他的缺点,否则这将成为感情最大的弱点。 24.你爱我爱不起,我怪你怪不起。《你爱我爱不起》 ——感情有时候也要讲究门当户对,这是知心灵和心志上的门当户对,要知道,陈家洛是配不起霍青桐的。 25.我不完美,但你未见得很爱美。我想完美,难怪被你太早放弃。《你爱我爱不起》 ——追求完美,有时反而会让爱情更快破碎。 26.爱是一朵从天飘下来的雪花还没结果已经枯萎 ,爱是一滴擦不干烧不完的眼泪还没凝固已经成灰。《天下有情人》 ——不是每一段情都一定会有结果。 27.爱是一段一段一丝一丝的是非,叫有情人再不能够说再会。《天下有情人》 ——这就是为什么不要随便发誓的原因,越脆弱的东西,变数就越多。 28.若是要细水可以变长流,就像等他长出铁锈无法再分手。《固定伴侣》 ——那又何苦, 29.别离原为战胜与光阴的竞赛,每把声音定会嘱咐要早出早回来,只是回头便知时代早不存在, 临别的激动和悲哀却可印证着爱。《早去早回》 ——当你不能再拥有的时候,你唯一能做的,就是不要忘记。 30.彼此相爱也许更爱自己。《寂寞便找我》 ——任何人最爱的都只是自己,所以永远不要对别人说:我最爱的人是你或最爱你的人是我。 31.传说有一男一女同偕到白发之后才怀念刻骨铭心的旧友,回头陪着那合照,一块将余生渡过。《一千零一个》 ——早知今日,何必当初, 32.游荡只不过为逃避,期待只不过为回味,即使给我盛放的蔷薇,贪恋的只怕是那愉快的气味。《一枝花》 ——难怪最美的爱情到最后也只是一堆泡沫。 33.谁亦记得不能容他宠坏,不要对他倚赖,感情随他出卖,若你喜欢犹大。《情戒》 ——人生要有原则和底线,不能为了他牺牲你的一切,子君离开涓生并不一定就要自杀,她还可以过好她的下半生,只要她不再对别人倚赖。 34.谁貌似花美艳,是谁努力照亮半边天,但是情无独钟,贪心的你偏爱哪一边,《情无独钟》 ——大部分的男人都喜欢天使的面孔,婴儿的大脑,所以女人永远不可能事业和爱情兼顾。 35.感情不必拿来慷慨。《因为爱,所以爱》 ——不伤害爱你而你不爱的人的最好办法,就是告诉他你不爱他,感情是给你想爱的人的,不像金钱,只要够慷慨,便能救助他人。 36.你是我的红药水,他只是杯黑咖啡。你会问我累不累,他却让我不能睡。 《女朋友的男朋友》 ——所以,千万不要抢女朋友的男朋友。 37.不爱就不爱,难捱就不捱。《如果你是李白》 ——分手要干脆。 38.为这为那,谈情为了享受,为你为我,为何为他忍受,《情戒》 ——如果你对他的感觉有了忍受,那这段情便可以断了。 39.原来过得很快乐,原来我并不快乐,只我一人未发觉。《再见二丁目》 ——难道非要两个人才能发觉, 40.不信眼泪,能令失乐的你爱下去。难收的覆水,将感情慢慢荡开去。如果你太累,及时地道别没有罪。牵手来,空手去就去。《玻璃之情》 ——如果你真爱他,他想走的时候,就让他走,即使,可悲…… 41.如果我换过别的衣裳,你对我会不会一样;如果你换过别的脸庞,我对你有没有新的欲望;如果我换过别的衣裳,你对我就不会遗忘;如果你躺在她的身旁,你对我会不会说个谎,— 《懒洋洋》歌手:齐豫 专辑:骆驼.飞鸟.鱼 ——爱过经年,懒洋洋,还有没有机会,重燃激情的希望。 42.十年之后,我们是朋友,还可以问候;只是那种温柔,再也找不到拥抱的理由。—《十年》歌手:陈奕迅 专辑:黑.白.灰 ——情人变成朋友的滋味,不试试,别人说也不对味。 43.如是我闻,仰慕比暗恋还苦……难道爱比恨更难宽恕。—《宽恕》电视剧《天龙八部》 ——爱的箴言,比偈还难解。 44.多年后想起今天值得不值得—《打错了》王菲2001同名专辑 ——这话简单的要死,可惜多年以前的时候都不肯相信。 45.你很爱我,你只爱我,听得不好意思寂寞。—《感情生活》歌手:王菲 专辑:唱游 ——因为爱了而不再寂寞,还是爱过才会懂得何谓寂寞。 46.最后一首:彼岸花 看见的 熄灭了 消失的 记住了 我站在海角天涯 听见土壤萌芽 等待昙花再开 把芬芳留给年华 彼岸没有灯塔 我依然 张望着 天黑 刷白了头发 紧握着 我火把 他来 我对自己说 我不害怕 我很爱他
/
本文档为【案例分析dns故障引发子网流量异常】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。

历史搜索

    清空历史搜索