条条大路通罗马(ROME) --微博背后私有云平台的血泪发展史（可编辑）

条条大路通罗马(ROME) --微博背后私有云平台的血泪发展史（可编辑） 条条大路通罗马(ROME) --微博背后私有云平台的血泪 发展史 条条大路通罗马(ROME) --微博背后系统平台的血泪发展史 12年7月11日星期三 革命啦～ 12年7月11日星期三 我们是谁, ? 故事的主角们和引导者 ? 向新浪动态项目提供系统平台服务 ? 09年底5人(后接连离职2人) ? 11年初20人 12年初40人 ? SA、DBA、SysDev 12年7月11日星期三 要讲个什么样的故事 ? 系统平台化 ? 后端系统改进与平台化 ? 自动化运维 ? OaaS 12年7月11日星期三 我们从哪里开始呢, ? 每年新增PHP项目 100+ ? 3000+ 台前端服务器 100亿+ Hits/天 ? 45000+行虚拟主机配置 30G代码 (GZip后) ? 3000+ 台数据库服务器 200亿+ 数据库 请求/天 ? 6000+ 个MySQL实例 总存储量2P+ 12年7月11日星期三 让我们建个平台来承载 这一切吧 ? 统一的服务器集群，所有项目都能使 用相近等级的系统架构 ? 统一的团队，所有项目都能得到相近 的系统支持 ? 知识与研发成果共享 ? 新项目孵化更敏捷 12年7月11日星期三 User Distribution Service Developer Database Cluster 12年7月11日星期三 平台化在微博前已“初 具规模” ? 为服务器按照功能划分为多个角色 ? 为每个角色的服务维护统一的配置文 件 ? 为了易于维护，同一功能内的服务配 置文件越少越好，最好只有一个配置 文件 ? CFEngine管理一切 ? 差异配置怎么办, 12年7月11日星期三 httpd-vhost.conf_tmpl vhost_config.pl FE Node /etc/httpd-vhost.conf 12年7月11日星期三 没有配置文件的服务怎 么办, ? 那就创造一个配置文件吧, ? 当然要创造一个全局的, ? 索性与监控程序结合起来怎么样, ? INI VS YAML ? 就比如Memcached! 12年7月11日星期三 mc.conf [MBlog_Userinfo] ip .100:10000 .101:10000 .102:10000 .103:10000 memsize .100:1G .101:1G .102:1G .103:1G conn_limit .100:1W .101:1W .102:1W .103:1W [MBlog_Counter] ip .100:10001 .101:10001 .102:10001 .103:10001 memsize .100:1G .101:1G .102:1G .103:1G conn_limit .100:1W .101:1W .102:1W .103:1W MC Node Monitor Node Reporting Node /etc/init.d/memcached /etc/cron.d/check_mc /etc/monitor.d/check_mc.py /etc/reporting.d/get_mc_stats.py 12年7月11日星期三 终于，微博来了～ 12年7月11日星期三 微博带来的挑战 ? 我的首页最多要取50+1+4+2个用户 的信息 ? 我的首页最少要取50X2+3个计数器 ? 为了访问速度大量使用并依赖 Memcached ? 用户数量爆增，数据库需要不断调整 12年7月11日星期三 如果不改变，等待 我们的是... ? 如果一台Memcached宕机，会导致整 个微博故障且无法短时间恢复 ? 为了应付业务的增长，DBA “疲于奔 命” ? 每次数据库或缓存扩展，开发工程师 也跑步了 ? 随着后端系统不断增加，需要维护一 个很长,,的后端配置列 12年7月11日星期三 新的业务让我们认识到 平台化尚未完成 ? 我们决定做点不太一样的事 ? 统一命名服务 ? 分布式缓存系统 ? 数据库中间键 12年7月11日星期三 Status Update Monitor DNS Updat