集群
9
2008/12/04 
07:29 
8338
版本1.1 修订错别字
集群式游戏服务器架构方案设计开发
本文已经投稿CSDN,程序员第三版已经登出。
下载文件 (已下载 1847 次)
自从2003年开发VOIP Radius Server以及修改Gnugk以来，从事服务器开发已经近五年了，对服务器开发也有一些自己独到的看法以及见解。当摆脱了技术本身的束缚之后，才理解重要的并不是某种技术的运用，而是整体设计的考虑，也慢慢明白了设计是开发的灵魂的道理。
集群式游戏服务器架构方案设计开发
本文已经投稿CSDN,程序员第三版已经登出。
下载文件 (已下载 1847 次)自从2003年开发VOIP Radius Server以及修改Gnugk以来，从事服务器开发已经近五年了，对服务器开发也有一些自己独到的看法以及见解。当摆脱了技术本身的束缚之后，才理解重要的并不是某种技术的运用，而是整体设计的考虑，也慢慢明白了设计是开发的灵魂的道理。
Michael 说：
LVS/HAProxy/Squid/Varnish/Nginx/Apache/Lighttpd
当然，如果有钱，可以使用F5/Alteon
如果想成为网站系统架构的运维高手，这些你都掌握了吗？另外，我的意思也不是说掌握了这些就一定是高手了 :) 学无止境，人外有人！
另外后面有人suchasplus补充：
btw:对于运维来说
以上这些都是小case(貌似M总漏了memcached)，能满足以上要求的最多是个运维好手
我认为
真正的运维高手
关键在于Nagios,Cacti这类软件
cacti还好说，一堆官方插件，加上rrd也算好理解,除了起源比较早的网站，基本上也算可以替代mrtg
Nagios相对来说难以理解和使用，但是很强大，sohu的运维监控(不包括内容监控)就是nagios来做的。
像sohu和baidu这种大型公司，有富裕的研发力量可以去hack戴尔和hp的监控软件，不光服务器，甚至DRAC卡等设备也可以单独定制，baidu由于在基本架构方面和google相差甚远，现在运维系统也是在开发过程中。
但是即使作为中小互联网公司，保证几个9的稳定性，或者说利用开源软件来实现可扩展高稳定blabla的，这个只是运维人员最基本的要求，充分利用监控和统计软件，并且在其基础上做二次开发，在保留原始统计数据的基础上做数据挖掘，在RAC功能等的支持下达到故障预警等预见性功能，我认为已经足够了，即使 nagios有他固有的很多缺点，但是毕竟人家sohu也是用的nagios么…
运维，保证稳定性和省钱，这只是一个开始
引用
LVS/HAProxy/Squid/Varnish/Nginx/Apache/Lighttpd
当然，如果有钱，可以使用F5/Alteon
如果想成为网站系统架构的运维高手，这些你都掌握了吗？另外，我的意思也不是说掌握了这些就一定是高手了 :) 学无止境，人外有人！
另外后面有人suchasplus补充：
引用
btw:对于运维来说
以上这些都是小case(貌似M总漏了memcached)，能满足以上要求的最多是个运维好手
我认为
真正的运维高手
关键在于Nagios,Cacti这类软件
cacti还好说，一堆官方插件，加上rrd也算好理解,除了起源比较早的网站，基本上也算可以替代mrtg
Nagios相对来说难以理解和使用，但是很强大，sohu的运维监控(不包括内容监控)就是nagios来做的。
像sohu和baidu这种大型公司，有富裕的研发力量可以去hack戴尔和hp的监控软件，不光服务器，甚至DRAC卡等设备也可以单独定制，baidu由于在基本架构方面和google相差甚远，现在运维系统也是在开发过程中。
但是即使作为中小互联网公司，保证几个9的稳定性，或者说利用开源软件来实现可扩展高稳定blabla的，这个只是运维人员最基本的要求，充分利用监控和统计软件，并且在其基础上做二次开发，在保留原始统计数据的基础上做数据挖掘，在RAC功能等的支持下达到故障预警等预见性功能，我认为已经足够了，即使 nagios有他固有的很多缺点，但是毕竟人家sohu也是用的nagios么…
运维，保证稳定性和省钱，这只是一个开始
| 引用(0)
原文地址：http://highscalability.com/7-stages-scaling-web-apps
标题：The 7 Stages of Scaling Web Apps
翻译：大型web程序架构阶段
标题：The 7 Stages of Scaling Web Apps
翻译：大型web程序架构阶段
计算 Linux 中集群项目的数量就象计算硅谷中创业公司的数量一样。不象 Windows NT 已经受其自身的封闭环境阻碍，Linux 有大量的集群系统可供选择，适合于不同的用途和需要。但确定应该使用哪一个集群的工作却没有因此变得简单。
问题的部分原因在于术语集群用于不同场合。IT 经理可能关心如何使服务器运行时间更长，或使应用程序运行得更快，而数学家可能更关心在服务器上进行大规模数值计算。两者都需要群集，但是各自需要不同特性的群集。
问题的部分原因在于术语集群用于不同场合。IT 经理可能关心如何使服务器运行时间更长，或使应用程序运行得更快，而数学家可能更关心在服务器上进行大规模数值计算。两者都需要群集，但是各自需要不同特性的群集。
标题：集群式机械故障诊断专家系统开发策划
Title:Cluster mechanical fault diagnosis expert system development planning
Title:Cluster mechanical fault diagnosis expert system development planning
优化大型网站性能以及可扩展性的年会报告总结，这是我认为价值比较高的一些，希望对大家有帮助。
年会记录：http://en.oreilly.com/velocity2008/public/content/home
下载文件 (已下载 276 次)
年会记录：http://en.oreilly.com/velocity2008/public/content/home
下载文件 (已下载 276 次)
本图是根据一个目前一个客户的项目方案设计而成，但并不代表真实本项目的架构，共享出来希望可以给需要的人一个提示：
包含：
(CDN)
DNS智能解析
Squid缓存服务器
Memcached数据库缓存服务器
MYSQL Master
MYSQL Slave
图片服务器分离
Lighttpd
评论服务器分类
包含：
(CDN)
DNS智能解析
Squid缓存服务器
Memcached数据库缓存服务器
MYSQL Master
MYSQL Slave
图片服务器分离
Lighttpd
评论服务器分类
• Intro
• Global architecture
• Content Delivery Network (CDN)
• Application servers
• Persistent storage
下载文件 (已下载 112 次)
• Global architecture
• Content Delivery Network (CDN)
• Application servers
• Persistent storage
下载文件 (已下载 112 次)
| 引用(0)
本方法集合来自网络，如有版权问题，请在后面跟帖，我将删除处理，并对您表示深深歉意。
lighttpd (http://lighttpd.net/)和apache一样是开源的，与apache相比，虽然功能不及apache完善，稳定性也不如 apache，但是，不管是服务静态页面，还是服务动态内容(CGI，PHP)，它都比apache快，用于ad banner之类的WEB服务器是最恰当不过了。
本文从应用的角度，说明如何安装、配置lighttpd。
下载文件 (已下载 413 次)
lighttpd (http://lighttpd.net/)和apache一样是开源的，与apache相比，虽然功能不及apache完善，稳定性也不如 apache，但是，不管是服务静态页面，还是服务动态内容(CGI，PHP)，它都比apache快，用于ad banner之类的WEB服务器是最恰当不过了。
本文从应用的角度，说明如何安装、配置lighttpd。
下载文件 (已下载 413 次)
原本计划，对每个Spider采用单独配置文件方式启动，然后爬完后退出，经过晚上的思考，发现这个方案或许从长远的Project来说是更加适合的。而且这种设计的话，就可以有爬虫集群了，通过Socket同集群Server端交互，Server按照某个配置文件或者控制来分配任务，可以很好的解决抓重问题，DBAgent已经差不多了。
进度很快，设计思路大致如下
DB ----->DBAgent -- Spider1
-- Spider2
-----------> SpiderArrangeServer
----->DBAgent -- Spider...
-- SpiderN
SpiderN使用Socket同SpiderArrangeServer交互
DBAgent可以部署多个，
核心数据库采用Master/Slave架构
已经完成工作：
DBAgent开发
Spider1抓取端开发
Spider1分析端开发
剩下工作：
为Spider添加Socket同SpiderArrangeServer交互模块
开发SpiderArrangeServer端 可以考虑 Select模式，夸张的话就用IOCP(Win下)或者干脆跨平台开发，也应该不是问题
进度很快，设计思路大致如下
DB ----->DBAgent -- Spider1
-- Spider2
-----------> SpiderArrangeServer
----->DBAgent -- Spider...
-- SpiderN
SpiderN使用Socket同SpiderArrangeServer交互
DBAgent可以部署多个，
核心数据库采用Master/Slave架构
已经完成工作：
DBAgent开发
Spider1抓取端开发
Spider1分析端开发
剩下工作：
为Spider添加Socket同SpiderArrangeServer交互模块
开发SpiderArrangeServer端 可以考虑 Select模式，夸张的话就用IOCP(Win下)或者干脆跨平台开发，也应该不是问题
| 引用(0)
