采取 Windows 技术路线的 Web 2.0 站点并不多，除了 MySpace ，另外就是这个 PlentyOfFish。这个站点提供 "Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind）的站点价值 10 亿，估计要让很多人眼热，更何况 Markus Frind 每天只用两个小时打理网站--可操作性很强嘛。之所以选择 Windows .NET 的技术路线是因为 Markus Frind 不懂 LAMP 那一套东西，会啥用啥。就这样，也能支撑 超过 3000 万的日点击率(从这个数字也能看出来人类对自然天 ...
与国内的 Web 2.0 Startup 技术人员相比，国外技术人员更乐于分享。分享也是一种更好的宣传手段，如果不是看到了这篇 Scaling an early stage startup， 或许我就不会知道这位 Mark Maunder (他还有个中文名字：马孟德) 以及他的 FeedJet。一般来说，一个刚刚发布的 Web 应用，因为用户量并不多，性能问题可能并不是很明显。可一旦宣传展开，用户增长或许不是线性的而是暴增(从几十个到几万个，相比之下怎不是暴增?)，这时候如果遇到性能问题，毫无疑问会影响初期用户的信任。Maunder 文档中列举了一个扩展过程，相信这些例子也是他实际遇到的。毕竟 ...
先后查看了haproxy，l7sw和lighttpd的 相关源码，无一例外，他们一致认为多路复用是性能最好的服务器架构。事实也确实应该如此，进程的出现一方面就是为了保存任务的执行上下文从而简化应用程序 设计，如果程序的逻辑结构不是很复杂，那么用整个进程控制块来保存执行上下文未免有些大材小用，加上进程调度和其他的一些额外开销，程序设计上的高效很可 能会被执行时的低效所抵消。代价也是有的：程序设计工作将更加具有挑战性。体系结构选定之后，我们就要考虑更加细节的部分，比如说用什么操作系统，用操作系统提供的那些API。在这方面，前辈们已经做过很多，我们只需要简单的“拿来”即可，如 ...
又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo! 。非正式的采访了一下 Yupoo!(又拍网) 的创建人之一的 阿华（沈志华）同学，了解了一些小道消息。作为国内最大的图片服务提供商之一，Yupoo! 的 Alexa 排名大约在 5300 左右。同时收集到的一些数据如下：带宽：4000M/S (参考)服务器数量：60 台左右Web服务器：Lighttpd, Apache, nginx应用服务器：Tomcat其他：Python, Java, MogileFS 、ImageMagick 等首先看一下网站的架构图： 该架构图给出了很好的概览(点击可以查看在 Yupoo！ 上的大图和 ...
一个小型的网站，比如个人网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单，随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来简单的html静态网站所能比拟的。大型网站，比如门户网站。在面对大量用户访问、高并发请求方面，基本的解决方案集中在这样几个环节：使用高性能的服务器、高性能的数据库、高效率的编程语言、还有高性能的W ...
上次我们以LiveJournal为例详细分析了一个小网站在一步一步的发展成为大规模的网站中性能优化的方案，以解决在发展中由于负载增长而引起的性能问题，同时在设计网站架构的时候就从根本上避免或者解决这些问题。今天我们来看一下在网站的设计上一些通常使用的解决大规模访问，高负载的方法。我们将主要涉及到以下几方面：1、 前端负载2、 业务逻辑层3、 数据层在LJ性能优化文章中我们提到对服务器分组是解决负载问题，实现无限扩展的解决方案。通常中我们会采用类似LDAP的方案来解决，这在邮件的服务器以及个人网站，博客的应用中都有使用，在Windows下面有类似的Active Directory解决方案。有的应 ...
一、LiveJournal发展历程LiveJournal是99年始于校园中的项目，几个人出于爱好做了这样一个应用，以实现以下功能： 博客，论坛 社会性网络，找到朋友 聚合，把朋友的文章聚合在一起 LiveJournal采用了大量的开源软件，甚至它本身也是一个开源软件。 在上线后，LiveJournal实现了非常快速的增长：2004年4月份：280万注册用户。 2005年4月份：680万注册用户。 2005年8月份：790万注册用户。 达到了每秒钟上千次的页面请求及处理。 使用了大量MySQL服务器。 使用了大量通用组件。 二、LiveJournal架构现状概况三、从LiveJournal发展中 ...
Memcached是“分布式”的内存对象缓存系统，那么就是说，那些不需要“分布”的，不需要共享的，或者干脆规模小到只有一台服务器的应用，memcached不会带来任何好处，相反还会拖慢系统效率，因为网络连接同样需要资源，即使是UNIX本地连接也一样。 在我之前的测试数据中显示，memcached本地读写速度要比直接PHP内存数组慢几十倍，而APC、共享内存方式都和直接数组差不多。可见，如果只是本地级缓存，使用memcached是非常不划算的。Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作 ...
过期机制: memcached的item过期后并不会有删除该item的操作，只会在get的时候判断是否过期。 覆盖机制: 当memcached满了的时候，过期的items将会被优先覆盖，然后是用的最少的items 锁定方法: memcached并没有提供锁定某一个key的方法，可以通过其他方法来实现锁定。最常用的是用add方法。例如，我们要更新一个key，可以先王memcached里面add一个叫lock_key的键值，如果add成功，就说明锁定上了，否则，说明memcached里面已经有lock_key这个键值，有其他程序在锁定这个key了，嗯，然后可以等待，或者退出，随便，嘿嘿，参考 ht ...
前面我在《eBay 的数据量》中介绍了一些道听途说来的关于互联网巨头 eBay 服务器架构的信息，不过还缺了一点关键数据。在 Oracle 站点上的一篇题为 The eBay Global Platform and Oracle 10g JDBC 的白皮书，有能看到一些数据。在 2004 年的时候，eBay 的应用服务器采用了 IBM WebSphere，部署在 WinNT 上，硬件是 Intel 双 CPU 奔腾服务器。服务器数量是 2400 台。在《eBay 的数据量》中我们知道，eBay 的是集中式处理 Log 的，每天会有 2T 的 Log 数据产生，现在只会更多。这些应用服务器分成不 ...
了解一件事情是怎么做的一个正确的方式是看看它在现实中是怎么做的。软件工业一直以来都在为"很多idea仅仅在理论上说说"所困惑。与此同时，软件厂商不断地把这些idea作为最佳实践推销给大家。 很少的软件开发者亲眼目睹过大规模可扩展的架构这一领域。幸运的是，有时我们可以看到和听到关于这方面公开发表的资料。我读过一些好的资料关于 google的硬件基础设施的设计以及yahoo的页面渲染专利。现在，另一个互连网的巨人，eBay，给我们提供了其架构的一 ...
目标：通过本文，学习如何采用Core J2EE Patterns架构具有高度扩展性多层的J2EE应用。 作者：Deepak Alur- Senior Software Architect, SunPS program- Co-author of Core J2EE Patterns- Sun-eBay V3 Architecture—Team leader Arnold Goldberg- Lead Architect—eBay.com Platform- Led V3 architecture, design and implementatio ...
作为电子商务领头羊的 eBay 公司，数据量究竟有多大? 很多朋友可能都会对这个很感兴趣。在这一篇 Web 2.0: How High-Volume eBay Manages Its Storage(从+1 GB/1 min得到的线索) 报道中，eBay 的存储主管 Paul Strong 对数据量做了一些介绍，管中窥豹，这些数据也给我们一个参考。站点处理能力平均每天的 PV 超过 10 ...
首先声明，下面的内容都是我个人根据一些工具形成的猜想。并不保证和现实中各大门户网站所用的架构一摸一样，不过我认为八九不离十了。网易、新浪和搜狐在国内的知名 度可谓无人不知无人不晓。他们每天的点击率都在千万以上。这样大的访问量对于网易、搜狐等来说怎样利用有限的资源让网民获得最快的速度成为首要的前提，毕 竟现在网络公司已经离开了烧钱的阶段，开始了良性发展，每一笔钱砸下去都需要一定回响才行的。另一方面，技术人员要绞尽脑汁，不能让用户老是无法访问、或 者访问速度极慢。这样就算有再好的编辑、再好的销售，他们也很难将广告位卖出去，等待他们的将是关门。当然这些情况都没有发生，因为他们的技术人员都充分 的利用 ...
在过去的 Blog 中, 我(插一嘴：这里的"我" 如果替换成 "Fenng" 似乎有些自恋, 也不是我喜欢的行文语气, 可发现转贴不留名的行为太多了,他大爷的)曾经介绍过 《eBay 的应用服务器规模》 , 也介绍过 《eBay 的数据量》，在这篇文章中提到过 "eBay 购买了 Quest Share Plex 全球 Licence 用于数据复制"，这个地方其实没有说开来。对于 eBay 这样超大规模的站点来说，瓶颈往往最容易在数据库服务器上产生，必定有一部分数据(比如交易记录这样不容易水平分割的数据)容易带来大量的读操作，而不管 ...
http://blog.csdn.net/starxu85/archive/2008/02/28/2126210.aspx
在西雅图扩展性的技术研讨会上，YouTube 的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video 上有(地址)，可惜国内用户看不到。Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes 的介绍是本文的主要来源)简单的说 YouTube 的数据流量, "一天的YouTube流量相当于发送750亿封电子邮件.", 2006 年中就有消息说每日 PV 超过 1 亿,现在? 更夸张了,"每天有10亿次下载以及6,5000次上传", 真假 ...
最近其实发现了不少可以和大家一起学习的好内容。Flickr 的 John Allspaw 在 MySQL Conf 2007 作了一个题为 Capacity planning for LAMP (下载PDF文件) 的技术报告，说起容量规划，多少有点空对空的意思，不过这个 PPT 还是介绍了不少 Flickr 的网站运维经验。Flickr 的数据量的确越来越惊人了，根据文档中透漏的数据：Squid Cache 中共有 3500 万张图片；在 Squid RAM 中有 200 万张图片；4.7亿的图片，每张图片有4到5种尺寸；每秒钟 38000 个到 memcached 的请求;2 PB 裸存储容 ...
Matrix 似乎提前来到我们身边。从 06 年开始，陆续看到多次关于 Second Life(SL) 的报道。因为自己的笔记本跑不起来 SL 的客户端，所以一直没有能体会这个虚拟世界的魅力。今天花了一点时间，读了几篇相关的文档。RealNetworks 前 CTO Philip Rosedale 通过 Linden 实验室创建了 Second Life，2002 年这个项目开始 Alpha 版测试，当时叫做 LindenWorld。2007 年 2 月 24 日号称已经达到 400 万用户(用户在游戏中被称为 "Residents"，居民)。 2001 年 2 月 1 日 ...
速度是用户体验非常重要的一部分。如果说用户体验可以分成“能用、可用、好用”，“能用”就是后两者的基础。大部分用户往往会死等一个网页出来，而很少会同时做其他事情。没有速度，如何向用户展示流程，如何带给用户进一步的体验呢？Yahoo! Exceptional Performance团队在Developer Network上总结：80-90%的客户端响应时间都用于下载所有的页面元素：图片、样式表、脚本文件、Flash等等。因此，加快页面响应速度，提高页面性能是提高用户体验重要的第一步。Yahoo!最近提供了一个页面性能分析工具YSlow，以Firefo ...
现状：Hotmail目前拥有遍及全球的一万多台服务器，每天处理数十亿的电子邮件事务，存储量数千兆兆（PB），总共聘用不到100名系统管理员进行管理工作。 在增加服务器数量的同时保持管理人员人数不变，即可管理性也是一项挑战。 数据移植需要考虑复杂的性能规划、数据中心空间以及能源消耗问题。 自行构建的管理工具包括部署、度量标准收集、赁单记录、故障跟踪、代码覆盖、监控、编目、故障检测和构建系统。 许多应用程序都受到I/O的限制而非磁盘的限制，如何平衡I/O与数据的关系是非常困难的。指望磁盘性能向上扩展可能会失败，应该依靠的是向外扩展。 处理一个产品模型时，必须假设一切都 ...
高速增长的访问量给社区网络的技术体系带来了巨大挑战。MySpace的开发者多年来不断重构站点软件、数据库和存储系统，以期与自身的成长同步——目 前，该站点月访问量已达400亿。绝大多数网站需要应对的流量都不及MySpace的一小部分，但那些指望迈入庞大在线市场的人，可以从MySpace的 成长过程学到知识。 用户的烦恼 Drew，是个来自达拉斯的17岁小伙子，在他的MySpace个人资料页上，可以看到他的袒胸照，看样子是自己够着手拍的。他的好友栏全是漂亮姑娘和靓车的链接，另外还说自己参加了学校田径队，爱好吉他，开一辆蓝色福特野马。 不过在用户反映问题的论坛里， ...
加利福尼亚州山景城(Mountain View)谷歌公司(Google，下称谷歌)总部有一个43号大楼，该建筑的中央大屏幕上显示着一个与谷歌地球(Google Earth)相仿的世界地图，一个转动的地球上不停地闪动着五颜六色的光点，恍如罗马宫廷的千万烛灯，每一次闪动标志着地球的这个角落一名谷歌用户发起了 一次新的搜索。这同时意味着谷歌又一次满足了人们对未知信息的好奇与渴望。 谷歌是与众不同的。它的独特不仅仅表现于革新的思维和充满创意的应用(比如那个大堂里的地球模型)，更在于其有别常规的IT策略。从人们的常理来看，简 单的硬件商品和免费软件是无法构建出一个帝国的，但是谷歌做到了。在性能调 ...
FeedBurner（以下简称FB，呵呵）我想应该是大家耳熟能详的一个名字，在国内我们有一个同样的服务商，叫做FeedSky。在2004年7月 份，FB的流量是300kbps，托管是5600个源，到2005年4月份，流量已经增长到5Mbps，托管了47700个源；到2005年9月份流量增 长到20M，托管了109200个源，而到2006年4月份，流量已经到了115Mbps，270000个源，每天点击量一亿次。 FB的服务使用Java实现，使用了Mysql数据库。我们下面来看一下FB在发展的过程中碰到的问题，以及解决的方案。 在2004年8月份，FB的硬件设备包括3台Web服务器， ...
看了一些人的所谓大型项目的方法,我感觉都是没有说到点子上，有点难受。我也说说自己的看法.我个人认为,很难衡量所谓项目是否大型,即便很简单的应用在高负载和高增长情况下都是一个挑战.因此,按照我的想法,姑且说是高负载高并发或者高增长情况下,需要考虑的问题.这些问题,很多是和程序开发无关,而是和整个系统的架构密切相关的.数据库没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的优化措施是M-S（主-从）方式进行同步复制， ...
分析mixi.jp and Yeejee.com：用开源搭建的可扩展大型SNS网站（一）总概关键点：1，Mysql 切分，采用Innodb运行2，动态Cache 服务器 -- 美国Facebok.com,中国Yeejee.com,日本mixi.jp均采用开源分布式缓存服务器Memcache3，图片缓存和加速 Mixi目前是日本排名第三的网站，全球排名42，主要提供SNS服务：日记，群组，站内消息，评论，相册等等，是日本最大的SNS网站。Mixi从2003年12月份开始开发，由现在它的CTO - Batara Kesuma一个人焊，焊了四个月，在2004年2月份开始上线运行。两个月后就 ...
1， LVS做前端四层均衡负载基于IP虚拟分发的规则,不同于apache,squid这些7层基于http协议的反向代理软件, LVS在性能上往往能得到更好的保证！2，squid 做前端反向代理加缓存squid 是业内公认的优秀代理服务器，其缓存能力更让许多高负载网站青睐！（比如新浪，网易等）使用他, 配合ESI做WEB动态内容及图片缓存，最合适不过了3，apache 用来处理php或静态html，图片apache是业内主流http服务器，稳定性与性能都能得到良好保证!4，JBOSS 用来处理含复杂的业务逻辑的请求JBOSS是red hat旗下的优秀中间件产品，在java开源领域小有名气，并且完 ...
Twitter 是我最近一段时间用的最多的网络服务之一.还记得刚开始有段时间发消息速度那叫一个慢. 难得的是 Twitter 的开发者在用户激增的情况下性能提升的不错, 据说,相比当初有 100 倍的性能提升, 那我们就来看看他们都做了什么.(发现我这个 Blog 快成了 High Scalability 的中文镜像站了.)是否真的是 100 倍性能提升, 大可不必较真, 但 Twitter 的一些经验是足以借鉴的.Ruby on rails似乎 Twitter 是用 RoR 开发的流量最大的站点(有待于求证). 开始使用DRb ("Distributed Ruby".), ...
国庆期间又收集了一些关于网站架构的信息。一直没有进行系统的整理。越来越发现其实都是自我重复的劳动，后续的信息都是嚼别人剩下的甘蔗。--by FenngDigg 工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5 亿美金的站点目前有超过 100 台的 PC 服务器(足够少了)，可以粗略分成三个部分：数据库服务器，Web 服务器，搜索服务器。数据库方面，和其他成功的 Web 2.0 站点一样，也是 MySQL，不过 Digg 稍微"激进"一点，用 MySQL 5，而且号称从 MyS ...
维基百科(WikiPedia.org)位列世界十大网站，目前排名第八位。这是开放的力量。来点直接的数据：峰值每秒钟3万个 HTTP 请求 每秒钟 3Gbit 流量, 近乎375MB 350 台 PC 服务器(数据来源) 架构示意图如下： Copy @Mark BergsmaGeoDNS在我写的这些网站架构的 Blog 中，GeoDNS 第一次出现，这东西是啥? "A 40-line patch for BIND to add geographical filters support to the existent views in BIND", 把用户带到最近的服 ...
huangxx
- 浏览: 19774 次
- 详细资料
搜索本博客
最新评论
-
PlentyOfFish 网站架构学 ...
学习呢
-- by ytsongjun -
PUSHLET 实战：FRAME ONLO ...
1.客户端主动重连是可以的，可以利用_listenFrameReady()，自己 ...
-- by huangxx -
PUSHLET 实战：FRAME ONLO ...
想请教一下pushlet 是否可实现重连,当连接断开后,既tomcat服务停掉后 ...
-- by long-zhigang -
PUSHLET 实战：push mode ...
可能是我现在对Pushlets还了解得不深吧,感觉Pushlets不是什么新的技 ...
-- by qichunren -
dbunit 用来做数据库数据 ...
呵呵，去看看它的文档吧。
-- by huangxx
评论排行榜