正在加载...
分页: 1/4 第一页 1 2 3 4 下页 最后页 [ 显示模式: 摘要 | 列表 ]
使用Bo-blog博客以来,一直被恶意评论骚扰每天都有上千条,清理起来很麻烦,

更换过 复杂验证码 汉字验证码 虽然过滤 大部分评论,但是发布恶意评论都使用机器人发布,

所以不管 成功失败 都连接服务器,消耗大量资源和带宽,

通过每天对 日志分析 发现大部分 机器人所使用 User_Agent 都是 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)"

本站 每天有  5W 左右请求  90% 都是 评论机器人占用[code][root@selboo.com.cn ~]# cat /log/access.log |wc -l
55386
[root@selboo.com.cn ~]# cat /log/access.log |grep "Mozilla/4.0 (compatible; MSIE 6.0[[separ
Tags: ,

Facebook图片管理架构

[ 2010/08/16 14:20 | by selboo ]


        Facebook 的照片分享很受欢迎,迄今,Facebook 用户已经上传了150亿张照片,加上缩略图,总容量超过1.5PB,而每周新增的照片为2亿2000万张,约25TB,高峰期,Facebook 每秒处理55万张照片,这些数字让如何管理这些数据成为一个巨大的挑战。本文由 Facebook 工程师撰写,讲述了他们是如何管理这些照片的。

旧的 NFS 照片架构
老的照片系统架构分以下几个层:
# 上传层接收用户上传的照片并保存在 NFS 存储层。
# 照片服务层接收 HTTP 请求并从 NFS 存储层输出照片。
# NFS存储层建立在商业存储系统之上。

因为每张照片都以文件形式单独存储,这样庞大的照片量导致非常庞大的元数据规模,超过了 NFS 存储层的缓存上限,导致每次招聘请求会上传都包含多次I/O操作。庞大的元数据成为整个照片架构的瓶颈。这就是为什么 Facebook 主要依赖 CDN 的原因。为了解决
(本文只针对Discuz论坛系统讨论,由于软件包更新速度比较快,你看本贴的时候可能已经是使用新版本的软件包了,安装方法可能不一致,详细请查看软件包的README文件)

测试环境:理想论坛(55188).

    理想论坛为国内人气最旺的股票论坛,注册会员已超过100万,并以每月60000人的速度稳定递增,每日页面访问量超过200万,并保持稳定增长的趋势,60分钟在线平均约2万多人,最高记录3万3千多。 目前主题超过30万,帖子接近1千万,数据库大小5.8GB,附件总大小大约150GB之前理想论坛有三台服务器,两台WEB服务器以及一台数据库服务器,访问已经渐渐出现瓶颈,在猪头的建议下,站长决定增加一台服务器放数据库,另外三台做WEB,并且对原有的服务器的操作系统进行升级。

硬件具体情况

    MySQL服务器: DualXeon 5335/8GB内存/73G SAS硬盘(RAID0+1)/CentOS5.1-x86_64/MySQL5<
Tags: , ,

Flickr架构

[ 2010/06/29 10:12 | by selboo ]

From:http://www.fuchaoqun.com/2008/08/flickr_architecture_part_i/

Flickr(http://www.fl
Tags:
1、轮询(默认)

每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。

2、weight
指定轮
Tags: ,
分页: 1/4 第一页 1 2 3 4 下页 最后页 [ 显示模式: 摘要 | 列表 ]