Nginx 使用 User_Agent 阻止恶意评论
[ 2011/08/27 20:45 | by selboo ]
使用Bo-blog博客以来,一直被恶意评论骚扰每天都有上千条,清理起来很麻烦,
更换过 复杂验证码 汉字验证码 虽然过滤 大部分评论,但是发布恶意评论都使用机器人发布,
所以不管 成功失败 都连接服务器,消耗大量资源和带宽,
通过每天对 日志分析 发现大部分 机器人所使用 User_Agent 都是 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)"
本站 每天有 5W 左右请求 90% 都是 评论机器人占用[code][root@selboo.com.cn ~]# cat /log/access.log |wc -l
55386
[root@selboo.com.cn ~]# cat /log/access.log |grep "Mozilla/4.0 (compatible; MSIE 6.0[[separ
更换过 复杂验证码 汉字验证码 虽然过滤 大部分评论,但是发布恶意评论都使用机器人发布,
所以不管 成功失败 都连接服务器,消耗大量资源和带宽,
通过每天对 日志分析 发现大部分 机器人所使用 User_Agent 都是 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)"
本站 每天有 5W 左右请求 90% 都是 评论机器人占用[code][root@selboo.com.cn ~]# cat /log/access.log |wc -l
55386
[root@selboo.com.cn ~]# cat /log/access.log |grep "Mozilla/4.0 (compatible; MSIE 6.0[[separ
Facebook图片管理架构
[ 2010/08/16 14:20 | by selboo ]
Facebook 的照片分享很受欢迎,迄今,Facebook 用户已经上传了150亿张照片,加上缩略图,总容量超过1.5PB,而每周新增的照片为2亿2000万张,约25TB,高峰期,Facebook 每秒处理55万张照片,这些数字让如何管理这些数据成为一个巨大的挑战。本文由 Facebook 工程师撰写,讲述了他们是如何管理这些照片的。
旧的 NFS 照片架构
老的照片系统架构分以下几个层:
# 上传层接收用户上传的照片并保存在 NFS 存储层。
# 照片服务层接收 HTTP 请求并从 NFS 存储层输出照片。
# NFS存储层建立在商业存储系统之上。
因为每张照片都以文件形式单独存储,这样庞大的照片量导致非常庞大的元数据规模,超过了 NFS 存储层的缓存上限,导致每次招聘请求会上传都包含多次I/O操作。庞大的元数据成为整个照片架构的瓶颈。这就是为什么 Facebook 主要依赖 CDN 的原因。为了解决
日20万IP负载均衡实战-理想论坛
[ 2010/07/23 12:09 | by selboo ]
(本文只针对Discuz论坛系统讨论,由于软件包更新速度比较快,你看本贴的时候可能已经是使用新版本的软件包了,安装方法可能不一致,详细请查看软件包的README文件)
测试环境:理想论坛(55188).
理想论坛为国内人气最旺的股票论坛,注册会员已超过100万,并以每月60000人的速度稳定递增,每日页面访问量超过200万,并保持稳定增长的趋势,60分钟在线平均约2万多人,最高记录3万3千多。 目前主题超过30万,帖子接近1千万,数据库大小5.8GB,附件总大小大约150GB之前理想论坛有三台服务器,两台WEB服务器以及一台数据库服务器,访问已经渐渐出现瓶颈,在猪头的建议下,站长决定增加一台服务器放数据库,另外三台做WEB,并且对原有的服务器的操作系统进行升级。
硬件具体情况
MySQL服务器: DualXeon 5335/8GB内存/73G SAS硬盘(RAID0+1)/CentOS5.1-x86_64/MySQL5<
测试环境:理想论坛(55188).
理想论坛为国内人气最旺的股票论坛,注册会员已超过100万,并以每月60000人的速度稳定递增,每日页面访问量超过200万,并保持稳定增长的趋势,60分钟在线平均约2万多人,最高记录3万3千多。 目前主题超过30万,帖子接近1千万,数据库大小5.8GB,附件总大小大约150GB之前理想论坛有三台服务器,两台WEB服务器以及一台数据库服务器,访问已经渐渐出现瓶颈,在猪头的建议下,站长决定增加一台服务器放数据库,另外三台做WEB,并且对原有的服务器的操作系统进行升级。
硬件具体情况
MySQL服务器: DualXeon 5335/8GB内存/73G SAS硬盘(RAID0+1)/CentOS5.1-x86_64/MySQL5<
nginx的upstream目前支持5种方式的分配
[ 2010/06/24 10:20 | by selboo ]