上一篇: 
Facebook图片管理架构
Facebook图片管理架构Nginx 使用 User_Agent 阻止恶意评论
[ 2011/08/27 20:45 | by selboo ]
使用Bo-blog博客以来，一直被恶意评论骚扰每天都有上千条，清理起来很麻烦，
更换过 复杂验证码 汉字验证码 虽然过滤 大部分评论，但是发布恶意评论都使用机器人发布，
所以不管 成功失败 都连接服务器，消耗大量资源和带宽，
通过每天对 日志分析 发现大部分 机器人所使用 User_Agent 都是 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)"
本站 每天有 5W 左右请求 90% 都是 评论机器人占用
[root@selboo.com.cn ~]# cat /log/access.log |wc -l
55386
[root@selboo.com.cn ~]# cat /log/access.log |grep "Mozilla/4.0 (compatible; MSIE 6.0[[separator][separator]separator]; Windows NT 5.1; SV1;)"|wc -l
42487
查看请求排名前五的 User_Agent55386
[root@selboo.com.cn ~]# cat /log/access.log |grep "Mozilla/4.0 (compatible; MSIE 6.0[[separator][separator]separator]; Windows NT 5.1; SV1;)"|wc -l
42487
[root@selboo.com.cn ~]# cat /log/access.log |awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}'|sort -n|tail -n 5
774 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; JianKongBao Monitor 1.1)
781 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
795 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
1084 Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
42545 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)
确定 User_Agent 后可以修改 Nginx 配置文件 来阻击 评论774 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; JianKongBao Monitor 1.1)
781 Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
795 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
1084 Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
42545 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;)
修改 nginx.conf 在相关 server 项下增加
if ($http_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\)")
{
return 500;
}
判断一下user-agent，如果是 Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1;) 返回 500 错误。{
return 500;
}
=============================
nginx中location模块的详细参数介绍
Nginx的Location可以有以下几个匹配：
1. = 严格匹配这个查询。如果找到，停止搜索。
2. ^~ 匹配路径的前缀，如果找到，停止搜索。
3. ~ 为区分大小写的正则匹配
4. ~* 为不区分大小写匹配
5.!~和!~*分别为区分大小写不匹配及不区分大小写不匹配
文件及目录匹配
* -f和!-f用来判断是否存在文件
* -d和!-d用来判断是否存在目录
* -e和!-e用来判断是否存在文件或目录
* -x和!-x用来判断文件是否可执行
一些可用的全局变量
$args
$content_length
$content_type
$document_root
$document_uri
$host
$http_user_agent
$http_cookie
$limit_rate
$request_body_file
$request_method
$remote_addr
$remote_port
$remote_user
$request_filename
$request_uri
$query_string
$scheme
$server_protocol
$server_addr
$server_name
$server_port
$uri
rewrite后面的flag可以是:
last
break
redirect
permanent
proxy_pass http://localhost:80;
proxy_set_header Host $host;
可以自动改变转发以后的域名信息
最后编辑： selboo 编辑于2011/08/27 20:54
官方发布了补丁 好像作用不大