正在加载...
分页: 1/1 第一页 1 最后页 [ 显示模式: 摘要 | 列表 ]
      Rsyslog+LogAnalyzer 相信很多朋友都在用,也相信很多朋友遇到主机名问题,比如日志的主机名都是localhost,如下图

点击在新窗口中浏览此图片

      这种情况是由于没有设置合理的主机名导致的,还有一种情况主机名相同但是源IP不同,也可能导致无法详细分析日志

一、修改主机名

This is The Text Code
[root@localhost ~]# vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=syslog
Parsed in 0.000 seconds at 531.13 KB/s

从http://hackmysql.com/mysqlsla下载mysqlsla,当前最新版为:2.03

tar zxvf mysqlsla-2.03.tar.gz
cp mysqlsla-2.03/bin/mysqlsla /usr/local/bin
如果提示“Can’t locate DBI.pm”,执行以下命令

yum install perl-DBI perl-DBD-MySQL -y
这时就可以使用mysqlsla了,用法如下

mysqlsla -lt slow slow.log

点击在新窗口中浏览此图片

整体来说, 功能非常强大. 数据报表,非常有利于分析慢查询的原因, 包括执行频率, 数据量, 查询消耗等.
格式说明如下:
总查询次数 (queries total), 去重后的sql数量 (unique)
输出报表的内容排序(sorted by)
最重大的慢sql统计信息, 包括 平均执
Tags: , ,
来源:柳永法(yongfa365)'Blog

专题名称:IIS日志清理专题,CMD版,VBS版,JS版,WSH版

关键词:IIS日志清理,日志清理,IIS日志清理CMD版,IIS日志清理VBS版,IIS日志清理JS版,IIS日志清理WSH版

应用场合:主要用与虚拟主机,也可用于个人服务器  

      产生背景:2005 年某月某日,一向运行正常的虚拟主机死机了,让机房值班人员重启数次,都不成,接显示器进系统看,提示:C盘空间不足,半夜还得去机房处理,到机房后先断网,再进系统发现有两个地方有问题,C:\WINDOWS\system32\LogFiles文件有6G,还有一个就是Symantec隔离病毒的地方,到网上找了下,最大可能性是我们的虚拟主机的所有日志都写在这里,并且没人知道写在这里,郁闷,在IIS里看了下,还真是这么回事,日志天天都在长,当时公司订单很多也没人关注这个,当时清理了一下,系统正常,回到公司后把IIS日志改到别的盘了。

解决方案:不过这不是最终解决方法呀,一个虚拟主机几百个站点呢,有的站点一天就能产生几百M的日志文件,还得及时清理。

与是有了两种解决方案:
1.每天清理前60天的日志
2.过段时间清理一下60天前的日志。
不过哪种方法都得采用技术处理,人工去删除 的话除非你很专业,可以查找60天前的日志文件来删除,不过即便你技术很好,这种方法也是很费时的,最好的方法是:使用DOS批处理或脚本来实现,可使用到的脚本主要是vbs与js.

在下边的解决方案里有几种方法大家可以选择适合自己的,他们的总的设计思路是这样的:

      IIS日志文件的格式是:ex年月日.log 比如:ex071116.log
IIS日志文件存储位置:默认情况下是在:%windir%\system32\LogFiles ,如果您使用的是专业的IIS管理软件,里面一般会让你设置相应日志目录

      IIS日志清理CMD版:跟据当前时间计算出前N天的日期,比如今天是:2007-11-16,前60天的日期就是2007-9-16(程序可以自动识别30天或31天或润月),然后再处理成20070916这样的格式,然后再组合成ex070916.log这样的IIS日志文件格式,这样一来我们就得到的要清理的日志文件名然后,我们再使用del /s /f d:\iislog\ex070916.log 来清除日志所在文件夹目录及子目录下的所有这个文件名的文件了,从而清除志,但这个仅仅是清除一天的日志,所以我们还得把这个批处理加到计划任务里,让它每天定时执行,这样一来,所有的计算机的日志问题我们就可以不用管了。

      IIS日志清理VBS版:VBS版理论是没有iis版快,因为他还要借助脚本驱动,而不像cmd版直接使用dos系统的批处理功能快(猜的),VBS毕竟是高级语言,处理日期的能力用一句话就实现了,而CMD版得写半页。IIS日志清理VBS版的实现用VBS遍历IIS日志所在目录下的所有文件,及文件夹,然后取文件名组合成日期型的,然后当前日期-这个日期,看看是不是超过了设定的天数,超过的话delete,这种思路有个好处就是一次可以清除N天前的所有记录,而不是只是一天的,他可以你CMD版日志清理一样,把这个脚本写到计划任务里,天天运行,也可以过一段时间手动运行一次。这个代码明显比IIS日志清理CMD版少了。

      IIS日志清理JS版:这个版其实与IIS日志清理VBS版差不了多少,思路都是一样的,只是使用的脚本语言不一样而已,还有就是调用时的两个参数里的每一个参数:目录,这个目录得写成:D:\\iislog,以前都用vbs还当主要脚本,这次主要是要学C#了,听说这两种语言都差不多,正好也练习下,也没花多少时间。

      IIS日志清理WSH版:WSH版其实是最简单的,因为他的集成化程度很高,操作过程是这样的:使用vbs或js生成要处理的文件的文件名,然后再使用WScript.Shell执行cmd命令来处理,利用了IIS日志清理CMD版及IIS日志清理VBS版的优点,这个也是一次只能处理一天的日志,当然您也可以把它改成处理多天的日志。正因为WSH集成化程度高,可以执行很多操作,所以黑客们都很喜欢这个,用的最多的也就是WScript.Shell,所以一般安全意识比较高的服务器提供商都会把这个组件给禁用掉,这样一来,这个最好用的功能就变成了最不能使用的,通用性最差的了。
实例代码:

IIS日志清理CMD版代码(DelIISLog.cmd):

@echo off
title Made by www.yongfa365.com
::设置当前日期前多少天或后多少天
set/a beforedays=-3
::设置目录所在位置
set   dir="F:\log\"
::当前日期转换为天数并进行计算
call :Date2Day %date:~0,10% days
set/a days=%days%%beforedays%
call :Day2Date %days% lastdate
::计算完毕,生成想要的字符组合
set okstr=ex%lastdate:~2,6%.log
::删除这些文件
del del /f /s /q %dir%\%okstr%

cmd /k

:Date2Day
setlocal ENABLEEXTENSIONS
for /f "tokens=1-3 delims=/-, " %%a in ('echo/%1') do (
set yy=%%a & set mm=%%b & set dd=%%c
)
set /a dd=100%dd%%%100,mm=100%mm%%%100
set /a z=14-mm,z/=12,y=yy+4800-z,m=mm+12*z-3,j=153*m+2
set /a j=j/5+dd+y*365+y/4-y/100+y/400-2472633
endlocal&set %2=%j%&goto :EOF

:Day2Date
setlocal ENABLEEXTENSIONS
set /a i=%1,a=i+2472632,b=4*a+3,b/=146097,c=-b*146097,c/=4,c+=a
set /a d=4*c+3,d/=1461,e=-1461*d,e/=4,e+=c,m=5*e+2,m/=153,dd=153*m+2,dd/=5
set /a dd=-dd+e+1,mm=-m/10,mm*=12,mm+=m+3,yy=b*100+d-4800+m/10
(if %mm% LSS 10 set mm=0%mm%)&(if %dd% LSS 10 set dd=0%dd%)
endlocal&set %2=%yy%%mm%%dd%&goto :EOF


IIS日志清理VBS版代码(DelIISLog.vbs):

'IIS日志清理VBS版代码(DelIISLog.vbs)  Made by www.yongfa365.com
'调用方法:DelIISLog "IIS日志所在路径",保留多少天的IIS日志
'遍历IIS日志文件夹下的所有文件及子文件夹下的文件
Function DelIISLog(IISLogPath,KeepDays)
on error resume next
    Set oFso = CreateObject("Scripting.FileSystemObject")
    Set oFolder = oFso.GetFolder(IISLogPath)
    Set oSubFolders = oFolder.SubFolders  '得到该目录下所有的文件夹的集合
    Set oFiles = oFolder.Files '得到该目录下所有的文件的集合
    '第一步处理当前目录下的所有文件
    For Each oFile In oFiles '遍历所有文件
        if right(oFile.name,3)="log" then
          oDate=cdate("20" & mid(oFile.name,3,2) & "-" & mid(oFile.name,5,2) & "-" & mid(oFile.name,7,2))
          if date-oDate > KeepDays then oFile.delete '判断是不是要处理的IIS日志文件,如果是的话直接删除
        end if
    Next
    '第二步处理当前目录下的所有目录,进行递归调用
    For Each oSubFolder In oSubFolders
        DelIISLog oSubFolder.Path,KeepDays '递归
    Next
End Function
DelIISLog "D:\IISLogTest",20 '遍历


IIS日志清理JS版代码(DelIISLog.js):

//IIS日志清理JS版代码(DelIISLog.js)  Made by www.yongfa365.com
//调用方法:DelIISLog("IIS日志所在路径",保留多少天的IIS日志);
//遍历IIS日志文件夹下的所有文件及子文件夹下的文件
function DelIISLog(IISLogPath,KeepDays){
  var fso = new ActiveXObject("Scripting.FileSystemObject");
  var f = fso.GetFolder(IISLogPath);
  var Folders = new Enumerator(f.SubFolders); //得到该目录下所有的文件夹的集合
  var Files = new Enumerator(f.Files); //得到该目录下所有的文件的集合
  //第一步处理当前目录下的所有文件
  for (; !Files.atEnd(); Files.moveNext()) {
      var fileName = Files.item().name;
      var year = "20" + fileName.substr(2, 2);
      var mouth = fileName.substr(4, 2);
      var day = fileName.substr(6, 2);
      var days = Math.round(((new Date()).getTime() - Date.UTC(year, mouth - 1, day)) / 1000 / 60 / 60 / 24);
      if (days > KeepDays) Files.item().Delete(); //判断是不是要处理的IIS日志文件,如果是的话直接删除
  }
  //第二步处理当前目录下的所有目录,进行递归调用
  for (; !Folders.atEnd(); Folders.moveNext()) {
    DelIISLog(Folders.item(),KeepDays);
  }
}
//调用函数,比如:"F:\\log",5  或 "C:\\windows\\system32\\LogFiles",5
DelIISLog("D:\\IISLogTest",2);


IIS日志清理WSH版代码(DelIISLog.wsf):

<job id="IIS日志清理WSH版代码(DelIISLog.wsf) Made by www.yongfa365.com">
  <script language="vbscript">
    '作者:柳永法(yongfa365)'Blog
    '修改:2007-11-15
    '操作说明:此文件只能清除一天的日志,得使用计划任务让其每天执行一次,因为服务器上一般都禁用WScript.Shell,所以不推荐使用
    Function DelIISLog(IISLogPath,beforedays)
      d=Now-beforedays
      If Right(IISLogPath,1) <> "\" Then IISLogPath=IISLogPath & "\"
      p= IISLogPath & "ex" & Right(Year(d),2) & Right("0" & Month(d),2)  & Right("0" & Day(d),2)  & ".Log"
      Set WshShell = WScript.CreateObject("WScript.Shell")
      wscript.echo p
      WshShell.Run ("cmd.exe /c del /s " & p)
      Set WshShell = Nothing
    End Function

    DelIISLog "D:\IISLogTest",2
  </script>
</job>


      有时我拿到别人的代码时我得写一堆东西来测试,现在这个如果让您去测试的话,您不会直接在服务器上测试吧,所以,以下再贴出本人柳永法的测试脚本,主要是在D盘生成一个测试文件夹,及一些IIS测试日志文件,

IIS日志清理之IIS日志生成系统(CreateIISLog.vbs):

'IIS日志清理之IIS日志生成系统(CreateIISLog.vbs)  Made by www.yongfa365.com
'创建文件夹
Function CreateFolder(Folder)
    On Error Resume Next
    Set FSO = CreateObject("Scripting.FileSystemObject")
    FSO.CreateFolder(Folder)
    If Err>0 Then
        Err.Clear
        CreateFolder = False
    Else
        CreateFolder = True
    End If
End Function
'创建文件
Function CreateFile(FileName, Content)
    On Error Resume Next
    Set FSO = CreateObject("Scripting.FileSystemObject")
    Set fd = FSO.CreateTextFile(FileName, True)
    fd.WriteLine Content
    If Err>0 Then
        Err.Clear
        CreateFile = False
    Else
        CreateFile = True
    End If
End Function

CreateFolder "D:\IISLogTest"
CreateFolder "D:\IISLogTest\IISLogs001"
CreateFolder "D:\IISLogTest\IISLogs002"
CreateFolder "D:\IISLogTest\IISLogs003"
for i=1 to 30
  d=date-i
  filename="ex" & right(year(d),2) & right("0" & month(d),2) & right("0" & day(d),2) & ".log"
  CreateFile "D:\IISLogTest\" & filename,Content
  CreateFile "D:\IISLogTest\IISLogs001\" & filename,Content
  CreateFile "D:\IISLogTest\IISLogs002\" & filename,Content
  CreateFile "D:\IISLogTest\IISLogs003\" & filename,Content



      后记:这个方法不仅可以用在IIS日志处理方面,还可以用在处理Serv-U的日志处理,前提条件是Serv-U的日志文件的格式也得设成像IIS日志这样的格式ex071115.log。
Tags: ,

      Apache的日志分割要借助于目前国际上最流行、最通用的日志分割工具cronolog。日志轮循工具cronolog,已经是比较的相当成熟,在不中断apache服务器的情况下,它能严格的按每一天00:00:00-23:59:59来实现日志文件的分割,同时不受apache服务器重启的影响,安装配置十分简单。

第一步    安装cronolog

首先需要下载和安装cronolog,可以到http://www.cronolog.org/ 下载最新版本的cronolog。下载完毕以后,解压安装即可,方法如下所示:

[root@www tmp]# tar xvfz cronolog-1.6.2.tar.gz
[root@www tmp]# cd cronolog-1.6.2
[root@www cronolog-1.6.2]# ./configure
[root@www cronolog-1.6.2]# make
[root@www cronolog-1.6.2]# make check
[root@www cronolog-1.6.2]# make install

完成cronolog的配置和安装,默认情况下cronolog是安装在/usr/local/sbin下。

第二步   配置httpd.conf

在此认为apache服务器安装在/usr/local/目录下;修改apache日志配置文件httpd.conf如下所示:

1、设置日志格式定义

把httpd.conf中的以下语句:
LogFormat “%h %l %u %t \”%>s %b \”%{Referer}I\” \%{User-Agent}I\””combine

改为:
LogFormat “%h %l %u %t \”%>s %b \”%{Referer}I\” \%{User-Agent}I\””

2、设置TransferLog命令
CustomLog /usr/local/apache/logs/access_log common

或是
CustomLog /usr/local/apache/logs/access_log combine



TransferLog “|/usr/local/sbin/cronolog /usr/local/apache/logs/%Y%m%daccess_log”

备注:
/usr/local/sbin/cronolog 为cronolog安装后的路径。
/usr/local/apache/logs/ 为日志分割时候日志保存位置。

      如果是有虚拟站点,那么需要对虚拟站点另外单独设置TransferLog命令,这样保证不同的虚拟站点的日志保存在不同的位置,也就是说每个虚拟站点都有单独的日志文件。如下所示,虚拟站点www.abc.com中添加TransferLog命令,保存的日志文件为单独的文件%y%m%dabcaccess_log。


       ServerAdmin   webmaster@dummy-host.example.com
       DocumentRoot       /usr/local/apache/docs/xxxx
       ServerName    www.abc.com
       TransferLog   “|/usr/local/sbin/cronolog /usr/local/apache/logs/%Y%m%dabcaccess_log”


第三步   重新启动Apache服务器

保存设置,重启apache服务器,浏览网站后,就会在 /usr/local/apache/logs/ 目录下产生当天对应的虚拟网站日志文件。

2、设置虚拟目录来发布日志
第一步    打开Apache配置文件httpd.conf,在其中(如果是虚拟主机发布,那么需要在虚拟配置范畴内)添加以下代码:
Alias /wwwlogs/ "/usr/local/apache/logs/"

    Options Indexes MultiViews
    AllowOverride None
    Order allow,deny
    Allow from xxx.xxx.xxx.xxx



以上的设置把/usr/local/apache/logs/目录下面的所有日志通过/wwwlogs/ 这个虚拟目录发布处理。同时这个虚拟目录禁止除了xxx.xxx.xxx.xxx(网站群流量分析服务器)以外的所有IP地址访问。

重新启动Apache服务器
Tags: , ,
分页: 1/1 第一页 1 最后页 [ 显示模式: 摘要 | 列表 ]