sed初学者实用说明
[ 2009/03/28 14:35 | by selboo ]
from:http://www.yunwei.org/post/20/
sed是一个非交互性文本流编辑器，可以与vi一样对文本进行编辑，但其可以在命令行或shell脚本中执行，从而避免了繁重的人机交互式的文件编辑操作。
例如，在多个系统、应用程序安装之后，我们往往需要对很多配置文件进行修改，用vi编辑器意味着耗费时间、重复劳动，而sed就可将我们从繁重的重复劳动中解放出来。
sed的调用方式：
1、sed [sed选项] 'sed命令' 要修改的文件
2、sed [sed选项] -f sed脚本 要修改的文件
3、sed脚本 [sed选项] 要修改的文件
这里仅介绍最常用的第一种方式
sed选项：仅列常用的
-i：直接修改源文件（不用这个选项的话无法直接修改，必须重定向到新文件，如果仅作为输出测试则不需此选项），还可将源文件修改前备份
sed -i.bak 's/123/234/' test.txt 将test.txt备份为test.txt.bak，然后将文件内行第一个出现的“123”替换为“234”
-e：多次编辑，例如先将所有的123替换为234，再将第7行前加#号注释
sed -i -e 's/123/234/g' -i -e '7 s/^/#/' test.txt
-f：指定sed脚本文件名
-n：取消默认的输出（不打印），用sed不加任何选项的话你会看到所有内容输出，并不是按照sed命令所限制的条件输出，那么配合“p”命令经可以过滤掉不符合条件的行，并显示出符合条件的行，例如
sed -n '查找所有包含字符123的行'p test.txt 或 sed -n '查找所有包含字符123的行p' test.txt
sed命令：这里可以使用正则表达式，如遇特殊字符，需用“\”来屏蔽其特殊含义，例如“\$”表示普通的字符$
x x为某行行号
x,y 例如2,5，从第2行到第5行
/val/ 查询包含“val”字符的行
/val1/val2/ 查询包含两个模式的行
val/,x 在给定行号的行上查询包含“val”的行
x,/val/ 通过行号和模式查询匹配的行
x,y! 不包含指定行号x,y的行
p 打印匹配的行
= 显示行号
a\ 在定位了的行之后附加内容
i\ 在定位了的行之后插入内容
d 删除定位的行，例如：2d 代表删除第2行
c\ 用新文本替换定位行的文本
s 替换，形式为：'s/查找的内容/替换的内容/'
g 进行全局替换，如不使用此选项将只对该行匹配到的第一个结果进行替换，该行下一个匹配的就不处理了。
...其他就不介绍了，百度搜下吧
实例学习：
test.txt文件内容为
The honeysuckle band played all night long for only $90
It was an evening of splendid music and company
Too bad the disco floor fell through at 23:10
The local nurse Miss P.Neave was in attendance
1、显示第2行的内容
sed -n '2p' test.txt
2、显示第1到3行的内容
sed -n '1,3'p test.txt
3、仅显示包含“disco”的行
sed -n '/disco/'p test.txt
4、显示包含“$”字符的行
sed -n '/\$/'p test.txt
5、显示以数字结尾的行，[0-9]是正则表达式 代表数字0到9；“$”表示行尾（“^”表示行首）
sed -n '/[0-9]$/'p test.txt
显示结果为：
The honeysuckle band played all night long for only $90
Too bad the disco floor fell through at 23:10
6、显示以数字结尾的行并显示以大写T为开头的行
sed -n -e '/^T/'p -e '/[0-9]$/'p test.txt
7、匹配任意字母、后跟任意字母的多次重复，并以“ing”结尾的行
sed -n '/.*ing/'p test.txt
8、第一行与最后一行
sed -n '1p' test.txt
sed -n '$p' test.txt
9、将“nurse”改为“little nurse”，“&”命令用来重新调用被替换的内容
sed -n 's/nurse/little &/p' test.txt
10、先将所有的123替换为234，再将第7行前加#号注释
sed -i -e 's/123/234/g' -i -e '7 s/^/#/' test.txt
11、将“--------”删除，将空行删除，将第一行和最后一行删除，并打印第一列
文件内容：
Database Size(MB) Date Created
------------------------------------------
mysql 2244 12/11/08
test 5632 12/11/08
(2 rows affected)
命令：
cat test.txt | sed 's/--*//g' | sed '/^$/d' | sed '$d' | sed '1d' | awk '{print $1}'
显示结果：
mysql
test
说明：
使用s/--*//g删除横线-------
使用/^$/d删除空行
使用$d删除最后一行
使用1d删除第一行
awk {print $1}打印第一列
12、一些杂项例子
^[0-9]表示行第一个字符为任意数字，例如“1asdf”；
^[0-9]*表示行首包含任意个数的数字，例如“1818asdf”
[0-9][0-9]*$表示行尾包含至少2个数字，例如“asdfasdf18”“asdf1818”
sed -i 's/^[0-9]*//g' test.txt 删除行首的任意数字
sed -i -e 's/^[0-9]*//g' -i -e 's/$/& passed/' test.txt 删除行首任意数字，并在每行结尾加上“ passed”
sed -i -e 's/^/#&' test.txt 给每行行首加上“#”注释
s/\.$//g 删除以句点结尾的行的句点
s/^[ ][ ]*// 删除行首的任意个空格
s/^.// 删除行首的第一个字符
s/^\/// 删除行首的“/”字符
s/SP\(..\)//g 删除字符“SP”以及紧跟其后的两个任意字符，“SPLLY”-->“Y”
sed是一个非交互性文本流编辑器，可以与vi一样对文本进行编辑，但其可以在命令行或shell脚本中执行，从而避免了繁重的人机交互式的文件编辑操作。
例如，在多个系统、应用程序安装之后，我们往往需要对很多配置文件进行修改，用vi编辑器意味着耗费时间、重复劳动，而sed就可将我们从繁重的重复劳动中解放出来。
sed的调用方式：
1、sed [sed选项] 'sed命令' 要修改的文件
2、sed [sed选项] -f sed脚本 要修改的文件
3、sed脚本 [sed选项] 要修改的文件
这里仅介绍最常用的第一种方式
sed选项：仅列常用的
-i：直接修改源文件（不用这个选项的话无法直接修改，必须重定向到新文件，如果仅作为输出测试则不需此选项），还可将源文件修改前备份
sed -i.bak 's/123/234/' test.txt 将test.txt备份为test.txt.bak，然后将文件内行第一个出现的“123”替换为“234”
-e：多次编辑，例如先将所有的123替换为234，再将第7行前加#号注释
sed -i -e 's/123/234/g' -i -e '7 s/^/#/' test.txt
-f：指定sed脚本文件名
-n：取消默认的输出（不打印），用sed不加任何选项的话你会看到所有内容输出，并不是按照sed命令所限制的条件输出，那么配合“p”命令经可以过滤掉不符合条件的行，并显示出符合条件的行，例如
sed -n '查找所有包含字符123的行'p test.txt 或 sed -n '查找所有包含字符123的行p' test.txt
sed命令：这里可以使用正则表达式，如遇特殊字符，需用“\”来屏蔽其特殊含义，例如“\$”表示普通的字符$
x x为某行行号
x,y 例如2,5，从第2行到第5行
/val/ 查询包含“val”字符的行
/val1/val2/ 查询包含两个模式的行
val/,x 在给定行号的行上查询包含“val”的行
x,/val/ 通过行号和模式查询匹配的行
x,y! 不包含指定行号x,y的行
p 打印匹配的行
= 显示行号
a\ 在定位了的行之后附加内容
i\ 在定位了的行之后插入内容
d 删除定位的行，例如：2d 代表删除第2行
c\ 用新文本替换定位行的文本
s 替换，形式为：'s/查找的内容/替换的内容/'
g 进行全局替换，如不使用此选项将只对该行匹配到的第一个结果进行替换，该行下一个匹配的就不处理了。
...其他就不介绍了，百度搜下吧
实例学习：
test.txt文件内容为
The honeysuckle band played all night long for only $90
It was an evening of splendid music and company
Too bad the disco floor fell through at 23:10
The local nurse Miss P.Neave was in attendance
1、显示第2行的内容
sed -n '2p' test.txt
2、显示第1到3行的内容
sed -n '1,3'p test.txt
3、仅显示包含“disco”的行
sed -n '/disco/'p test.txt
4、显示包含“$”字符的行
sed -n '/\$/'p test.txt
5、显示以数字结尾的行，[0-9]是正则表达式 代表数字0到9；“$”表示行尾（“^”表示行首）
sed -n '/[0-9]$/'p test.txt
显示结果为：
The honeysuckle band played all night long for only $90
Too bad the disco floor fell through at 23:10
6、显示以数字结尾的行并显示以大写T为开头的行
sed -n -e '/^T/'p -e '/[0-9]$/'p test.txt
7、匹配任意字母、后跟任意字母的多次重复，并以“ing”结尾的行
sed -n '/.*ing/'p test.txt
8、第一行与最后一行
sed -n '1p' test.txt
sed -n '$p' test.txt
9、将“nurse”改为“little nurse”，“&”命令用来重新调用被替换的内容
sed -n 's/nurse/little &/p' test.txt
10、先将所有的123替换为234，再将第7行前加#号注释
sed -i -e 's/123/234/g' -i -e '7 s/^/#/' test.txt
11、将“--------”删除，将空行删除，将第一行和最后一行删除，并打印第一列
文件内容：
Database Size(MB) Date Created
------------------------------------------
mysql 2244 12/11/08
test 5632 12/11/08
(2 rows affected)
命令：
cat test.txt | sed 's/--*//g' | sed '/^$/d' | sed '$d' | sed '1d' | awk '{print $1}'
显示结果：
mysql
test
说明：
使用s/--*//g删除横线-------
使用/^$/d删除空行
使用$d删除最后一行
使用1d删除第一行
awk {print $1}打印第一列
12、一些杂项例子
^[0-9]表示行第一个字符为任意数字，例如“1asdf”；
^[0-9]*表示行首包含任意个数的数字，例如“1818asdf”
[0-9][0-9]*$表示行尾包含至少2个数字，例如“asdfasdf18”“asdf1818”
sed -i 's/^[0-9]*//g' test.txt 删除行首的任意数字
sed -i -e 's/^[0-9]*//g' -i -e 's/$/& passed/' test.txt 删除行首任意数字，并在每行结尾加上“ passed”
sed -i -e 's/^/#&' test.txt 给每行行首加上“#”注释
s/\.$//g 删除以句点结尾的行的句点
s/^[ ][ ]*// 删除行首的任意个空格
s/^.// 删除行首的第一个字符
s/^\/// 删除行首的“/”字符
s/SP\(..\)//g 删除字符“SP”以及紧跟其后的两个任意字符，“SPLLY”-->“Y”
隐藏 Apache PHP 的版本号
[ 2009/03/27 23:52 | by selboo ]
Apache:
开启 httpd.conf，加入以下两行:
ServerTokens ProductOnly
ServerSignature Off
PHP:
隐藏 PHP 版本就是隐藏类似于 "X-Powered-By: PHP/5.1.2-1+b1" 这个，开启 php.ini，加入:
php.ini
expose_php On
改成
expose_php Off
修改前
[root@selboo171 conf]# curl --head http://192.168.1.171
HTTP/1.1 200 OK
Date: Sat, 28 Mar 2009 12:15:59 GMT
Server: Apache/2.2.11 (Unix) mod_ssl/2.2.11 OpenSSL/0.9.8b DAV/2 PHP/5.2.9
Last-Modified: Sat, 20 Nov 2004 20:16:24 GMT
ETag: "9f6d3-2c-3e9564c23b600"
Accept-Ranges: bytes
Content-Length: 44
Content-Type: text/html
修改后
[root@selboo171 conf]# curl --head http://192.168.1.171
HTTP/1.1 200 OK
Date: Sat, 28 Mar 2009 12:16:15 GMT
Server: Apache
Last-Modified: Sat, 20 Nov 2004 20:16:24 GMT
ETag: "9f6d3-2c-3e9564c23b600"
Accept-Ranges: bytes
Content-Length: 44
Content-Type: text/html
开启 httpd.conf，加入以下两行:
ServerTokens ProductOnly
ServerSignature Off
PHP:
隐藏 PHP 版本就是隐藏类似于 "X-Powered-By: PHP/5.1.2-1+b1" 这个，开启 php.ini，加入:
php.ini
expose_php On
改成
expose_php Off
修改前
[root@selboo171 conf]# curl --head http://192.168.1.171
HTTP/1.1 200 OK
Date: Sat, 28 Mar 2009 12:15:59 GMT
Server: Apache/2.2.11 (Unix) mod_ssl/2.2.11 OpenSSL/0.9.8b DAV/2 PHP/5.2.9
Last-Modified: Sat, 20 Nov 2004 20:16:24 GMT
ETag: "9f6d3-2c-3e9564c23b600"
Accept-Ranges: bytes
Content-Length: 44
Content-Type: text/html
修改后
[root@selboo171 conf]# curl --head http://192.168.1.171
HTTP/1.1 200 OK
Date: Sat, 28 Mar 2009 12:16:15 GMT
Server: Apache
Last-Modified: Sat, 20 Nov 2004 20:16:24 GMT
ETag: "9f6d3-2c-3e9564c23b600"
Accept-Ranges: bytes
Content-Length: 44
Content-Type: text/html
Web 服务器架构史
[ 2009/03/27 22:43 | by selboo ]
架构演变第一步：物理分离webserver和数据库
最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候 已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易出问题，于是进入了第一步演变阶段：将应用和数据库从物理上分离，变成了两台机器，这个时候技术上没有什么新的要求，但你发现确实起到效果了，系统又恢复到以前的响应速度了，并且支撑住了更高的流量，并且不会因为数据库和应用形成互相的影响。
看看这一步完成后系统的图示：
这一步架构演变对技术上的知识体系基本没有要求。
架构演变第二步：增加页面缓存
好景不长，随着访问的人越来越多，你发现响应速度又开始变慢了，查找原因，发现是访问数据库的操作太多，导致数据连接竞争激烈，所以响应变慢，但数据库连 接又不能开太多，否则数据库机器压力会很高，因此考虑采用缓存机制来减少数据库连接资源的竞争和对数据库读的压力，这个时候首先也许会选择采用squid 等类似的机制来将系统中相对静态的页面（例如一两天才会有更新的页面）进行缓存（当然，也可以采用将页面静态化的方案），这样程序上可以不做修改，就能够 很好的减少对webserver的压力以及减少数据库连接资源的竞争，OK，于是开始采用squid来做相对静态的页面的缓存。
看看这一步完成后系统的图示：
这一步涉及到了这些知识体系：
前端页面缓存技术，例如squid，如想用好的话还得深入掌握下squid的实现方式以及缓存的失效算法等。
架构演变第三步：增加页面片段缓存
增加了squid做缓存后，整体系统的速度确实是提升了，webserver的压力也开始下降了，但随着访问量的增加，发现系统又开始变的有些慢了，在尝 到了squid之类的动态缓存带来的好处后，开始想能不能让现在那些动态页面里相对静态的部分也缓存起来呢，因此考虑采用类似ESI之类的页面片段缓存策略，OK，于是开始采用ESI来做动态页面中相对静态的片段部分的缓存。
看看这一步完成后系统的图示：
这一步涉及到了这些知识体系：
页面片段缓存技术，例如ESI等，想用好的话同样需要掌握ESI的实现方式等；
最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候 已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易出问题，于是进入了第一步演变阶段：将应用和数据库从物理上分离，变成了两台机器，这个时候技术上没有什么新的要求，但你发现确实起到效果了，系统又恢复到以前的响应速度了，并且支撑住了更高的流量，并且不会因为数据库和应用形成互相的影响。
看看这一步完成后系统的图示：
这一步架构演变对技术上的知识体系基本没有要求。
架构演变第二步：增加页面缓存
好景不长，随着访问的人越来越多，你发现响应速度又开始变慢了，查找原因，发现是访问数据库的操作太多，导致数据连接竞争激烈，所以响应变慢，但数据库连 接又不能开太多，否则数据库机器压力会很高，因此考虑采用缓存机制来减少数据库连接资源的竞争和对数据库读的压力，这个时候首先也许会选择采用squid 等类似的机制来将系统中相对静态的页面（例如一两天才会有更新的页面）进行缓存（当然，也可以采用将页面静态化的方案），这样程序上可以不做修改，就能够 很好的减少对webserver的压力以及减少数据库连接资源的竞争，OK，于是开始采用squid来做相对静态的页面的缓存。
看看这一步完成后系统的图示：
这一步涉及到了这些知识体系：
前端页面缓存技术，例如squid，如想用好的话还得深入掌握下squid的实现方式以及缓存的失效算法等。
架构演变第三步：增加页面片段缓存
增加了squid做缓存后，整体系统的速度确实是提升了，webserver的压力也开始下降了，但随着访问量的增加，发现系统又开始变的有些慢了，在尝 到了squid之类的动态缓存带来的好处后，开始想能不能让现在那些动态页面里相对静态的部分也缓存起来呢，因此考虑采用类似ESI之类的页面片段缓存策略，OK，于是开始采用ESI来做动态页面中相对静态的片段部分的缓存。
看看这一步完成后系统的图示：
这一步涉及到了这些知识体系：
页面片段缓存技术，例如ESI等，想用好的话同样需要掌握ESI的实现方式等；
Mysql 简单优化
[ 2009/03/27 22:27 | by selboo ]
thread_concurrency
数量设置为CPU核心数量的两倍.
thread_cache_size
按照内存大小来设置, 1G=8, 2G=16, 3G=32, >3G=64
wait_timeout
超时时间,如果连接数比较大,可以减少此参数的值,我使用的是10
max_connections
最大连接数,mysql实际允许连接数的值是max_connections+1,按照系统库不同而有不同性能.一般是500~1000,MySQL AB提供的linux静态库可以达到4000.
query_cache_size
查询缓冲,默认是0,所以必须打开以提高mysql性能,其本身需要40K来保存结构数据.所以不能设置的太小,初期可以设置成32M,然后根据实际运行情况另行调整
query_cache_type
指定查询缓冲的类型,0是关闭,1是缓冲除了使用SELECT SQL_NO_CACHE语句指明了不需要缓冲的数据意外的所有查询,2是只缓冲SELECT SQL_CACHE指定的查询.一般设置为1.
query_cache_limit
允许进入查询缓冲区的最小数据大小,默认值是1MB,可以修改的小一点以满足更多查询的需求.但是如果设置的过于小,则会导致很多新的小查询的结果将原有的查询结果交换出去.增加系统的颠簸.
相关命令
查询mysql服务器相关状态数据
>SHOW STATUS;
查询mysql服务器相关配置选项
>SHOW VARIABLES;
整理查询缓冲区里的碎片
>flush query cache;
删除查询缓冲区里的所有内容
>reset query cache;
设置mysql参数
>SET GLOBAL;
查询mysql当前执行的sql语句
>show processlist;
变量 含义
Qcache_queries_in_cache
在缓存中已注册的查询数目
Qcache_inserts
被加入到缓存中的查询数目
Qcache_hits
缓存采样数数目
Qcache_lowmem_prunes
因为缺少内存而被从缓存中删除的查询数目
Qcache_not_cached
没有被缓存的查询数目 (不能被缓存的，或由于 QUERY_CACHE_TYPE)
Qcache_free_memory
查询缓存的空闲内存总数
Qcache_free_blocks
查询缓存中的空闲内存块的数目
Qcache_total_blocks
查询缓存中的块的总数目
MySQL查询优化
>SHOW STATUS LIKE ‘Qcache%’;
查询出Cache状态
如果Qcache_lowmem_prunes非常大,说明因为内存不足而被交换出cache的数据很多.如果增加内存.可以保证较小的交换次数以及较高的命中率
例如现在我们查询的结果如下
| Qcache_free_blocks | 1234 |
| Qcache_free_memory | 25957504 |
| Qcache_hits | 55771119 |
| Qcache_inserts | 7441153 |
| Qcache_lowmem_prunes | 28332 |
| Qcache_not_cached | 1233788 |
| Qcache_queries_in_cache | 4810 |
| Qcache_total_blocks | 11038 |
设置为64M cache内存后
>set global query_cache_size=67108864;
| Qcache_free_blocks | 1 |
| Qcache_free_memory | 66623616 |
| Qcache_hits | 55788258 |
| Qcache_inserts | 7445445 |
| Qcache_lowmem_prunes | 28332 |
| Qcache_not_cached | 1234057 |
| Qcache_queries_in_cache | 183 |
| Qcache_total_blocks | 392 |
自由内存块看起来变小了
是因为现在自由内存块.是一个整块.而以前的内存块都是分散的小块
而因为重建了cache区
Qcache_queries_in_cache变量变小了.因为此操作重新建立了cache内存区.所有数据重新缓存
在运行一两天后我们再看此数据.如果变大了.说明增大cache内存区域是有效的.如果和以前数据差不多
说明增加的内存并没有实际起到多大的作用.
有人会觉得如果我将cache内存设置的非常大
然后将cache_limit设置成0
那么所有查询都会被缓存了
理论上是这样.但是一台数据库服务器的查询非常多.
如果连查询单条数据都要缓存.
那么内存再大也会不够的.到时候老的内容就会被交换出去
当cache内存使用满的时候,就会不停的有新查询进来将老查询替换出去.
这样导致两个结果.一个是内存颠簸.效率反而下降.
第二个是cache内存的小碎块增多,内存利用率降低
如果是只有内容很少的小库,并且查询率不高.是可以使用这种方法提高响应速度
但是如果是实际生产环境,数据量会比较大.还是需要按照最佳比例来配置.
而不同的应用不同的数据量会有不同的搭配,这点大家不要看网上的优化配置随便的填写
还是要时时的查看mysql的状态进行调整.即便是这个月调整好的优化参数
到了下个月业务不同,数据量增加,也会需要调整的.
在朋友的群里，收到一条信息，收藏下
教你怎么把骗子搞哭
1.收到骗子要你汇款的短信后先别忙著删除,看看他的卡号是什么银行的,并登陆此银行的网上营业厅,
2.输入该骗子的卡号,密码随便填写,只要3次错误,此卡在24小时之间是不能进行任何的交易了(就是被冻结了),,他就等吧,你看他不爽就天天给他来3次,叫他再骗人！！请各位发到其他论坛和各种QQ群~让坏人无法得逞！！！
如果运气超级,密码对了,请你把钱转到災區 。实在是经济有困难的就转给自己。
请你转发，让大家都知道怎么调戏骗子，快乐接力
教你怎么把骗子搞哭
1.收到骗子要你汇款的短信后先别忙著删除,看看他的卡号是什么银行的,并登陆此银行的网上营业厅,
2.输入该骗子的卡号,密码随便填写,只要3次错误,此卡在24小时之间是不能进行任何的交易了(就是被冻结了),,他就等吧,你看他不爽就天天给他来3次,叫他再骗人！！请各位发到其他论坛和各种QQ群~让坏人无法得逞！！！
如果运气超级,密码对了,请你把钱转到災區 。实在是经济有困难的就转给自己。
请你转发，让大家都知道怎么调戏骗子，快乐接力
