阿权的书房

配置centos更新源的缓存服务器

Mon, 05 Apr 2010 09:12:29 +0000

参考《使用163开源镜像升级你的Centos 》

如果设置源服务器为163的，你有很多服务器需要处理，那建立一个本地缓存服务器是一个很好的选择，更新一次后，那之后的更新速度可就快的要命啊。。

配置nginx为类似如下样子，自行修改自己的需求：

upstream backend {
  server mirrors.163.com:80 ;
}

server {
  #server_name  www.aslibra.com;
  server_name  mirrors.aslibra.com;
  set $index 'index.htm';
  set $store_file $request_filename;
  #root    /Data/www.aslibra.com;
  root    /Data/mirrors/mirrors.163.com;
  if ($uri ~ /$ ){
    set $store_file $request_filename$index;
  }
  location /centos/ {
    index index.htm;
    proxy_store on;
    proxy_temp_path /Data/mirrors/tmp;
    proxy_set_header Host mirrors.163.com;
    proxy_store_access user:rw group:rw all:rw;
    if ( !-e $store_file ) {
      proxy_pass http://backend;
    }
  }
}

yum的配置可以如下：

[base]
name=CentOS-$releasever - Base
baseurl=http://mirrors.aslibra.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-5

[updates]
name=CentOS-$releasever - Updates
baseurl=http://mirrors.aslibra.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-5

[addons]
name=CentOS-$releasever - Addons
baseurl=http://mirrors.aslibra.com/centos/$releasever/addons/$basearch/
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-5

[extras]
name=CentOS-$releasever - Extras
baseurl=http://mirrors.aslibra.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-5

[centosplus]
name=CentOS-$releasever - Plus
baseurl=http://mirrors.aslibra.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirror.centos.org/centos/RPM-GPG-KEY-CentOS-5

就这样OK了！
Tags - linux , centos , yum , nginx

yum安装nginx需要的类库

Tue, 16 Mar 2010 12:40:23 +0000

以下几个是解决安装过程碰到的pcre和md5的问题

yum -y install pcre-devel openssl openssl-devel

其中pcre-devel是解决pcre的，剩余两个解决md5的，很简便。

参考阅读：the HTTP rewrite module requires the PCRE library
Tags - yum , nginx

注意404错误

Mon, 08 Feb 2010 11:59:08 +0000

曾经几次发生404的问题导致服务器请求很慢，这个问题一直都还没有明确原因。
为什么404错误会导致连接数特别高？

引用

Active connections: 1118
server accepts handled requests
48870809 48870809 48557219
Reading: 1116 Writing: 2 Waiting: 0

Active connections: 17
server accepts handled requests
50852281 50852281 50537511
Reading: 16 Writing: 1 Waiting: 0

上面是nginx在404错误时，和修复404错误之后的变化，404错误居然能够产生有1k多的连接。
更换为lighttpd也是一样，顶不住。。
reading的数量特别高，导致访问其它服务特别慢。汗一把。。有空再细看资料，大家平时多注意。。。
Tags - nginx

记一正则，匹配非某单词

Fri, 21 Aug 2009 14:25:47 +0000

由于要rewrite一个地址从
/mag/xx/xxx/ -> /m/xxx
但原先 /mag/xx/more/ 要保留
这就得写一个比较奇特的正则了，尝试了比较多的写法也没成功

最先想的是：

location ~* ^/mag/[^/]+/[^(more)]+/ {
rewrite ^/mag/[^/]+/(.*) /m/$1 permanent;
}

[]的写法并不凑效，里面是匹配单个字符的，这样无效，匹配不了

还是小范同学不错，研究的深入，提供了非某单词的写法 (?!more)

location ~* ^/mag/[^/]+/(?!more)([^/]+)/ {
rewrite ^/mag/[^/]+/(.*) /m/$1 permanent;
}

这个写法勉强可以应付了，后面的匹配单元虽说还不完美，但也能够对付我的所有需求内容了。
有需要的可以参考此写法。

引用

常用分组语法

捕获
(exp) 匹配exp,并捕获文本到自动命名的组里
(?exp) 匹配exp,并捕获文本到名称为name的组里，也可以写成(?'name'exp)
(?:exp) 匹配exp,不捕获匹配的文本，也不给此分组分配组号

零宽断言
(?=exp) 匹配exp前面的位置
(?<=exp) 匹配exp后面的位置
(?!exp) 匹配后面跟的不是exp的位置
(?

参考资料：正则表达式
Tags - nginx

Nginx的proxy_redirect作用

Tue, 21 Jul 2009 15:47:48 +0000

Nginx的代理功能太完善了，我们看看proxy_redirect参数的作用。

案例说明：
要做一个html.aslibra.com的域名处理很多网站的html内容，当然是后端的服务器了，目录分析
html.zcom.com/img.aslibra.com/
html.zcom.com/css.aslibra.com/
访问的域名是该目录下的域名，那前端nginx的配置应该类似这样：

server {
  server_name img.aslibra.com;
  location / {
    rewrite ^(.*) /$http_host$1 break;
    proxy_set_header Host html.aslibra.com;
    proxy_pass http://cache-89;
  }
}

但这样访问目录时如果没有以“/”结尾，则服务器会返回301redirect：

[root@aslibra ~]# curl -I http://img.aslibra.com/www
HTTP/1.1 301 Moved Permanently
Server: nginx/0.7.59
Date: Tue, 21 Jul 2009 15:28:58 GMT
Connection: keep-alive
Location: http://html.aslibra.com/img.aslibra.com/www/

html.aslibra.com这个域名并非公布的域名，返回给客户端是会自然产生错误的
Nginx可以很好的处理这个问题：

server {
  server_name img.aslibra.com;
  location / {
    rewrite ^(.*) /$http_host$1 break;
    proxy_set_header Host html.aslibra.com;
    proxy_pass http://cache-89;
    proxy_redirect   http://html.aslibra.com/img.aslibra.com/    /;
  }
}

加一行proxy_redirect后，正常了：

[root@aslibra ~]# curl -I http://img.aslibra.com/www
HTTP/1.1 301 Moved Permanently
Server: nginx/0.7.59
Date: Tue, 21 Jul 2009 15:23:49 GMT
Content-Type: text/html
Location: http://img.aslibra.com/www/
Connection: keep-alive
Content-Length: 185
Expires: Tue, 21 Jul 2009 16:23:49 GMT
Cache-Control: max-age=3600

就这么样就ok啦~
不过貌似不支持变量出现在地址里，这个就郁闷了，必须指定相应域名。
对于多个域名匹配的server，redirect设置不能写作'/'了，否则会用第一个域名作为redirect域名
可以写几个匹配规则：

proxy_redirect http://html.aslibra.com/img.aslibra.com/ http://img.aslibra.com/;
proxy_redirect http://html.aslibra.com/css.aslibra.com/ http://css.aslibra.com/;

Tags - proxy , nginx , redirect

Nginx做文件镜像和多域名同内容处理

Wed, 17 Jun 2009 16:46:30 +0000

Nginx的代理功能很强大，主要体现在可以设置返给后端服务器的http头信息，这一点可以让我们方便的实现很多需求。

比如要做一个镜像，这个当然有可能是好事。
http://a.aslibra.com/s/main.jpg
我需要访问 http://b.aslibra.com/s/main.jpg 也是一样的内容呢？

server {
  server_name  b.aslibra.com;
  root    /Data/webapps/b.aslibra.com;
  error_page           404 = @fetch;
  location @fetch {
    internal;
    proxy_store             on;
    proxy_store_access      user:rw  group:rw  all:r;
    proxy_set_header Host a.aslibra.com;
    proxy_set_header referer http://a.aslibra.com/;
    proxy_pass   http://backend;
    root  /Data/webapps/b.aslibra.com;
  }
}

利用缓存功能就可以了，以上例子还加上了简单破解防盗链的方法，就是加上正确的referer的头信息就可以了
upstream自己可以设定，修改了host的信息，使得相当于本地访问backend使用了要做镜像的域名。

同理，要多个域名是一样的内容是，那可以多个域名使用同样的server设定，简单的指定host值即可，不列举了。
Tags - nginx , proxy

Nginx升级笔记

Wed, 10 Jun 2009 15:39:58 +0000

升级一下Nginx，笔记一下：

wget http://sysoev.ru/nginx/nginx-0.7.59.tar.gz
tar xfz nginx-0.7.59.tar.gz
cd nginx-0.7.59
./configure --prefix=/Data/apps/nginx \
--with-http_ssl_module \
--with-http_stub_status_module \
--without-mail_pop3_module \
--without-mail_imap_module \
--without-mail_smtp_module \
&& make && make install

#平滑升级可执行程序，使用新的 nginx 可执行程序替换旧的
kill -USR2 `cat /Data/apps/nginx/logs/nginx.pid`
#你可以让旧进程停止工作
kill -QUIT `cat /Data/apps/nginx/logs/nginx.pid.oldbin`
#如果不需要完全停止旧进程，还希望恢复的，你必须发送 WINCH 信号给旧的主进程，然后，它的工作进程就将开始从容关闭
kill -WINCH `cat /Data/apps/nginx/logs/nginx.pid.oldbin`

升级后的信息：

[root@localhost nginx]# curl -I http://localhost
HTTP/1.1 403 Forbidden
Server: nginx/0.7.59
Date: Wed, 10 Jun 2009 15:04:14 GMT
Content-Type: text/html
Content-Length: 169

参考资料：
Nginx中文文档 > 运行和控制 Nginx - 命令行参数和信号
Tags - nginx

Nginx0.7.53新的重载方式

Tue, 09 Jun 2009 15:55:33 +0000

新安装了0.7.59，发现了有新的东西：

[root@aslibra ~]# /Data/apps/nginx/sbin/nginx -h
nginx version: nginx/0.7.59
Usage: nginx [-?hvVt] [-s signal] [-c filename] [-p prefix] [-g directives]

Options:
  -?,-h         : this help
  -v            : show version and exit
  -V            : show version and configure options then exit
  -t            : test configuration and exit
  -s signal     : send signal to a master process: stop, quit, reopen, reload
  -p prefix     : set prefix path (default: /Data/apps/nginx/)
  -c filename   : set configuration file (default: conf/nginx.conf)
  -g directives : set global directives out of configuration file

以前没有-h的参数，今天尝试发现了 \(^o^)/~

重载配置可以使用 -s reload 多方便呀~
以前还得 kill -HUP `cat logs/nginx.pid` 麻烦东西

参考changelog：

引用

Changes with nginx 0.7.53                                        27 Apr 2009

    *) Change: now a log set by --error-log-path is created from the very
       start-up.

    *) Feature: now the start up errors and warnings are outputted to an
       error_log and stderr.

    *) Feature: the empty --prefix= configure parameter forces nginx to use
       a directory where it was run as prefix.

    *) Feature: the -p switch.

    *) Feature: the -s switch on Unix platforms.

    *) Feature: the -? and -h switches.
       Thanks to Jerome Loyet.

Tags - nginx

[转]Nginx 监控

Tue, 09 Jun 2009 01:30:39 +0000

记录一下nginx的统计信息的意义

location ~ ^/NginxStatus/ {
stub_status on; #Nginx 状态监控配置
access_log off;
}

首先我们定义了一个 location ~ ^/NginxStatus/，这样通过 http://localhost/NginxStatus/ 就可以监控到 Nginx 的运行信息，显示的内容如下：

引用

Active connections: 70
server accepts handled requests
14553819 14553819 19239266
Reading: 0 Writing: 3 Waiting: 67

NginxStatus 显示的内容意思如下：

active connections – 当前 Nginx 正处理的活动连接数。
server accepts handled requests -- 总共处理了 14553819 个连接 , 成功创建 14553819 次握手 ( 证明中间没有失败的 ), 总共处理了 19239266 个请求 ( 平均每次握手处理了 1.3 个数据请求 )。
reading -- nginx 读取到客户端的 Header 信息数。
writing -- nginx 返回给客户端的 Header 信息数。
waiting -- 开启 keep-alive 的情况下，这个值等于 active - (reading + writing)，意思就是 Nginx 已经处理完正在等候下一次请求指令的驻留连接。

来自：使用 Nginx 提升网站访问速度
Tags - nginx

Nginx的代理缓存+PHP清除缓存

Wed, 25 Mar 2009 15:02:32 +0000

Nginx有很强的代理功能，作为proxy很有优势，另外还可以把文件缓存到本地，实在是很不错的。
但可惜的是，默认没有文件过期控制，文件作为长期镜像是很不错的。

Nginx代理不需要下载到服务器端再发送，有进程下载完整内容了估计就可以保存到本地了，需要清理的话，下面有介绍简单的方法。Nginx的文件发送性能就不用担心了，很稳定高效。

详情参考：NginxHttpProxyModule

引用

proxy_store
syntax: proxy_store [on | off | path]

default: proxy_store off

context: http, server, location

This directive sets the path in which upstream files are stored. The parameter "on" preserves files in accordance with path specified in directives alias or root. The parameter "off" forbids storing. Furthermore, the name of the path can be clearly assigned with the aid of the line with the variables:

proxy_store /data/www$original_uri;

The time of modification for the file will be set to the date of "Last-Modified" header in the response. To be able to safe files in this directory it is necessary that the path is under the directory with temporary files, given by directive proxy_temp_path for the data location.

也就是说的是可以缓存文件了，怎么做呢？
可以参考下面的代码片段：

upstream aslibra {
  server 123.45.67.89 ;
  server 123.45.67.8 backup;
}

proxy_store             on;
proxy_store_access      user:rw  group:rw  all:r;
proxy_temp_path /Data/webapps/proxy_tmp;
proxy_redirect off;

proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

server {
  expires       240h;
  server_name  www.aslibra.com;
  root    /Data/webapps/www.aslibra.com;
  location / {
    add_header      X-Cache   HIT;
    error_page           404 = @fetch;
  }

  location @fetch {
    internal;
    proxy_pass                      http://aslibra;
    proxy_next_upstream http_500;
    add_header      X-Cache   MISS;
    root                    /Data/webapps/www.aslibra.com;
  }
}

另外，文件要更新怎么办？那其实有两种方式解决文件过期的情况：
1 定时删除修改时间太旧的文件
2 PURGE方式直接删除

定时删除文件
下面是每2小时删除修改时间超过2天的文件

#clear cache pic
01 */2 * * * root find /Data/webapps/www.aslibra.com/ -type f -mtime +2 -print0 | xargs -0 -r rm >/dev/null 2>&1

PURGE方式删除

如果不是要求实时删除的话，可以有一种思路：
PURGE请求的（或者其它标识）记录日志，然后每10分钟分析日志，删除日志里面的文件，这样效率应该也是不错的~我没有做这个，我还是希望兼容PURGE，那怎么办呢？

那就交给fastcgi处理好了（注意，Nginx不支持cgi），比如：

location / {
  if ($request_method ~ "PURGE"){
    rewrite (.*) /purge.php last;
  }
  add_header      X-Cache   HIT;
  error_page           404 = @fetch;
}
location /purge.php
{
  internal;
  fastcgi_pass   127.0.0.1:9000;
  include        fastcgi_params;
  fastcgi_param  SCRIPT_FILENAME    /Data/www.aslibra.com/fastcgi$fastcgi_script_name;
}

这个就是把请求交给PHP了啦，PHP怎么写呢？
下面有个简单的例子：

header('Cache-Control: max-age=0');
$uri = $_SERVER['REQUEST_URI'];
$doc_root = $_SERVER['DOCUMENT_ROOT'];

$file = $doc_root.$uri;
echo $file."\n";
if(is_file($file)){
  echo "File Clear...";
  @unlink($file);
}else{
  echo "File Not Found...";
}
?>

以上方式就兼容squid的PURGE方式了，很方便的~

另外说一下Ncache：

Ncache也是不错的项目，是新浪的公司项目。
测试过32位的版本，有不满意的地方：
1 文件缓存有不完整的情况
2 proxy_pass就触发此功能，不能使用proxy_store了，以上说的功能不兼容
3 发现多次 kill -HUP 导致死掉服务

与开发的负责人闲聊一些，听闻64位现在是主要维护对象，文件不完整情况应该做了改善，有兴趣的朋友可以试试
不过阿权没有64位的机器来测试了，我的都是32位的老机器啊，可怜~~
Tags - linux , php , nginx , ncache