服务器的其它内容
几天前用chrome访问某个网站,突然某个时刻无法访问,返回400错误
一直没搞懂什么原因,但是换firefox浏览器又正常

今天尝试找一下原因:
1 把所有插件禁用,还是不正常
2 怀疑是封了我的浏览器,用curl指定user-agent,测试是正常的
3 用chrome监控http请求,发现cookie特别大
4 用curl把cookie信息一起发送,重现了400错误

那问题就找到了,就是nginx因为发送的数据太大而拒绝服务
清除cookie信息后就正常了
所以,网站保存cookie的量要控制好哦
如果保存的信息太大,会让用户无法访问的哦
搜索引擎目前有很多,百花齐放,良莠不齐。
部分搜索引擎抓取页面感觉就是失控的野马,不遵循规则,此类搜索引擎需要禁止。

禁止部分搜索引擎有三个好处:
1 降低服务器带宽
2 减轻服务器压力
3 减少私密信息泄露(部分搜索引擎不遵循robots协议)

先说第三点,robots协议。

引用
robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令,故需要搜索引擎自觉遵守。一些病毒如malware(马威尔病毒)经常通过忽略robots协议的方式,获取网站后台数据和个人信息。


你可以管理你的robots.txt,比如声明禁止这些搜索引擎:
User-agent: EasouSpider
Disallow: /

User-agent: YisouSpider
Disallow: /


这个其实就是道德规范,在日志里发现,部分被自定义协议禁止的地址,也有搜索引擎抓取,那这个就是不道德的搜索引擎。
这个我发现两个 EasouSpider 和 YisouSpider。

由此我们需要禁止这些搜索引擎抓取页面,可以在php判断user-agent,或者nginx判断:

if ( $http_user_agent ~ "YisouSpider|EasouSpider" ) {
  access_log off;
  return 403;
}


这个问题解决后,也就是相应解决了前面1和2了。
一、 简介

    Linux/Unix 区别于微软平台最大的优点就是真正的多用户,多任务。因此在任务管理上也有别具特色的管理思想。
我们知道,在 Windows 上面,我们要么让一个程序作为服务在后台一直运行,要么停止这个服务。而不能让程序在前台后台之间切换。而 Linux 提供了 fg 和bg 命令,让你轻松调度正在运行的任务。假设你发现前台运行的一个程序需要很长的时间,但是需要干其他的事情,你就可以用 Ctrl-Z ,挂起这个程序,然后可以看到系统提示:
[1]+ Stopped /root/bin/rsync.sh

然后我们可以把程序调度到后台执行:(bg 后面的数字为作业号)
#bg 1
[1]+ /root/bin/rsync.sh &

用 jobs 命令查看正在运行的任务:
#jobs
[1]+ Running /root/bin/rsync.sh &

如果想把它调回到前台运行,可以用
#fg 1
/root/bin/rsync.sh
这样,你在控制台上就只能等待这个任务完成了。

& 将指令丢到后台中去执行
[ctrl]+z 將前台任务丟到后台中暂停
jobs 查看后台的工作状态
fg %jobnumber 将后台的任务拿到前台来处理
bg %jobnumber 将任务放到后台中去处理
kill 管理后台的任务

二、&

在Linux中,当在前台运行某个作业时,终端被该作业占据;而在后台运行作业时,它不会占据终端。可以使用&命令把作业放到后台执行。实际上,这样是将命令放入到一个作业队列中了:

$ ./test.sh &
[1] 17208

$ jobs -l
[1]+ 17208 Running                 ./test.sh &
    在后台运行作业时要当心:需要用户交互的命令不要放在后台执行,因为这样你的机器就会在那里傻等。不过,作业在后台运行一样会将结果输出到屏幕上,干扰你的工作。如果放在后台运行的作业会产生大量的输出,最好使用下面的方法把它的输出重定向到某个文件中:
command >out.file 2>&1 &

在上面的例子中,2>&1表示所有的标准输出和错误输出都将被重定向到一个叫做out.file 的文件中。 当你成功地提交进程以后,就会显示出一个进程号,可以用它来监控该进程,或杀死它。
例:查找名为“httpd.conf”的文件,并把所有标准输出和错误输出重定向到find.dt的文件中:
# find /etc/httpd/ -name "httpd.conf" -print >find.dt 2>&1 &
[2] 7832

成功提交该命令之后,系统给出了它的进程号7832。 对于已经在前台执行的命令,也可以重新放到后台执行,首先按ctrl+z暂停已经运行的进程,然后使用bg命令将停止的作业放到后台运行,例如对正在前台执行的tesh.sh使用ctrl+z挂起它:
$ ./test.sh
[1]+ Stopped                 ./test.sh

$ bg %1
[1]+ ./test.sh &

$ jobs -l
[1]+ 22794 Running                 ./test.sh &

但是如上方到后台执行的进程,其父进程还是当前终端shell的进程,而一旦父进程退出,则会发送hangup信号给所有子进程,子进程收到hangup以后也会退出。如果我们要在退出shell的时候继续运行进程,则需要使用nohup忽略hangup信号,或者setsid将将父进程设为init进程(进程号为1)

$ echo $$
21734

$ nohup ./test.sh &
[1] 29016

$ ps -ef | grep test
515      29710 21734 0 11:47 pts/12   00:00:00 /bin/sh ./test.sh
515      29713 21734 0 11:47 pts/12   00:00:00 grep test
$ setsid ./test.sh &
[1] 409

$ ps -ef | grep test
515        410     1 0 11:49 ?        00:00:00 /bin/sh ./test.sh
515        413 21734 0 11:49 pts/12   00:00:00 grep test
上面的试验演示了使用nohup/setsid加上&使进程在后台运行,同时不受当前shell退出的影响。那么对于已经在后台运行的进程,该怎么办呢?可以使用disown命令:

$ ./test.sh &
[1] 2539

$ jobs -l
[1]+ 2539 Running                 ./test.sh &

$ disown -h %1

$ ps -ef | grep test
515        410     1 0 11:49 ?        00:00:00 /bin/sh ./test.sh
515       2542 21734 0 11:52 pts/12   00:00:00 grep test
另外还有一种方法,即使将进程在一个subshell中执行,其实这和setsid异曲同工。方法很简单,将命令用括号() 括起来即可:

$ (./test.sh &)

$ ps -ef | grep test
515        410     1 0 11:49 ?        00:00:00 /bin/sh ./test.sh
515      12483 21734 0 11:59 pts/12   00:00:00 grep test
注:本文试验环境为Red Hat Enterprise Linux AS release 4 (Nahant Update 5),shell为/bin/bash,不同的OS和shell可能命令有些不一样。例如AIX的ksh,没有disown,但是可以使用nohup -p PID来获得disown同样的效果。

还有一种更加强大的方式是使用screen,首先创建一个断开模式的虚拟终端,然后用-r选项重新连接这个虚拟终端,在其中执行的任何命令,都能达到nohup的效果,这在有多个命令需要在后台连续执行的时候比较方便:

$ screen -dmS screen_test

$ screen -list
There is a screen on:
        27963.screen_test       (Detached)
1 Socket in /tmp/uscreens/S-jiangfeng.

$ screen -r screen_test

三、 nohup

    如果你正在运行一个进程,而且你觉得在退出帐户时该进程还不会结束,那么可以使用nohup命令。该命令可以在你退出帐户之后继续运行相应的进程。nohup就是不挂起的意思( no hang up)。 该命令的一般形式为:
nohup conmmand &
如果使用nohup命令提交作业,那么在缺省情况下该作业的所有输出都被重定向到一个名为nohup.out的文件中,除非另外指定了输出文件:
nohup command > myout.file 2>&1
在上面的例子中,输出被重定向到myout.file文件中。


四、.*,?,[...],[!...]等

下面就是这些特殊字符:
* 匹配文件名中的任何字符串,包括空字符串。
? 匹配文件名中的任何单个字符。
[...] 匹配[ ]中所包含的任何字符。
[!...] 匹配[ ]中非感叹号!之后的字符。
当s h e l l遇到上述字符时,就会把它们当作特殊字符,而不是文件名中的普通字符,这样用户就可以用它们来匹配相应的文件名。

1)列出以i或o开头的文件名:     #ls [io]*
2)列出log.开头、后面跟随一个数字、然后可以是任意字符串的文件名: #ls log.[0-9]*
3)与例二相反,列出log.开头、后面不跟随一个数字、然后可以是任意字符串的文件名 : #ls log.[!0-9]*
4)列出所有以LPS开头、中间可以是任何两个字符,最后以1结尾的文件名:#ls LPS??1
5)列出所有以大写字母开头的文件名:$ ls [A-Z]* 6)列出所有以. 开头的文件名(隐含文件,例如. profile、.rhosts、.histo ry等): $ ls .*

原文:http://www.cnblogs.com/mfr...
svn changelist(也可以简写为cl)是一个对本地副本库的文件进行分组的命令,它可以作为其它命令的参数,但是它仅仅是本地副本库的一个分组,不能在库中传播以及与其它用户分享。
还是以之前的计算器程序为例,首先我们简单修改下工作副本中的几个文件(在add.c add.h sub.c sub.h几个文件最后都加入一个空行)

root@letuknowit:/home/kris/calc/trunk# svn st
M       sub.h
M       add.c
M       sub.c
M       add.h

好了,做好改动后就要进行提交了,但是又不想把这四个文件一起提交,想把add的分为一组,sub的分为一组,这时候svn changelist就派上用场了。

root@letuknowit:/home/kris/calc/trunk# svn cl add add.*
Path 'add.c' is now a member of changelist 'add'.
Path 'add.h' is now a member of changelist 'add'.
root@letuknowit:/home/kris/calc/trunk# svn cl sub sub.c sub.h
Path 'sub.c' is now a member of changelist 'sub'.
Path 'sub.h' is now a member of changelist 'sub'.

上面的add和sub都是组名,其后是需要加入到改组中的文件,多个文件以空格隔开,支持通配符(例如那个add.*)。完成以上工作后,再通过svn st看看有什么变化

root@letuknowit:/home/kris/calc/trunk# svn st

--- Changelist 'add':
M       add.c
M       add.h

--- Changelist 'sub':
M       sub.h
M       sub.c

删除组中的文件也比较简单,具体如下

root@letuknowit:/home/kris/calc/trunk# svn cl --remove sub.c
Path 'sub.c' is no longer a member of a changelist.
root@letuknowit:/home/kris/calc/trunk# svn st
M       sub.c

--- Changelist 'add':
M       add.c
M       add.h

--- Changelist 'sub':
M       sub.h

由于每个文件只能属于一个组,因此在将某个文件从某个组中删除的时候,无需指定组名。

changelist作为参数

root@letuknowit:/home/kris/calc/trunk# svn diff --cl sub
Index: sub.h
===================================================================
--- sub.h       (revision 6)
+++ sub.h       (working copy)
@@ -1 +1,2 @@
int sub(int lhs,int rhs);
+
Index: sub.c
===================================================================
--- sub.c       (revision 6)
+++ sub.c       (working copy)
@@ -2,3 +2,4 @@
{
        return lhs - rhs;
}
+

其他支持svn changelist的指令包括:changelist、commit、info、propdel、propget、proplist、propset、revert、status、update

将已在一个组中的文件加入另一个组

root@letuknowit:/home/kris/calc/trunk# svn cl add sub.c
svn: warning: Removing 'sub.c' from changelist 'sub'.
Path 'sub.c' is now a member of changelist 'add'.
root@letuknowit:/home/kris/calc/trunk# svn st

--- Changelist 'add':
M       add.c
M       sub.c
M       add.h

--- Changelist 'sub':
M       sub.h

由于每个文件在同一个工作拷贝中只能加入一个分类,在讲某个文件加入新的分组之前,会将其从原先的分组中删除。

对于未在svn版本控制下的文件,无法加入分组

root@letuknowit:/home/kris/calc/trunk# touch newfile
root@letuknowit:/home/kris/calc/trunk# svn st
?       newfile

--- Changelist 'add':
M       add.c
M       sub.c
M       add.h

--- Changelist 'sub':
M       sub.h
root@letuknowit:/home/kris/calc/trunk# svn cl add newfile
svn: warning: 'newfile' is not under version control

svn changelist不允许将文件夹加入某个分组,但是可以将多个不同的文件夹中的文件归为一组。

原创文章请注明转载于知蚁博客,本文地址:http://www.letuknowit.com/archives/usage-of-svn-changelist
注:本次安装是根据官方指导操作

【安装必要的环境】

#安装前,请查看以下列表对应操作系统页面,安装需要预先安装的软件,以便后续安装测试可正常进行!
#依赖环境建议版本:(源码升级可参考设置环境,升级/安装系统基础依赖包)

m4 >= 1.4.13
autoconf >= 2.65
automake >= 1.11
libtool >= 2.2.6b

【设置环境,升级/安装系统基础依赖包:m4、autoconf、automake、libtool】

curl -O -L http://mirrors.kernel.org/gnu/m4/m4-1.4.13.tar.gztar -xzvf m4-1.4.13.tar.gz
cd m4-1.4.13
./configure --prefix=/usr/local
make && make install
cd ..

curl -O -L http://mirrors.kernel.org/gnu/autoconf/autoconf-2.65.tar.gz
tar -xzvf autoconf-2.65.tar.gz
cd autoconf-2.65
./configure --prefix=/usr/local
make && make install
cd ..

curl -O -L http://mirrors.kernel.org/gnu/automake/automake-1.11.tar.gz
tar xzvf automake-1.11.tar.gz
cd automake-1.11
./configure --prefix=/usr/local
make && make install
cd ..

curl -O -L http://mirrors.kernel.org/gnu/libtool/libtool-2.2.6b.tar.gz
tar xzvf libtool-2.2.6b.tar.gz
cd libtool-2.2.6b
./configure --prefix=/usr/local
make && make install
cd ..


以上可以直接放一个文本,用sh执行之,很方便

【安装mysql】

这个有现成的就记得安装目录即可,后面用到

【安装CoreSeek】

##下载coreseek:coreseek 3.2.14:点击下载、coreseek 4.0.1:点击下载、coreseek 4.1:点击下载
$ curl -O -L http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz
$ tar xzvf coreseek-3.2.14.tar.gz
$ cd coreseek-3.2.14

##安装mmseg
$ cd mmseg-3.2.14
$ ./bootstrap
$ ./configure --prefix=/usr/local/mmseg3
$ make && make install
$ cd ..

##安装coreseek,需提前安装mysql以支持mysql数据源
$ cd csft-3.2.14
$ sh buildconf.sh
$ ./configure --prefix=/usr/local/coreseek  --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/ --with-mysql --with-mysql-includes=/path/to/mysql --with-mysql-libs=/path/to/mysql
$ make && make install
$ cd ..

##测试mmseg分词,coreseek搜索(需要预先设置好字符集为zh_CN.UTF-8,确保正确显示中文)
$ cd testpack
$ cat var/test/test.xml    #此时应该正确显示中文
$ /usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml
$ /usr/local/coreseek/bin/indexer -c etc/csft.conf --all
$ /usr/local/coreseek/bin/search -c etc/csft.conf 网络搜索


主要是安装分词的和搜索的,基本上没有什么问题

【可能的错误】

解决“Error while loading shared libraries: libmysqlclient.so.16”

vi /etc/ld.so.conf
添加“/path/to/mysql”(你的路径)到文件末尾
执行ldconfig即可

【官方资料】

1 CoreSeek快速安装
2 CoreSeek官网
分页: 1/12 第一页 1 2 3 4 5 6 7 8 9 10 下页 最后页 [ 显示模式: 摘要 | 列表 ]

阅读推荐

服务器相关推荐

开发相关推荐

应用软件推荐