wolfg's Weblog » SysAdmin

MongoDB日志回滚

wolfg — Thu, 02 Jun 2011 00:51:02 +0000

# kill -SIGUSR1 `cat /var/run/mongodb.pid`

用在shell脚本里时，命令要改成这样： kill -USR1 `cat /var/run/mongodb.pid`

参考：http://www.mongodb.org/display/DOCS/Logging#Logging-Rotatingthelogfiles

RHEL5下编译MongoDB

wolfg — Wed, 01 Jun 2011 06:21:29 +0000

很多人都说自己编译的稳定好用，我也来试试：

1. 参考官方文档，手工编译Spider Monkey

# curl -O ftp://ftp.mozilla.org/pub/mozilla.org/js/js-1.7.0.tar.gz
# tar zxvf js-1.7.0.tar.gz
# cd js/src
# export CFLAGS="-DJS_C_STRINGS_ARE_UTF8"
# make -f Makefile.ref
# JS_DIST=/usr make -f Makefile.ref export

2. 安装scons，用官网的rpm包就行。

3. 重新编译pcre。自带的编译时没带–enable-unicode-properties参数，mongdb启动时会提示：warning: some regex utf8 things will not work. pcre build doesn’t have –enable-unicode-properties. RPMS包是在这里找到的。

# rpm -ivh pcre-6.6-2.el5_1.7.src.rpm
# vi /usr/src/redhat/SPECS/pcre.spec
%configure --enable-utf8
修改成
%configure --enable-utf8 --enable-unicode-properties
# rpmbuild -ba /usr/src/redhat/SPECS/pcre.spec
# rpm -Uvh /usr/src/redhat/RPMS/x86_64/pcre*.rpm

4. 安装1.41版本的boost库。这里可以找到编译好的boost库的RPM包。因为后面要编译成静态库，还需要安装boost141-static-1.41.0-2.el5.i386.rpm

5. 开始编译MongoDB

# cd mongodb-src-r1.8.1
# scons --libpath=/usr/lib64/boost141/ \
--cpppath=/usr/include/boost141/ \
--release --64 --static all

如果你没有–release和–static选项，可能会看见下面这样的消息
*** notice: no readline library, mongo shell will not have nice interactive line editing ***
解决方法是加上–extralib=ncurses。

6. 安装

# cd mongodb-src-r1.8.1
# scons --libpath=/usr/lib64/boost141/ \
--cpppath=/usr/include/boost141/ \
--release --64 --static --prefix=/opt/mongo-1.8.1 install

参考：
1. http://www.mongodb.org/display/DOCS/Building+for+Linux
2. http://hi.baidu.com/farmerluo/blog/item/37364623f35ba55e9922ed2f.html

Using Postgresql

wolfg — Tue, 24 Aug 2010 05:56:45 +0000

1. create tablespace
$ mkdir -p /home/postgresql/data
$ sudo chown -R postres:postres /home/postgresql/data
$ sudo chmod -R og-rx /home/postgresql/data
$ sudo su – postgres
$ psql
postgres=# create tablespace newspace location ‘/home/postgresql/data’;

2. move a database to this new tablespace
use a php script from here to generate sql
$ sudo yum install php-pgsql
$ ./generate-mv-db.php
$ sudo su – postgres
$ psql -d mydb -f migrate_localhost_mydb_newspace.sql

3. install postgis
a. install proj4.7
$ sudo yum install proj
b. install geos 3.2.2
$ tar xvjf geos-3.2.2.tar.bz2
$ cd geos-3.2.2
$ ./configure –prefix=/usr
$ make && sudo make install
$ sudo ldconfig

must do this, otherwise postgis will fail to locate libgeos_c.so.1

c. install postgis-1.5.1.tar.gz
$ tar xvzf postgis-1.5.1.tar.gz
$ cd postgis-1.5.1
$ ./configure
$ make && sudo make install
d. create a spatially-enabled database
$ sudo su – postgres
$ createdb postgis_template -U postgres;
$ cd /usr/share/pgsql/contrib/postgis-1.5
$ createlang plpgsql postgis_template
$ psql -d postgis_template -f postgis.sql
$ psql -d postgis_template -f spatial_ref_sys.sql

SSH:不用密码登录

wolfg — Sat, 30 Jan 2010 08:31:22 +0000

用SSH登录远程主机，每次都输入密码挺麻烦的，其实可以用密钥文件来登录：
1. 用ssh-keygen命令生成private/public密钥对，提示问题都用默认回答即可。

$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/guoyong/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/guoyong/.ssh/id_rsa.
Your public key has been saved in /home/guoyong/.ssh/id_rsa.pub.

2. 用ssh-copy-id命令把公钥复制到远程主机上，user就是你登录用的用户名

$ ssh-cody-id user@remotehost

3. 验证一下吧

$ ssh user@remotehost echo "it works"

nrpe使用一例

wolfg — Thu, 28 Jan 2010 07:22:25 +0000

NRPE的作用是在远程主机上运行Nagios插件，以便监控远程主机。

Ubuntu Server下安装NRPE很方便：

$ sudo apt-get install nagios-nrpe-server nagios-plugins

默认的几个检查命令(check_users, check_load等)都已经在/etc/naigos/nrpe.cfg和/etc/nagios/nrpe_local.cfg配置好了。在Nagios里配置监控服务使用类似如下的监控命令就可以了：

check_command check_nrpe!check_load

如果需要自定义监控命令，只需在/etc/nagios/nrpe_local.cfg里设置，重启NRPE服务，再在Nagios里配置监控服务即可。比如，要添加一个监控TCP各种状态的命令，步骤如下：

@remotehost
$ cd /usr/lib/nagios/plugins
$ sudo wget http://www.tuschy.com/nagios/plugins/check_tcp_count
$ sudo chmod +x check_tcp_count
$ cd /etc/nagios
$ sudo vi nrpe_local.cfg
command[check_tcp_count]=/usr/lib/nagios/plugins/check_tcp_count
$ sudo service nagios-nrpe-server restart

@nagioshost
$ sudo vi remotehost.cfg
define service{
   use generic-service
   host_name remotehostname
   service_description Tcp count
   check_command check_nrpe!check_tcp_count
}

使用Cacti监控JVM

wolfg — Wed, 27 Jan 2010 08:55:59 +0000

Cacti官方论坛里有几个监控JVM的模板：

导入到Cacti后，需要启用JVM的SNMP Agent，方法如下：
1. 启动JVM的参数里加入-Dcom.sun.management.snmp.port=9998 这个是指定SNMP Agent的监听端口。
2. 设置访问权限

$ sudo cp $JRE_HOME/lib/management/snmp.acl.template $JRE_HOME/lib/management/snmp.acl
$ sudo vi $JRE_HOME/lib/management/snmp.acl

acl = {
{
   communities = public, private
   access = read-only
   managers = localhost
}
}

trap = {
{
   trap-community = public
   hosts = localhost
}
}

3. 设置配置文件的权限，必须只能为启用JVM的用户只读，否则不能工作。(management.properties不用修改，使用默认配置即可)

$ sudo chmod 600 management.properties snmp.acl
$ sudo chown jetty management.properties snmp.acl

4. 重启JVM，用netstat命令检查9998端口是否已被监听或用snmpwalk命令检查。

$ sudo netstat -tlunp |grep 9998
$ snmpwalk -v 2c -c public localhost:9998 .1.3.6.1.4.1.42

5. 为了让远程的Cacti主机可以访问，可使用snmpd的proxy功能将请求转发到localhost的JVM SNMP Agent上。修改snmpd的配置文件，添加
proxy -v 2c -c public localhost:9998 .1.3.6.1.4.1.42
然后重启snmpd服务。在Cacti主机上以snmpwalk命令检查，应该能得到与上一步中snmpwalk命令一样的输出。snmpwalk -v 2c -c public remotehost .1.3.6.1.4.1.42
6. 至此，可以在Cacti里为JVM主机添加监控图表了，注意Device的SNMP Options配置里SNMP Version要选择Version 2。

参考：

再次遭遇大量CLOSE_WAIT

wolfg — Fri, 22 Jan 2010 12:51:05 +0000

今天下午线上的Jetty服务又停止响应了。不过与上次不同的是，日志里没有Too many open files的问题（看来ulimit设置管用了），看不出任何问题。于是用netstat检查网络连接，发现了大量CLOSE_WAIT状态的连接，而且都是连接到同一个IP地址。联想到程序里有调用外部网站服务的部分，检查这个IP，正是其中的一个服务。检查代码，发现开发人员使用Commons HttpClient时出了问题，居然忘记关闭连接了(method.releaseConnection();)！！后果就是对方关闭了连接，连接不断地变成CLOSE_WAIT状态，直到耗尽所有的网络资源，没法再建立连接了。

从这个教训看出，项目的研发管理真是没有到位啊！快速反复的需求、几乎可以忽略的设计、缺少代码走查、没有单元测试，怎能保证上线前发现这样的问题！

遭遇”java.io.IOException: Too many open files”

wolfg — Wed, 20 Jan 2010 08:47:21 +0000

今天下午，线上的Jetty服务宕机了，日志里大量的”java.io.IOException: Too many open files”错误。搜索到Freddy Chu的博客里正好有关于此的解决办法。

$ sysctl fs.file-max
$ lsof -u jetty -nn | wc -l
$ ulimit -a
$ sudo vi /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

同时发现了系统里也有Freddy Chu提到的”Too many CLOSE_WAIT”问题，谢谢Freddy Chu。

$ sudo vi /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_intvl = 2
net.ipv4.tcp_keepalive_probes = 2
net.ipv4.tcp_keepalive_time = 1800

$ sudo sysctl -p

Update(2010-01-21): root用户要特殊设置

$ sudo vi /etc/security/limits.conf
root soft nofile 65535
root hard nofile 65535

npc安装问题解决一例

wolfg — Sun, 17 Jan 2010 12:27:34 +0000

Cacti和Nagios都是好用的运维监控软件，NPC(Nagios Plugin for Cacti)是一个Cacti插件，安装后可以在Cacti界面里使用Nagios的功能。官方安装文档在这里。

我的安装环境是这样的：

Ubuntu 6.06 LTS
PHP 5.1.2
Cacti 0.8.7e
Cacti Plugin Architecture 2.6
Nagios 3.2.0
NDOUtils 1.4b7

PHP必须安装PDO 和 JSON扩展。由于NPC使用了Ext JS，如果没有JSON扩展，NPC的界面不会出来，只能看到一个空白页面。Ubuntu 6.06下安装PDO可以参考这里。

按照官方文档安装配置好后，遇到了没有显示任何数据的问题，host, hostgroup, service, servicegroup等等都看不到。

检查了NPC的数据库表，有数据，说明NDOUtils已经工作。没有出现在界面上，说明是NPC从数据库读出来到界面显示过程中出现的问题。

用Firebug找出NPC界面为了获取显示数据的Ajax请求(比如/cacti/plugins/npc/npc.php?module=servicegroups&action=getHostStatusPortlet)，直接在浏览器里访问，可以看到出了异常：Fatal error: Uncaught exception ‘Doctrine_Exception’ with message ‘Couldn’t find class NpcServicegroups’ 。显然是Doctrine没有加载到NPC定义的领域类。

经过一番对Doctrine的调试，发现原因在Doctrine类的loadModels方法(Line 516 in Doctrine.php)

$e = explode('.', $file->getFileName());

这里getFileName返回了带绝对路径的文件名，导致autoload函数失败。改成下面这样就解决了。

$e = explode('.', basename($file->getFileName()));

不过还是不明白为什么getFileName返回的是带绝对路径的文件名，是跟我的系统环境有关系吗？有熟悉PHP的朋友能解释一下就好了。

How to install Nginx from source with ‘Debian’ layout

wolfg — Fri, 15 Jan 2010 08:10:56 +0000

1. 创建相关目录

$ sudo mkdir /etc/nginx
$ sudo mkdir /etc/nginx/conf.d
$ sudo mkdir /etc/nginx/sites-available
$ sudo mkdir /etc/nginx/sites-enabled
$ sudo mkdir /var/log/nginx
$ sudo mkdir -p /var/lib/nginx/body
$ sudo mkdir /var/lib/nginx/proxy
$ sudo mkdir /var/lib/nginx/fastcgi

2. 编译安装

$ ./configure --prefix=/usr \
--sbin-path=/usr/sbin/nginx \
--conf-path=/etc/nginx/nginx.conf \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--pid-path=/var/run/nginx.pid \
--user=www-data \
--group=www-data \
--http-client-body-temp-path=/var/lib/nginx/body \
--http-proxy-temp-path=/var/lib/nginx/proxy \
--http-fastcgi-temp-path=/var/lib/nginx/fastcgi \
--with-md5=/usr/lib \
--with-sha1=/usr/lib \
--with-http_ssl_module \
--with-http_gzip_static_module \
--with-pcre \
--without-mail_pop3_module \
--without-mail_imap_module \
--without-mail_smtp_module \
--with-http_stub_status_module

$ make
$ sudo make install
$ sudo mv /usr/html /var/www/nginx-default

3. 修改配置文件
/etc/nginx/nginx.conf

user www-data;
worker_processes 5;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
   worker_connections 1024;
}

http {
   server_tokens off;
   include /etc/nginx/mime.types;
   default_type application/octet-stream;

   access_log /var/log/nginx/access.log;

   sendfile on;
   #tcp_nopush on;

   #keepalive_timeout 0;
   keepalive_timeout 65;
   tcp_nodelay on;
   gzip on;

   include /etc/nginx/conf.d/*.conf;
   include /etc/nginx/sites-enabled/*;
}

/etc/nginx/sites-available/default

server {
   listen 80;
   server_name localhost;

   location / {
   root /var/www/nginx-default;
   index index.html index.htm;
   }

   # redirect server error pages to the static page /50x.html
   #
   error_page 500 502 503 504 /50x.html;
   location = /50x.html {
   root /var/www/nginx-default;
   }
}

启用default vhost

sudo ln -s /etc/nginx/sites-available/default /etc/nginx/sites-enabled/default

4. 创建init脚本
$ sudo vi /etc/init.d/nginx

#! /bin/sh

### BEGIN INIT INFO
# Provides: nginx
# Required-Start: $all
# Required-Stop: $all
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Short-Description: starts the nginx web server
# Description: starts nginx using start-stop-daemon
### END INIT INFO

PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin
DAEMON=/usr/sbin/nginx
NAME=nginx
DESC=nginx

test -x $DAEMON || exit 0

# Include nginx defaults if available
if [ -f /etc/default/nginx ] ; then
   . /etc/default/nginx
fi

set -e

. /lib/lsb/init-functions

case "$1" in
start)
   echo -n "Starting $DESC: "
   start-stop-daemon --start --quiet --pidfile /var/run/$NAME.pid \
   --exec $DAEMON -- $DAEMON_OPTS || true
   echo "$NAME."
   ;;
stop)
   echo -n "Stopping $DESC: "
   start-stop-daemon --stop --quiet --pidfile /var/run/$NAME.pid \
   --exec $DAEMON || true
   echo "$NAME."
   ;;
restart|force-reload)
   echo -n "Restarting $DESC: "
   start-stop-daemon --stop --quiet --pidfile \
   /var/run/$NAME.pid --exec $DAEMON || true
   sleep 1
   start-stop-daemon --start --quiet --pidfile \
   /var/run/$NAME.pid --exec $DAEMON -- $DAEMON_OPTS || true
   echo "$NAME."
   ;;
reload)
   echo -n "Reloading $DESC configuration: "
   start-stop-daemon --stop --signal HUP --quiet --pidfile /var/run/$NAME.pid \
   --exec $DAEMON || true
   echo "$NAME."
   ;;
status)
   status_of_proc -p /var/run/$NAME.pid "$DAEMON" nginx && exit 0 || exit $?
   ;;
*)
   N=/etc/init.d/$NAME
   echo "Usage: $N {start|stop|restart|reload|force-reload|status}" >&2
   exit 1
   ;;
esac

exit 0

$ sudo chmod +x /etc/init.d/nginx
$ sudo /usr/sbin/update-rc.d -f nginx defaults

5. 启动、停止、重启nginx服务

sudo /etc/init.d/nginx start
sudo /etc/init.d/nginx stop
sudo /etc/init.d/nginx restart

在Ubuntu下安装OpenIPMP服务器

wolfg — Thu, 06 Nov 2008 08:47:17 +0000

1. 如果你用JDK 1.5以上的版本，编译osms过程中会出错，问题在${openipmp_server_src}/osms/src/com/mutable/io/OlLogger.java这个文件中，enum这个变量名跟关键字冲突了，改个名字就好了。
2. 修改${openipmp_server_src}/OMADRMWS/admin_OMADRM.sh，将里面所有的”$CURR_DIR/../../Demo/data/”改为 “/tmp/”，然后把证书文件复制到/tmp目录下。

cp ${openipmp_server_src}/../Demo/data/* /tmp

这样可避免安装过程中证书无法存入数据库的问题。
3. 修改 ${openipmp_server_src}/ejbca/deployJBoss4x.sh的第16行，

if (( $1 == keystore ))

改为

if [ "$1" = "keystore" ]

不然这个脚本复制p12文件时会出错。
4. 运行install.sh脚本安装，如果之前运行过了，先运行uninstall.sh
5. 安装正常结束后，记得一定要在bin目录下执行run.sh来启动JBoss服务器，不然会报错（“找不到 openIPMP 目录” 、“找不到../conf/server.p12”等等）

一个Python脚本，让OpenVPN使用postfix邮箱帐号进行身份认证

wolfg — Wed, 14 May 2008 13:27:36 +0000

这几天配置OpenVPN，使用了用户名密码的身份认证方式，借助已有的postfix邮箱帐号，省去了再为每个人设置用户名密码的麻烦。

原理很简单，OpenVPN服务器配置里有这样一句：

auth-user-pass-verify /etc/openvpn/auth-postfix-mailbox.py via-env

就是说要用/etc/openvpn/auth-postfix-mailbox.py这个脚本来验证用户名和密码。用户名和密码如何传递给它呢？via-env，环境变量。

脚本如下：

#!/usr/bin/env python
import os
import sys
from MySQLdb import *
import md5crypt
def auth(username, password):
conn = connect (host = 'localhost',
user = 'dbuser',
passwd = 'dbpasswd',
db = 'postfix')
cursor = conn.cursor()
cursor.execute("""
select password from mailbox
where username=%s
and active=1
""", (username))
row = cursor.fetchone()
if row == None:
return 1
crypt = md5crypt.md5crypt(password, row[0])
cursor.execute("""
select * from mailbox
where username=%s
and password=%s
and active=1
""", (username,crypt))
row = cursor.fetchone()
cursor.close()
conn.close()
if row == None:
return 1
return 0
def main():
status = 0
try:
username = os.environ['username']
password = os.environ['password']
status = auth(username, password)
except:
sys.exit(1)
sys.exit(status)
if __name__ == "__main__":
main()

由于postfix使用md5认证，所以需要用md5crypt这个模块，从这里可以下载到。

postfix和postgrey问题

wolfg — Tue, 13 May 2008 14:58:21 +0000

公司的邮件服务器收不到外来邮件了，日志里有这样的错误：

554 Service unavailable; Client host [xxx.xxx.xxx.xxx] blocked using relays.ordb.org; ordb.org was shut down on December 18, 2006. Please remove from your mailserver.;

对应main.cf里的配置是这样的：

smtpd_client_restrictions = permit_mynetworks, warn_if_reject reject_rbl_client sbl.spamhaus.org, warn_if_reject reject_rbl_client relays.ordb.org, warn_if_reject reject_rbl_client blackholes.easynet.nl, warn_if_reject reject_rbl_client dnsbl.njabl.org

改成只保留smtpd_client_restrictions = permit_mynetworks，又有新信息出现：

postfix/smtpd[16212]: warning: problem talking to server 127.0.0.1:60000: Connection timed out

127.0.0.1:60000是postgrey工作的端口，用ps和netstat 发现postgrey进程还在，但top命令发现它占用了99%的CPU，而且用/etc/init.d/postgrey stop停不掉，只好kill掉，并改postfix里相应的设置，去掉postgrey检查：

smtpd_recipient_restrictions = reject_unauth_pipelining, permit_mynetworks,permit_sasl_authenticated, reject_non_fqdn_recipient,reject_unauth_destination, check_policy_service inet:127.0.0.1:60000,permit

重启postfix，邮件可以收到了。再恢复smtpd_client_restrictions的配置，去掉relays.ordb.org检查，邮件可以收到。顺便搞清楚了warn_if_reject的含义：有它在时并不真正的拒绝邮件。

postgrey的问题还没找到解决办法，不知道为什么会hang在那里，暂时不用它了。

==== 2008-05-14 ====
补充：将Berkeley DB由原来的4.3升级到4.4以后，postgrey正常了。
搜索到的相关信息：

http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=441069

https://bugs.edge.launchpad.net/ubuntu/gutsy/+source/db4.4/+bug/153996

升级系统导致Postfix的SMTP认证失败（Cyrus-SASL + MySQL）

wolfg — Mon, 28 Jan 2008 16:38:37 +0000

日志里这样的错误信息：
warning: SASL authentication problem: unable to open Berkeley db /etc/sasldb2: No such file or directory

最终发现原因：main.cf里smtpd_sasl_path的设置错误，可能是更新修改的。
把smtpd_sasl_path=/etc/postfix/sasl:/usr/lib/sasl2改成smtpd_sasl_path=smtpd后，重启postfix和courier-authdaemon，问题解决。

同时运行两个mysql实例

wolfg — Sat, 08 Dec 2007 16:17:05 +0000

运行环境： Ubuntu 6.06 server

1. 修改/etc/mysql/my.cnf

加入

[mysqld_multi]
mysqld = /usr/bin/mysqld_safe
mysqladmin = /usr/bin/mysqladmin
user = multi_admin
password = multipass

把原来的[mysqld]改成[mysqld001]，并加入[mysqld002]，分别配置两个实例，主要是下面这些设置要不同：

pid-file
socket
port
datadir

2. 设置用户

$ mysql -u root -S /var/run/mysqld/mysqld.sock -p
> GRANT SHUTDOWN ON *.* TO 'multi_admin'@'localhost' IDENTIFIED BY 'multipass';
$ mysql -u root -S /var/run/mysqld/mysqld2.sock -p
> GRANT SHUTDOWN ON *.* TO 'multi_admin'@'localhost' IDENTIFIED BY 'multipass';

3. 测试启动停止命令

$ mysqld_multi --no-log --config-file=/etc/mysql/my.cnf start 001,002
$ mysqld_multi --no-log --config-file=/etc/mysql/my.cnf stop 001,002
$ mysqld_multi --no-log --config-file=/etc/mysql/my.cnf report 001,002

4. 新建启动脚本 /etc/init.d/mysql-multi替换原来的启动脚本/etc/init.d/mysql

5. 修改/etc/phpmyadmin/config.inc.php，配置如何连接这两个服务器

$i = 0;
$i++;
$cfg['Servers'][$i]['host'] = 'localhost';
$cfg['Servers'][$i]['socket'] = '/var/run/mysqld/mysqld.sock';
$cfg['Servers'][$i]['connect_type'] = 'socket';
$cfg['Servers'][$i]['verbose'] = 'localhost:3306';
$i++;
$cfg['Servers'][$i]['host'] = 'localhost';
$cfg['Servers'][$i]['socket'] = '/var/run/mysqld/mysqld2.sock';
$cfg['Servers'][$i]['connect_type'] = 'socket';
$cfg['Servers'][$i]['verbose'] = 'localhost:3307';