wolfg's Weblog » Java http://guoyong.me wolfg's journey with open source, linux, programming, sysadm ... Wed, 04 Apr 2012 12:42:25 +0000 en hourly 1 http://wordpress.org/?v=3.3.1 http://creativecommons.org/licenses/by-nc-sa/2.5/cn/ 使用Eclipse Memory Analyzer(MAT)解决Java Web应用故障 http://guoyong.me/dev/solve-jvm-oom-problem-with-mat/ http://guoyong.me/dev/solve-jvm-oom-problem-with-mat/#comments Sun, 11 Mar 2012 14:54:11 +0000 guoyong http://guoyong.me/?p=928 这周一我负责维护的一个系统突然出现故障，用户反映系统很慢，浏览器加载半天最后进了错误页面。登录到系统查看，发现系统负载很高，用sar命令进一步明确了是java进程在某一时刻后突然占据了大量CPU资源。查看应用日志，发现了OutOfMemory异常，然后使用jstat的gcutil确认JVM heap工作不正常，已经有上千次的full gc了。

用VisualGC或者jmap工具生成Headp dump文件，然后用MAT打开，生成内存泄露的分析报告，查找占用内存最大的对象并通过Thread call stack就可以定位导致问题出现的类和方法。

由于系统属旧系统，代码一直没有改动，显然是数据出了问题。最终发现是用户输入的格式不规范的数据，使得对数据做查找替换的一段代码不断地扩大1个字符串对象，导致内存消耗不断增长，gc频繁。

# sar
# sar -P ALL 1 5
# jstat -gcutil <pid_of_jvm> 1000
# jmap -dump:format=b,file=HeapDump.hprof <pid_of_jvm>

参考: http://wiki.eclipse.org/index.php/MemoryAnalyzer

]]> http://guoyong.me/dev/solve-jvm-oom-problem-with-mat/feed/ 0 再谈使用Commons HttpClient产生大量CLOSE_WAIT http://guoyong.me/dev/%e5%86%8d%e8%b0%88%e4%bd%bf%e7%94%a8commons-httpclient%e4%ba%a7%e7%94%9f%e5%a4%a7%e9%87%8fclose_wait/ http://guoyong.me/dev/%e5%86%8d%e8%b0%88%e4%bd%bf%e7%94%a8commons-httpclient%e4%ba%a7%e7%94%9f%e5%a4%a7%e9%87%8fclose_wait/#comments Tue, 02 Feb 2010 07:16:12 +0000 wolfg http://guoyong.org/?p=572 默认情况下(即用默认构造方法建立HttpClient对象)，httpMethod.releaseConnection()方法并不会关闭连接的Socket，目的是可以重用这个连接。网上有不少讨论：

这些讨论里提出了关闭Socket的方法，即在请求头里加上”Connection: close”，具体可见HTTP协议规范里的说明。

其实HttpClient 3.x 里还可以通过下面的方式建立HttpClient对象，来保证关闭Socket连接：

  1. HttpClient httpClient = new HttpClient(new SimpleHttpConnectionManager(true));

具体可见HttpClient源码和API文档。

当然，使用HttpClient的多线程连接管理器时就不用这么做了。

]]> http://guoyong.me/dev/%e5%86%8d%e8%b0%88%e4%bd%bf%e7%94%a8commons-httpclient%e4%ba%a7%e7%94%9f%e5%a4%a7%e9%87%8fclose_wait/feed/ 0 遭遇”java.io.IOException: Too many open files” http://guoyong.me/linux/sysadm/%e9%81%ad%e9%81%87java-io-ioexception-too-many-open-files/ http://guoyong.me/linux/sysadm/%e9%81%ad%e9%81%87java-io-ioexception-too-many-open-files/#comments Wed, 20 Jan 2010 08:47:21 +0000 wolfg http://guoyong.org/?p=520 Continue reading →]]> 今天下午，线上的Jetty服务宕机了，日志里大量的”java.io.IOException: Too many open files”错误。搜索到Freddy Chu的博客里正好有关于此的解决办法。

$ sysctl fs.file-max
$ lsof -u jetty -nn | wc -l
$ ulimit -a
$ sudo vi /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

同时发现了系统里也有Freddy Chu提到的”Too many CLOSE_WAIT”问题，谢谢Freddy Chu。

$ sudo vi /etc/sysctl.conf
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_intvl = 2
net.ipv4.tcp_keepalive_probes = 2
net.ipv4.tcp_keepalive_time = 1800

$ sudo sysctl -p

Update(2010-01-21): root用户要特殊设置

$ sudo vi /etc/security/limits.conf
root soft nofile 65535
root hard nofile 65535
]]> http://guoyong.me/linux/sysadm/%e9%81%ad%e9%81%87java-io-ioexception-too-many-open-files/feed/ 0 解决Maven Jetty Plugin在Windows下的“文件锁定”问题 http://guoyong.me/dev/jie-jue-maven-jetty-plugin-zai-windows-xia-di-wen-jian-suo-ding-wen-ti/ http://guoyong.me/dev/jie-jue-maven-jetty-plugin-zai-windows-xia-di-wen-jian-suo-ding-wen-ti/#comments Mon, 23 Jun 2008 05:31:04 +0000 wolfg http://guoyong.org/?p=360 使用Maven进行Java的web开发，Jetty Plugin是必不可缺的插件，可以极大的提到开发效率。但在Windows环境下会遇到静态文件（html、css、js）被锁定、无法即时更新的问题。要想更新这些文件，只能先停掉Jetty，保存修改，再启动Jetty，非常不方便。
解决办法是这样的：
1、从jetty.jar中解出webdefault.xml（位于org.mortbay.jetty.webapp包下）这个文件，把这个useFileMappedBuffer参数设为false

<init-param>
 <param-name>useFileMappedBuffer</param-name>
 <!-- change to false -->
 <param-value>true</param-value>
</init-param>

2、把修改后的webdefault.xml文件跟pom.xml放在一起
3、修改pom.xml里的Jetty Plugin的配置，加入webdefault.xml

...
<plugin>
   <groupId>org.mortbay.jetty</groupId>
   <artifactId>maven-jetty-plugin</artifactId>
   <version>6.1.7</version>
   <configuration>
     <contextPath>/</contextPath>
     <webDefaultXml>webdefault.xml</webDefaultXml>
     ...
    </configuration>
    ...
</plugin>
...
]]> http://guoyong.me/dev/jie-jue-maven-jetty-plugin-zai-windows-xia-di-wen-jian-suo-ding-wen-ti/feed/ 1 Web页面自动打印PDF文件的实现 http://guoyong.me/dev/web-e9-a1-b5-e9-9d-a2-e8-87-aa-e5-8a-a8-e6-89-93-e5-8d-b0pdf-e6-96-87-e4-bb-b6-e7-9a-84-e5-ae-9e-e7-8e-b0/ http://guoyong.me/dev/web-e9-a1-b5-e9-9d-a2-e8-87-aa-e5-8a-a8-e6-89-93-e5-8d-b0pdf-e6-96-87-e4-bb-b6-e7-9a-84-e5-ae-9e-e7-8e-b0/#comments Fri, 29 Feb 2008 15:01:55 +0000 wolfg http://guoyong.org/2008/02/29/350 Continue reading →]]> 借助iText和Adobe Acrobat的Javascript支持，可以实现PDF文档的自动打印（可以做到不显示打印对话框）

  1. ......
  2.  
  3. PdfReader reader = new PdfReader(pdfStream); [1]
  4.  
  5. StringBuffer script = new StringBuffer(); [2]
  6. script.append("this.print({bUI: false,bSilent: true,bShrinkToFit: false});")
  7.   .append("\r\nthis.closeDoc();");
  8.  
  9. ByteArrayOutputStream bos = new ByteArrayOutputStream(pdfStream.length);
  10. try {
  11.   PdfStamper stamp = new PdfStamper(reader, bos); [3]
  12.   stamp.setViewerPreferences(PdfWriter.HideMenubar 
  13.     | PdfWriter.HideToolbar | PdfWriter.HideWindowUI);
  14.   stamp.addJavaScript(script.toString());
  15.   stamp.close();
  16. } catch (DocumentException e) {
  17.   logger.error(e.getMessage(), e.getCause());
  18. }
  19.  
  20. return new StreamingResolution("application/pdf", 
  21.   new BufferedInputStream(new ByteArrayInputStream(bos.toByteArray()))) ;
  22.  
  23. ......

代码说明：
1、pdfStream是用iText生成的PDF文档字节流
2、script是要加入到PDF文档里的Javascript代码。这段Javascript代码先调用PDF文档对象的print方法，然后用closeDoc方法关闭文档。print方法的参数指定了不要显示打印对话框，参数含义参考Acrobat JavaScript Scripting Reference
3、bos用来保存加入Javascript后的PDF文档字节流，它作为PdfStamper对象的输出流。PdfStamper对象调用addJavaScript方法将Javascript代码加入到PDF文档中。

Web页面嵌入PDF文档:

  1. <embed type="application/pdf" src="/PrintPdf.action" width="1" height="1"></embed>
]]> http://guoyong.me/dev/web-e9-a1-b5-e9-9d-a2-e8-87-aa-e5-8a-a8-e6-89-93-e5-8d-b0pdf-e6-96-87-e4-bb-b6-e7-9a-84-e5-ae-9e-e7-8e-b0/feed/ 0 发布jar包到自己设立的Maven Repository http://guoyong.me/dev/%e5%8f%91%e5%b8%83jar%e5%8c%85%e5%88%b0%e8%87%aa%e5%b7%b1%e7%9a%84repository/ http://guoyong.me/dev/%e5%8f%91%e5%b8%83jar%e5%8c%85%e5%88%b0%e8%87%aa%e5%b7%b1%e7%9a%84repository/#comments Sat, 08 Dec 2007 07:28:47 +0000 wolfg http://guoyong.org/2007/12/08/348 使用Artifactiry为自己的开发团队设立了repository镜像。有时需要把本地的一些第三方的jar包发布到服务器，使用maven-deploy-plugin的deploy:deploy-file目标可以完成这个任务。

比如，要发布jta的jar包jta-1.0.1B.jar

$ mvn deploy:deploy-file -DgroupId=javax.transaction \
   -DartifactId=jta \
   -Dversion=1.0.1B \
   -Dpackaging=jar \
   -Dfile=~/.m2/repository/javax/transaction/jta/1.0.1B/jta-1.0.1B.jar \
   -DrepositoryId=central \
   -Durl=http://host.of.your.repository[:port]/artifactory/ibiblio@repo

说明：

  • repositoryId在工程的pom文件里设置
  • url由Artifactiry的配置决定，注意不能使用virtual repository的地址
  • 如果远程repository需要身份验证，用户名和密码需要在maven的settings.xml里设置

参考:

  • http://maven.apache.org/guides/mini/guide-deploying-3rd-party-jars.html
  • http://www.jfrog.org/sites/artifactory/latest/import.html
]]> http://guoyong.me/dev/%e5%8f%91%e5%b8%83jar%e5%8c%85%e5%88%b0%e8%87%aa%e5%b7%b1%e7%9a%84repository/feed/ 2 EasyEclipse的console中文乱码问题的解决 http://guoyong.me/dev/easyeclipse%e7%9a%84console%e4%b8%ad%e6%96%87%e4%b9%b1%e7%a0%81%e9%97%ae%e9%a2%98%e7%9a%84%e8%a7%a3%e5%86%b3/ http://guoyong.me/dev/easyeclipse%e7%9a%84console%e4%b8%ad%e6%96%87%e4%b9%b1%e7%a0%81%e9%97%ae%e9%a2%98%e7%9a%84%e8%a7%a3%e5%86%b3/#comments Mon, 14 May 2007 16:49:59 +0000 wolfg http://guoyong.org/2007/05/15/321 EasyEclipse的console中输出中文是乱码，原因是它自带的jre不是多语言版本，从多语言版本的JDK里复制charsets.jar文件到%Easy_Eclipse_Home%\jre\jre\lib目录下，重新启动一下EasyEclipse就好了。

]]> http://guoyong.me/dev/easyeclipse%e7%9a%84console%e4%b8%ad%e6%96%87%e4%b9%b1%e7%a0%81%e9%97%ae%e9%a2%98%e7%9a%84%e8%a7%a3%e5%86%b3/feed/ 0