Weblogic診斷之文件句柄泄露問題

IT那活兒發布于2023-01-11 13:20 / 1065人閱讀

Weblogic診斷之文件句柄泄露問題

點擊上方“IT那活兒”，關注后了解更多內容，不管IT什么活兒，干就完了！！！

問題描述

有時候業務比較繁忙時，就會出現如下問題：

too many open files：顧名思義即打開過多文件數。

不過這里的files不單是文件的意思，也包括打開的通訊鏈接(比如socket)，正在監聽的端口等等，所以有時候也可以叫做句柄(handle)，這個錯誤通常也可以叫做句柄數超出系統限制。

故障癥狀

1. 進程報: I/O Exception錯誤，進程在執行文件I0時達到了文件描述符極限，并影響I0操作時，就會報此異常。

2. 服務監聽異常，服務不可用。

3. 進程報：SocketException錯誤，進程打開的文件過多時，在打開新套接字連接時，可能就達到了文件描述符極限，如果錯誤影響到底層的TCP協議，就會報Socket Exception錯誤。

解決方法

優化句柄限制：

系統默認的ulimit對文件打開數量的限制是1024，修改/etc/security/limits.conf并加入以下配置，永久生效。

* soft nofile 65535

* hard nofile 65535

硬限制是實際的限制，而軟限制，是warnning限制，超過這個數值只會做出warning。

注意：

1）這個限制是針對單個用戶的限制；

2）這個限制不會改變之前已經運行了的程序的限制。

利用lsof探查句柄問題

查找文件句柄問題的時候，還有一個很實用的程序lsof。可以很方便看到某個進程開了那些句柄，也可以看到某個文件/目錄被什么進程占用了。

例如分析句柄數，查找原因，這是解決問題最根本的辦法。

那么如何分析？那就需要用到lsof這個命令了。

統計各進程打開句柄數：lsof -n|awk {print $2}|sort|uniq -c|sort -nr
統計各用戶打開句柄數：lsof -n|awk {print $3}|sort|uniq -c|sort -nr
統計各命令打開句柄數：lsof -n|awk {print $1}|sort|uniq -c|sort -nr

找出可疑的句柄泄露點，根據以上統計信息分析查找句柄泄露點，反饋開發廠商排查是否存在句柄泄露。

案例分析

1. 問題現象

某月某日監控探測發現java化營業渠道prod中心部分server不可用。檢查發現weblogic控制臺無法登陸、wlst方式無法訪問Server。

2. 排查過程

1）使用netstat -na查看端口監聽情況：

發現問題主機對應的server端口監控不存在，如上圖 10202在10.243.x.x IP 上的監聽不存在了。

2）核查WebLogic Server日志是否存在異常報錯：

發現server日志中存在如上報錯，Too many open files (Accept failed)，導致監聽異常。

3）使用lsof查看文件句柄使用情況：

如上圖，prod中心應用打開句柄數明顯很高

分析lsof的結果：

發現進程號 34034 中打開的 coherence.properties 文件有：9209個。而當前WebLogic Server中配置的最大。

文件句柄數是10240，進程號34034打開的文件句柄數已達到10755。懷疑存在句柄泄露。

3. 處置辦法

1）應用代碼修復前，我側建議將weblogic句柄數設置參數做以下調整，以緩解問題對業務造成的影響。當前句柄數設置為 10240 ，調整為：30720。

2）由于存在較多監聽不在的情況，對現有連接暫時無影響，但是新的連接會無法連接上來，重啟應用暫時恢復應用。

3）通知業務側核查為何會存在coherence.properties文件大量打開而沒有關閉的情況。

4）經開發商核實是產品中心打開緩存公共方法有問題，打開后未進行關閉。代碼已修復上線。

本文作者：程紅

本文來源：IT那活兒（上海新炬王翦團隊）

云服務器 GPU云服務器服務器句柄泄露問題診斷ecs 文件句柄 ecs windows服務器之dfs文件同步

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129621.html

內存泄露從入門到精通三部曲之基礎知識篇

摘要：騰訊特約作者姚潮生首先以一個內存泄露實例來開始本節基礎概念的內容。堆內存用于存放所有由創建的對象內容包括該對象其中的所有成員變量和數組。回到我們的問題，為什么內存會泄露堆內存中的長生命周期的對象持有短生命周期對象的強軟引用，盡管騰訊Bugly特約作者：姚潮生首先以一個內存泄露實例來開始本節基礎概念的內容。實例1：單例導致內存對象無法釋放而泄露 showImg(http://i....

nicercode 2019-08-14 12:50 評論0 收藏0
DBASK問答集萃（2）

摘要：新晉技術專家下面是墨天輪部分新晉的技術專家。大家可以點擊往期閱讀墨天輪技術專家邀請函了解詳情，申請成為我們的技術專家，加入專家團隊，與我們一起創建一個開放互助的數據庫技術社區。新關聯公眾號墨天輪是一個開放互助的數據庫技術社區。引言近期我們在DBASK小程序增加了數據庫 MongoDB、Redis、 Elasticsearch、DB2、Weblogic 等新的的專題欄目和一些新的技術...

liuchengxu 2019-07-25 12:40 評論0 收藏0
2018先知白帽大會 | 議題解讀

摘要：摘要今年的先知白帽大會，與會者將能夠親身感受到非常多有趣的技術議題，如在國際賽事中屢奪佳績的團隊，其隊長將親臨現場，分享穿針引線般的漏洞利用藝術。從數據視角探索安全威脅阿里云安全工程師議題解讀本議題討論了數據為安全人員思維方式帶來的變化。摘要：今年的先知白帽大會，與會者將能夠親身感受到非常多有趣的技術議題，如HITCON在國際賽事中屢奪佳績的CTF團隊，其隊長Orange將親臨現場...

Hydrogen 2019-06-21 16:46 評論0 收藏0