故障处理：Oracle实例Hang死

点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！   

背景描述


某天，某库发出了一条实例连接异常的语音告警。立即登录该节点进行检查，发现数据库的响应非常缓慢，无法正常登录数据库，此时实例已经处于Hang死状态。情况紧急，手动强制重启实例之后，数据库恢复了正常。

版本信息：

• 操作系统：RHEL7.5

• 数据库：Oracel 19.10.0.0.0（6节点RAC）

处理过程

2.1 问析定位

1）登录检查节点 3 运行情况，发现数据库响应缓慢，存在大量 library cache等待事件

2023-07-24 00:27:38.562 0 library cache: mutex X 559<br>2023-07-24 00:27:54.366           0 library cache lock          11,181<br>2023-07-24 00:27:54.366           0 library cache: mutex X 34<br>2023-07-24 00:28:10.173           0 library cache lock           9,353<br>2023-07-24 00:28:10.173           0 library cache: mutex X 2,299<br>2023-07-24 00:28:25.686           0 library cache lock           9,497<br>2023-07-24 00:28:25.686           0 library cache: mutex X 2,680<br>2023-07-24 00:28:40.697           0 library cache lock          11,523<br>2023-07-24 00:28:40.697           0 library cache: mutex X 993<br>2023-07-24 00:28:55.901           0 library cache lock           5,960<br>2023-07-24 00:28:55.901           0 library cache: mutex X 6,780<br>2023-07-24 00:29:11.702           0 library cache lock           9,320<br>2023-07-24 00:29:11.702           0 library cache: mutex X 3,527<br>2023-07-24 00:29:26.562           0 library cache lock          10,912<br>2023-07-24 00:29:26.562           0 library cache: mutex X 2,009<br>2023-07-24 00:29:41.761           0 library cache lock           3,958<br>2023-07-24 00:29:41.761           0 library cache: mutex X 9,000<br>2023-07-24 00:29:56.874           0 library cache lock          10,903