存儲鏈路問題導致的RAC異常

存儲鏈路問題導致的RAC異常

昨天，有人加我，說遇到了RAC問題。 環境是oracle 11.0.2.4，2節點。情況如下，CRSD宕了，集群不會自動切換。並且出現了好幾次了。
我讓這哥們兒提供了日志。






通過日志，可以看到1、2節點CRSD服務REBOOT只差1秒鐘；Voting file /dev/raw/raw1不能提供服務只差2秒鐘。 兩節點CRSD同時重啟，幾乎已經可以斷定不是RAC自身問題。
節點1：2016-03-18 23:25:38.643:[cssd(6930)]CRS-1615:No I/O has completed after 50% of the maximum interval. Voting file /dev/raw/raw1 will be considered not functional in 99220 milliseconds
2016-03-18 23:26:58 CRSD REBOOTCRSD exiting: Could not init OCR, code: 26
節點2：2016-03-18 23:25:36.834:[cssd(6590)]CRS-1615:No I/O has completed after 50% of the maximum interval. Voting file /dev/raw/raw1 will be considered not functional in 99760 milliseconds
2016-03-18 23:26:59 CRSD REBOOTCRSD exiting: Could not init OCR, code: 26
再看OS日志，遠程光纖口（WWN = 50:0b:34:20:0f:f4:f8:08）連通性丟失。 到這裡肯定是存儲鏈路出現問題了。 節點1Mar 18 23:26:38 xxxxr01 kernel: bfa 0000:81:00.0: Remote port (WWN = 50:0b:34:20:0f:f4:f8:08) connectivity lost for logical port (WWN = 21:00:00:24:ff:09:a5:8a)Mar 18 23:26:38xxxxr01kernel: bfa 0000:81:00.0: Target (WWN = 50:0b:34:20:0f:f4:f8:08) connectivity lost for initiator (WWN = 21:00:00:24:ff:09:a5:8a)
節點2Mar 18 23:26:48 xxxx02 kernel: bfa 0000:81:00.0: Remote port (WWN = 50:0b:34:20:0f:f4:f8:08) connectivity lost for logical port (WWN = 21:00:00:24:ff:09:a5:a2)Mar 18 23:26:48 xxxr02 kernel: bfa 0000:81:00.0: Target (WWN = 50:0b:34:20:0f:f4:f8:08) connectivity lost for initiator (WWN = 21:00:00:24:ff:09:a5:a2)
今天，又和這哥們兒聊了聊，已經聯系存儲廠商來檢查存儲鏈路。存儲是宏杉的，我第一次聽說有國產存儲，也算長見識了。
RAC中，出現問題，很多時候並不是RAC自身問題。存儲鏈路出現問題造成RAC無法提供服務的事情我已經遇到好幾次了。DBA遇到RAC異常，軟件和硬件都要注意排查，這樣才能快速定位問題。

轉載請注明：
http://blog.chinaunix.net/uid/23284114.html