在講解事件和故障處理思路之前，先說一個故障場景（以呼叫中心系統(tǒng)為例）：

業(yè)務人員反映呼叫中心系統(tǒng)運行緩慢，部分電話在自助語言環(huán)節(jié)超時，電話轉(zhuǎn)人工座席，人工座席出現(xiàn)線路突發(fā)情況。

運維人員忙碌，查看資源使用情況，查看服務是否正常，查看日志是否報錯，查看交易量是否還在……時間在敲打鍵盤，敲打鍵盤，在鍵盤上打字，但原因仍然沒有找到。

經(jīng)理過來查看情況：“系統(tǒng)恢復了嗎？”、“故障有什么影響？”、“事務中斷了嗎？”……

運維人員趕緊敲鍵盤，寫sql，查看交易量；敲了鍵盤，寫了命令，看了看系統(tǒng)資源和情況……

最后定位，問題原因是其中一個函數(shù)沒有控制返回次數(shù)，導致內(nèi)存泄漏。

針對這個故障，業(yè)務希望運維能夠更快的解決故障恢復。經(jīng)理希望制定和優(yōu)化呼叫中心的故障處理流程，做了以下幾件事：

1、是時候確定故障排除過程的優(yōu)先級了——“用鼠標可以做什么，而不是鍵盤”

2、提前發(fā)現(xiàn)故障，加強監(jiān)控——“技術(shù)比業(yè)務更早發(fā)現(xiàn)問題，監(jiān)控不僅是報警，還有助于故障定位”

3、完善故障應急預案——“應急預案及時、準確、簡單明了”

4、長期目標：故障的自愈——“可以??治愈的操作自動化，機器可以做的機器”

下面將從常見的故障排除方法介紹開始，然后從故障前的準備工作（完善監(jiān)控、制定應急預案等）著手解決管理者提出的問題，并提出解決故障的思路未來。

1、常用方法：

1）判斷故障現(xiàn)象，初步判斷問題影響

在處理故障之前，運維人員首先要了解故障現(xiàn)象，而故障現(xiàn)象直接決定了故障應急預案的制定，這取決于運維人員需要對整體有一定的熟悉程度應用系統(tǒng)的功能。

確認故障現(xiàn)象后，即可指導運維人員初步判斷故障影響。

2）緊急恢復

運維最基本的指標是系統(tǒng)可用性，而應急恢復的及時性是系統(tǒng)可用性的關(guān)鍵指標。

通過對上述故障現(xiàn)象和影響的判斷，可以制定故障應急操作。故障應急操作有很多，例如：

另外，需要補充的是，在故障出現(xiàn)之前，需要在一定條件下保存當前系統(tǒng)場景。例如，在殺死一個進程之前，您可以先捕獲一個 CORE 文件或一個數(shù)據(jù)庫快照文件。

3）快速定位故障原因

故障現(xiàn)象能否重現(xiàn)對于快速解決問題非常重要。可復現(xiàn)是指總會有方法或工具幫助我們定位問題的原因，而可復現(xiàn)的故障往往可能是由于服務異常、變更等工作造成的。

但是，如果故障是零星的，發(fā)生概率很小，則故障排除就比較困難，這取決于系統(tǒng)在故障期間是否有足夠的現(xiàn)場信息來確定是否可以定位始終原因。

大多數(shù)故障是由更改引起的。在確定故障現(xiàn)象后，如果有相應的變化，有助于從變化的角度分析是否是由變化引起的it運維技術(shù)，以便快速定位故障，制定折返等應急預案。

一方面，應用系統(tǒng)提倡解耦，一筆交易會流經(jīng)不同的應用系統(tǒng)和模塊；另一方面，故障可能是由于應用程序、系統(tǒng)軟件、硬件、網(wǎng)絡等環(huán)節(jié)的問題。在排除故障原因時，應避免全面檢查。建議在協(xié)調(diào)相關(guān)團隊調(diào)查之前將問題范圍縮小到某個程序。

同時（3）點）為避免所有相關(guān)團隊同時在沒有線索的情況下同時排查，牽頭方需要有開放的態(tài)度，要求相關(guān)方在收窄后配合定位范圍，相關(guān)方需要積極配合。工作態(tài)度。

定位故障原因最常用的方法是分析應用程序日志。運維人員不僅要知道業(yè)務功能對應的是哪個服務進程，還要知道服務進程對應的是哪個應用日志，對應用日志的異常有一些簡單的判斷。能力。

故障期間的系統(tǒng)站點非常重要。緊急情況前，建議保留系統(tǒng)站點文件，如COREDUMP，或TRACE收集信息等，并備份一些可能被覆蓋的日志。

以上是一般故障的常用方法。當發(fā)生重大故障或多方故障時，小范圍排查往往不利于快速解決，需要啟動應急處理流程。建議考慮以下溝通：

2、完美監(jiān)控

1）從監(jiān)控可視化提升

完善的監(jiān)控策略需要統(tǒng)一的可視化操作界面。制定完善的監(jiān)控策略后，故障處理者需要能夠快速看到相應的運行數(shù)據(jù)，例如一段時間內(nèi)的趨勢、故障期間的數(shù)據(jù)性能、性能分析等數(shù)據(jù)，而這些數(shù)據(jù)可以在提前將分析結(jié)果直接推送給故障處理人員，大大提高了故障處理的效率。以呼叫中心系統(tǒng)為例，需要提前配置以下實時交易數(shù)據(jù)，用于故障定位：

- 事務性能數(shù)據(jù)：平均事務時間、系統(tǒng)內(nèi)部模塊事務時間（IVR事務時間、接口總線事務時間）、關(guān)聯(lián)系統(tǒng)事務時間（核心事務時間、工單系統(tǒng)事務時間等）

- 重要交易指標數(shù)據(jù)：交易量、IVR交易量、流量、座席呼叫率、核心交易數(shù)、工單等系統(tǒng)交易量

- 交易異常數(shù)據(jù)：交易成功率、失敗率、大部分有錯誤碼的交易

- 按服務器分析交易數(shù)據(jù)：根據(jù)每個服務處理的交易數(shù)量統(tǒng)計，總交易時間

有了以上交易數(shù)據(jù)，通過監(jiān)控以一定的頻率統(tǒng)計，當發(fā)生故障時，運維人員可以通過鼠標點擊查看故障是從什么時候開始的，是系統(tǒng)內(nèi)部有問題還是關(guān)聯(lián)系統(tǒng)有問題，最突出的事務是哪一個it運維技術(shù)，各個服務器的事務量是否均衡等等。

2）從監(jiān)控的角度來看很完美

監(jiān)控最基本的任務是實現(xiàn)對負載均衡設備、網(wǎng)絡設備、服務器、存儲設備、安全設備、數(shù)據(jù)庫、中間件和應用軟件等IT資源的全面監(jiān)控和管理。在應用軟件的監(jiān)控中，不僅需要對服務進程和端口的監(jiān)控，還需要對業(yè)務層和事務層的監(jiān)控。

全面的應用程序監(jiān)控可以對故障進行早期預警，并保存影響應用程序運行環(huán)境的數(shù)據(jù)，以減少故障處理時間。

3）改進監(jiān)控和報警

完善的監(jiān)控策略需要有清晰的監(jiān)控報警提示，值班人員可以根據(jù)監(jiān)控報警做出簡單的問題定位和應急處理方案。例如，類似如下的監(jiān)控消息：

22:00，在【理財應用系統(tǒng)】的【應用服務器10.2.111.111】中，【應用端口：9080】不存在，且端口功能【提供財務管理應用處理（負載均衡部署）】，原因可能是【服務異常停止】，監(jiān)控系統(tǒng)進行了以下應急處理【自動執(zhí)行端口進程啟動】，本次事件的緊急程度高]。

管理員可以通過短信內(nèi)容看到是哪個系統(tǒng)、哪個應用、哪個模塊有問題，可能的原因是什么，對業(yè)務有什么影響，是否需要立即處理（例如，預警是否可以延遲到次日處理）等信息。

4)從監(jiān)控分析改進

完善的監(jiān)控策略不僅需要實時數(shù)據(jù)報警，還需要對匯總數(shù)據(jù)進行分析報警。不用說，實時數(shù)據(jù)分析警報的重要性在于從聚合和分析的數(shù)據(jù)中發(fā)現(xiàn)潛在的風險。疾病幫助。

5)通過監(jiān)控主動改進

監(jiān)控不僅僅是報警，它還可以做更多的事情，只要我們想辦法給它規(guī)則來主動解決事件，它就有能力為管理員處理故障。

3、應急計劃

需要提前制定故障應急預案，但是在日常工作過程中我們的應急預案遇到了一些問題：

1）應急預案缺乏持續(xù)維護，缺乏演練，信息不及時準確；

2）應急預案太大太全面，不利于閱讀和使用；

3）應急預案的形式大于實際使用效果，方案針對性不強；

4）只關(guān)注應急預案的內(nèi)容，不關(guān)注運維人員對預案的理解；

針對以上常見問題，應急預案需要做到以下幾點：

1）精簡內(nèi)容

很多人可能認為故障可以有多種形式，因此應急計劃需要涵蓋方方面面。但是在實際的排查過程中，我們可以發(fā)現(xiàn)我們的應急措施往往會復用幾個常用的步驟，所以我認為應急預案應該重點突出。如果一個應急計劃可以處理 80% 的常見故障，那么這個應急手冊應該是合格的。過分追求影響應用系統(tǒng)各個方面的內(nèi)容，會導致解決方案的可讀性差，最終改變一個應該檢查的文檔。以下是我認為應用系統(tǒng)應急計劃應具備的內(nèi)容：

(1）系統(tǒng)級：

可以知道當前應用系統(tǒng)在整個事務中的作用。當當前系統(tǒng)或上下游出現(xiàn)問題時，可以知道如何配合上下游分析問題，例如：上下游系統(tǒng)如何通信，是否有唯一的通信關(guān)鍵字等.

此外，在系統(tǒng)層面還涉及到一些基本的應急操作，如擴容、系統(tǒng)和網(wǎng)絡參數(shù)調(diào)整等。

(2）服務等級：

可以知道這個服務影響了哪些業(yè)務，服務中涉及的日志、程序、配置文件在哪里，如何檢查服務是否正常，如何重啟服務，如何調(diào)整應用級參數(shù)。

(3）事務級別：

能知道如何找出某個分支或某類事務有問題，無論是大規(guī)模的、局部的還是偶發(fā)的問題，都能用數(shù)據(jù)解釋事務的影響，并能定位事務錯誤信息。這里最常用的方法是使用數(shù)據(jù)庫查詢或工具。

知道如何檢查最重要的交易是否正常，以及重要定時任務的應急解決方案，如開戶、日期變更、對賬時間要求、應急措施等。

(4）輔助工具的使用：

有時，需要使用一些工具或自動化工具來輔助分析和應急響應。這時候，就需要有一個如何使用輔助工具的方法。

(5）交流計劃：

溝通計劃涉及通訊錄，包括上下游系統(tǒng)、第三方單位、業(yè)務部門等渠道。

(6）其他：

以上五點都完成了，相信這本應急手冊可以解決80%的故障恢復工作。

2）應急計劃是一項持續(xù)的工作

有了應急預案，很難讓運維人員不斷更新。我認為要解決這個困難，我們需要讓運維人員經(jīng)常使用這本手冊。如果手冊沒有使用場景，管理人員需要為運維人員創(chuàng)造使用手冊的機會，例如應急演練。

3）關(guān)注運維人員對關(guān)鍵應用信息的理解

前兩點關(guān)注手冊，最后一點我覺得有必要關(guān)注使用它的人。一些運維人員認為應用運維人員沒有能力對應用系統(tǒng)本身的內(nèi)容了解透徹，因此應用運維人員在排查過程中的狀態(tài)非常尷尬。該怎么辦。

對此，我同意應用運維人員不需要掌握應用系統(tǒng)的業(yè)務功能，但我認為應用運維人員對于應用系統(tǒng)本身需要具備以下基本能力：

（1）知道應用系統(tǒng)是做什么的，基礎業(yè)務是什么；

(2）了解應用架構(gòu)部署，上下游系統(tǒng)邏輯關(guān)系；

（3）知道應用下服務的作用、端口、服務級別的緊急處理，以及如何查找和簡單定位日志等數(shù)據(jù)信息。

(4）了解應用系統(tǒng)的重要時間點和任務，如開、關(guān)、換天、定時任務，以及如何判斷這些任務是否正確

(5）了解最重要交易的流程；

(6）了解常見的數(shù)據(jù)庫表結(jié)構(gòu)并且可以使用它們。

4、智能事件處理

處理方法如下（詳細智能涉及監(jiān)控、規(guī)則引擎、配置工具、CMDB、應用配置庫等模塊協(xié)同工作）

文章轉(zhuǎn)載：twt企業(yè)IT社區(qū)