云南電網(wǎng)公司舉辦營銷管理信息系統(tǒng)容災(zāi)應(yīng)急演練

2013-12-02 14:25:23 云南電網(wǎng)公司　點擊量：評論 (0)

隨著云南電網(wǎng)業(yè)務(wù)的快速發(fā)展，各業(yè)務(wù)運作更加依賴于信息系統(tǒng)的穩(wěn)定運行，其結(jié)果是一旦發(fā)生大的災(zāi)害，云南電網(wǎng)公司的IT系統(tǒng)及其所支持的業(yè)務(wù)系統(tǒng)將毀于一旦。為避免發(fā)生重大災(zāi)難發(fā)生時信息系統(tǒng)癱瘓、用戶資料、運營數(shù)據(jù)的丟失，云南電網(wǎng)公司于2009年8月建成重要信息容災(zāi)備份系統(tǒng)，2011年11月成功開展容災(zāi)切換演練，2013年，容災(zāi)應(yīng)急演練再度列為云南電網(wǎng)公司度信息系統(tǒng)運維的重要工作計劃。

　　11月22日，由信息部組織，信息中心承辦的云南電網(wǎng)公司營銷管理信息系統(tǒng)容災(zāi)應(yīng)急演練正式舉行，來自云南電網(wǎng)公司信息部、市場部、信息中心，昆明供電局，云南云電同方科技有限公司，技術(shù)支撐廠商、能訊、遠信公司等近80人參加。真實模擬了云南電網(wǎng)公司營銷管理信息系統(tǒng)在云電科技園生產(chǎn)環(huán)境數(shù)據(jù)庫、存儲設(shè)備不可用，短時間內(nèi)無法恢復(fù)生產(chǎn)環(huán)境，而電力大廈20樓容災(zāi)環(huán)境運行正常的情況下，公司應(yīng)急指揮中心討論決定以及時恢復(fù)營銷業(yè)務(wù)為目標，啟動營銷管理信息系統(tǒng)（云南電網(wǎng)公司營銷3.0系統(tǒng)）容災(zāi)切換應(yīng)急預(yù)案，成功造就云南電網(wǎng)公司信息系統(tǒng)應(yīng)急演練的3個“最”。

　　影響范圍最廣

　　云南電網(wǎng)公司營銷管理信息系統(tǒng)是云南電網(wǎng)公司營銷業(yè)務(wù)一體化大集中系統(tǒng)，供云南電網(wǎng)公司本部、各地、市、縣供電單位使用。該系統(tǒng)容災(zāi)于2009年建設(shè)完成，整個容災(zāi)環(huán)境分為生產(chǎn)服務(wù)器區(qū)和災(zāi)備服務(wù)器區(qū)，分別位于云電科技園數(shù)據(jù)中心機房和電力大樓20樓機房，通過EMC存儲級數(shù)據(jù)復(fù)制進行實時數(shù)據(jù)同步，保證生產(chǎn)環(huán)境和容災(zāi)環(huán)境數(shù)據(jù)的一致性。演練能夠驗證該核心業(yè)務(wù)系統(tǒng)在發(fā)生重大災(zāi)難時容災(zāi)環(huán)境的可靠性以及故障上報制度、應(yīng)急預(yù)案、應(yīng)急容災(zāi)組織結(jié)構(gòu)的合理性，為關(guān)鍵業(yè)務(wù)系統(tǒng)提供風險預(yù)防機制和災(zāi)難恢復(fù)措施，在確保數(shù)據(jù)安全的基礎(chǔ)上提高業(yè)務(wù)連續(xù)運行能力，降低企業(yè)運營風險，將業(yè)務(wù)損失降低到可接受的程度，提升管理和服務(wù)質(zhì)量，增強企業(yè)競爭力。

　　演練涉及到云南電網(wǎng)公司17個地/市級供電單位，113個縣級供電單位的營銷系統(tǒng)及營銷業(yè)務(wù)關(guān)聯(lián)模塊的正常使用。營銷系統(tǒng)有3.244萬用戶，再加上由于多個與營銷有關(guān)的業(yè)務(wù)系統(tǒng)需要通過業(yè)務(wù)功能接口、直連數(shù)據(jù)庫、數(shù)據(jù)庫鏈接等方式調(diào)用、訪問和抽取該系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，因此演練共影響到云南電網(wǎng)公司95598呼叫中心、網(wǎng)上營業(yè)廳、營銷綜合分析、營銷監(jiān)控、銀電互聯(lián)、南網(wǎng)數(shù)據(jù)中心等10個系統(tǒng)的正常使用。是云南電網(wǎng)信息專業(yè)影響范圍最廣的一次應(yīng)急演練。

　　考慮到演練期間更改數(shù)據(jù)庫連接、重啟數(shù)據(jù)庫等步驟導致數(shù)據(jù)丟失等問題，演練組提前通知了供電單位演練期間停止對各有關(guān)系統(tǒng)的使用。云南電網(wǎng)公司信息部副主任黃文載說道：“營銷管理信息系統(tǒng)是一個重要的信息系統(tǒng)，影響面非常廣，涉及到千家萬戶的客戶用電信息等資料，這些資料一旦丟失會對社會造成很大的影響，因此這次我們協(xié)調(diào)了方方面面，通過短信、網(wǎng)頁、電話通知等形式對演練進行了公告。”提前將95598呼叫中心語音服務(wù)和電話接聽轉(zhuǎn)至備用平臺，手工記錄工單，演練完成后再將工單信息以手工錄入系統(tǒng)，將演練停機對95598呼叫中心的業(yè)務(wù)影響降至最低；更改了營銷綜合分析、營銷監(jiān)控、南網(wǎng)數(shù)據(jù)中心系統(tǒng)數(shù)據(jù)抽取時間；通知銀行和優(yōu)付通等調(diào)用銀電互聯(lián)接口，調(diào)整對賬時間窗口，避開演練對功能調(diào)用的影響；更改營配集成接口和電能量接口的數(shù)據(jù)庫連接指向，有效降低影響。

　　準備最充分

　　與“不打招呼”的應(yīng)急演練不同的是，信息系統(tǒng)由于涉及的人員、操作、流程、設(shè)備較多，存在一定的風險，需要完備的演練準備。

　　“演練的前期準備是按照項目管理的模式來開展，各組安排都比較到位，定崗、定員、定責，把組織架構(gòu)建立起來。進行了WBS分解，整個工作從會務(wù)策劃到實施過程，誰來負責，有哪些活動都清清楚楚地定下來，準備非常周全，這是值得以后發(fā)揚的一點。”信息中心安全生產(chǎn)部主任周靖談到。演練前精心編制了云南電網(wǎng)公司《營銷管理信息系統(tǒng)應(yīng)急演練整體方案》、《營銷管理信息系統(tǒng)應(yīng)急演練技術(shù)指導手冊》、《營銷管理信息系統(tǒng)應(yīng)急演練PPT》，經(jīng)過公司信息部、市場部、信息中心以及系統(tǒng)運維單位云電同方公司反復(fù)校核與審查，使得方案更加周密。

　　按照從低到高的順序，演練將風險系數(shù)分為5個級別，開展了風險點預(yù)估和風險點管控，最大限度地消除和規(guī)避風險。在演練管理層面，多次討論應(yīng)急演練方案及流程，細化并優(yōu)化各流程環(huán)節(jié)，避免流程不合理導致演練時間大于預(yù)期、演練關(guān)鍵人員不在場導致溝通和操作的延誤等問題。在技術(shù)層面，編制操作手冊，避免輸入錯誤命令，檢查保證網(wǎng)絡(luò)通信質(zhì)量、服務(wù)器運行情況、網(wǎng)絡(luò)通信質(zhì)量，提前添加數(shù)據(jù)庫配置，檢查測試中間件組件服務(wù)器與災(zāi)備數(shù)據(jù)庫網(wǎng)絡(luò)連通性，做好應(yīng)用程序備份，提出一系列規(guī)避方法和應(yīng)急處置方法。演練還采用了自上而下的聯(lián)絡(luò)方式，任務(wù)信息傳遞方式從上到下由演練指揮組下達至演練實施組、后勤保障組、技術(shù)保障組、信息通信組各組組長，由各組組長再下達至具體的實施和保障人員；任務(wù)執(zhí)行反饋和異常情況信息反饋從下至上，由實施和保障人員上報至各組組長，各組組長上報至演練指揮組，確保演練的順利進行。

　　持續(xù)時間最長

　　從演練準備、演練實施、到演練結(jié)束總結(jié)，整個演練過程持續(xù)近7個小時，影響業(yè)務(wù)時間近4小時。

　　11月22日晚上20：00，演練隊伍分別在信息中心應(yīng)急指揮中心、值班室、監(jiān)控室、云南電網(wǎng)公司電力大樓20樓、昆明供電局95598呼叫中心陸續(xù)就位。“下面開始介紹演練議程和工作方案……”21時30分，演練負責人張建文再次對演練內(nèi)容進行了確認。隨著演練總指揮黃文載一聲令下，演練正式開始。

　　“22時02分容災(zāi)應(yīng)急演練正式開始，本次演練預(yù)計持續(xù)4小時，影響營銷系統(tǒng)所有用戶，營銷系統(tǒng)接口模塊部分功能（95598系統(tǒng)電子工單錄入及相關(guān)查詢、網(wǎng)上營業(yè)廳呼叫中心模塊、綜合分析等系統(tǒng)的數(shù)據(jù)抽取、銀電互聯(lián)銀行對賬等）。目前操作人員正在進行系統(tǒng)切換前主機、網(wǎng)絡(luò)、數(shù)據(jù)完整性、應(yīng)用運行情況的最后檢查，預(yù)計20分鐘后完成。”這是第1條演練過程實時報送短信，演練對每項操作時間都作了明確記錄，用于和計劃進行對比，尋找差異，制定整改措施。

　　22時13分，系統(tǒng)切換條件檢查完畢，滿足切換條件，切換工作正式開始。工作人員將業(yè)務(wù)運行環(huán)境從生產(chǎn)環(huán)境切換至容災(zāi)環(huán)境，待驗證容災(zāi)系統(tǒng)的可用性后，再將業(yè)務(wù)回切至生產(chǎn)環(huán)境。切換和回切過程對生產(chǎn)環(huán)境數(shù)據(jù)庫集群、操作系統(tǒng)雙機的啟停、災(zāi)備環(huán)境數(shù)據(jù)庫主機操作系統(tǒng)卷組激活、災(zāi)備環(huán)境數(shù)據(jù)庫啟停、中間件數(shù)據(jù)庫連接指向更改等進行了系列操作，11月23日2時11分，營銷管理信息系統(tǒng)容災(zāi)演練圓滿完成。

　　云南電網(wǎng)公司信息部副主任黃文載在結(jié)束時談到：“今天的營銷管理信息系統(tǒng)容災(zāi)應(yīng)急演練非常成功，既驗證了我們的容災(zāi)系統(tǒng)的勝任能力，又檢驗了我們的管理和技術(shù)能力。”“這是我參加過做得最好的一次演練，我認為取得的效果和前期大家的準備有關(guān)，特別是技術(shù)方案很嚴謹。我到現(xiàn)場看到，一個營銷系統(tǒng)的故障恢復(fù)牽涉到一、二十個技術(shù)人員的工作，我個人感覺到一種震撼。”信息中心總工程師趙凌在總結(jié)會上有感而發(fā)：“同時我也感到了壓力，隨著信息中心定位的轉(zhuǎn)變，信息系統(tǒng)運維工作將轉(zhuǎn)移到信息中心，信息中心的擔子將會更重。”

　　應(yīng)急預(yù)案、業(yè)務(wù)連續(xù)性計劃、信息系統(tǒng)災(zāi)難恢復(fù)計劃的制定與維護是一個長期、綜合的系統(tǒng)工作，下一步，信息中心還將對各個系統(tǒng)的計劃、預(yù)案進行不定期的維護、優(yōu)化，并定期進行演練，保證災(zāi)難發(fā)生時信息系統(tǒng)的真實、可用，保障云南電網(wǎng)公司各業(yè)務(wù)的安全、可靠的運作，維護云南電網(wǎng)公司良好的社會形象。（