現(xiàn)在新技術(shù)發(fā)展的特別快，各種語(yǔ)言、技術(shù)、理念讓大家確實(shí)感到自顧不暇跟不上趟，但是有一點(diǎn)，在這里我要特別重申一下，AI在目前這個(gè)階段還是一種輔助大家來(lái)進(jìn)行判斷和學(xué)習(xí)、定位處理問(wèn)題的工具，就像無(wú)人駕駛，現(xiàn)在可以做到完全沒(méi)有人駕駛嗎？肯定不行，未來(lái)無(wú)人駕駛是完全可以替代人的，但它還有很長(zhǎng)一段路要走。AI運(yùn)維就像無(wú)人駕駛一樣，未來(lái)前景很光明，但任重道遠(yuǎn)。

大部分的智能運(yùn)維還沒(méi)有完全落地，我所在的企業(yè)也是處在一個(gè)探索的階段。在一個(gè)傳統(tǒng)的企業(yè)它的運(yùn)維該如何走？從以前的腳本到工具、自動(dòng)化，再到現(xiàn)在的智能運(yùn)維，中間這個(gè)步驟該怎么走？今天就從下面五個(gè)方面給大家分享下：

一、構(gòu)建一個(gè)全面科學(xué)的IT運(yùn)維管理體系

• 第一個(gè)IT部門(mén)的整體認(rèn)可不足。雖然說(shuō)IT在任何單位現(xiàn)在都是一個(gè)比較重要的部門(mén)，但是還有很多領(lǐng)導(dǎo)仍然認(rèn)為它是一個(gè)成本中心，不是一個(gè)利潤(rùn)中心，認(rèn)為這個(gè)部門(mén)是花錢(qián)的，而不是像業(yè)務(wù)部門(mén)創(chuàng)造業(yè)務(wù)價(jià)值和創(chuàng)造利潤(rùn)的。

• 第二個(gè)對(duì)于運(yùn)維工作人員負(fù)荷比較大，工作模式不被員工認(rèn)可。在沒(méi)有自動(dòng)化運(yùn)維和平臺(tái)之前，整個(gè)運(yùn)維團(tuán)隊(duì)只有八個(gè)人，如果每個(gè)人一天處理六到十個(gè)故障，基本上沒(méi)有時(shí)間去研究別的東西了。傳統(tǒng)運(yùn)維壓力很大，疲于奔命和救火，必須要尋求改變，走向自動(dòng)化、平臺(tái)化、智能化。

• 第三運(yùn)行的態(tài)勢(shì)相關(guān)信息掌握不足。監(jiān)控是多維度的，不同的業(yè)務(wù)會(huì)有不同的指標(biāo)，所有加起來(lái)有上萬(wàn)個(gè)指標(biāo)，但卻沒(méi)有整體態(tài)勢(shì)變化圖、很難成體系，不能實(shí)現(xiàn)智能感知和態(tài)勢(shì)預(yù)測(cè)，整個(gè)運(yùn)維態(tài)勢(shì)就很難保持平穩(wěn)。

• 第四依據(jù)業(yè)務(wù)需求調(diào)整服務(wù)和設(shè)置資源的能力不足。在業(yè)務(wù)故障處理的時(shí)候需要很長(zhǎng)的過(guò)程，中間涉及到很多的相關(guān)技術(shù)部門(mén)，需要和業(yè)務(wù)方進(jìn)行交互，僅靠較少的人力幾乎做不到。

我們希望在現(xiàn)有的業(yè)務(wù)體系里面，運(yùn)維部門(mén)要實(shí)現(xiàn)這樣的運(yùn)維目標(biāo)？

• 第一個(gè)全面的性能管理。能夠提供對(duì)現(xiàn)在所有的設(shè)備和服務(wù)質(zhì)量進(jìn)行實(shí)時(shí)監(jiān)測(cè)，并且提供動(dòng)態(tài)閾值的告警。

• 第二個(gè)統(tǒng)一的資源管理。很多企業(yè)業(yè)務(wù)都上云了，需要有統(tǒng)一的監(jiān)控平臺(tái)，可以把所有業(yè)務(wù)相應(yīng)資源視圖抓取出來(lái)，便于我們對(duì)整體資源有一個(gè)合理的預(yù)估和分配，并從整體角度評(píng)估各個(gè)業(yè)務(wù)部門(mén)對(duì)資源的使用情況。

• 第三個(gè)及時(shí)的故障告警管理。我們發(fā)現(xiàn)有很多產(chǎn)品還不能做到完全及時(shí)的告警，告警發(fā)生后總是延時(shí)才能知曉，需要實(shí)時(shí)的準(zhǔn)確的告警，減少延遲和誤報(bào)。

• 第四集中統(tǒng)一展現(xiàn)管理。把很多不同的監(jiān)控子系統(tǒng)集成起來(lái)，這個(gè)在現(xiàn)在的企業(yè)里面需求是很大的，借助于各種工具，采集數(shù)據(jù)之后自動(dòng)合成一個(gè)報(bào)表統(tǒng)一展現(xiàn)出來(lái)，方便管理。

我們關(guān)注的核心問(wèn)題有：

• 第一我們是一個(gè)跨地域的平臺(tái)，是多數(shù)據(jù)中心，我們希望有一個(gè)IT的綜合運(yùn)維平臺(tái)，來(lái)統(tǒng)一管理。

• 第二是深入監(jiān)控并進(jìn)行集中統(tǒng)一的可視化管理，提高效率。

• 第三就是有效的預(yù)防問(wèn)題的產(chǎn)生，降低運(yùn)維成本。另外就是問(wèn)題出現(xiàn)后，能夠快速跟蹤定位，降低人力成本。

• 第四多維的報(bào)表為決策提供有力支撐，科學(xué)預(yù)判趨勢(shì)。

• 第五全局業(yè)務(wù)服務(wù)視角和平臺(tái)化擴(kuò)展以及大數(shù)據(jù)分析的融合，滿足企業(yè)對(duì)于業(yè)務(wù)高效和快速迭代的需求。

• 第六保護(hù)和優(yōu)化IT資產(chǎn)。以前各個(gè)業(yè)務(wù)都是自己的一套系統(tǒng)，有自己的開(kāi)發(fā)和運(yùn)維人員以及監(jiān)控系統(tǒng)，這對(duì)企業(yè)來(lái)說(shuō)是重復(fù)造輪子了?，F(xiàn)在上云后，把原有的系統(tǒng)集中整合到云上，通過(guò)統(tǒng)一的監(jiān)控和資源管理最好的保護(hù)和優(yōu)化資產(chǎn)。

要做好智能化運(yùn)維之前，我們經(jīng)過(guò)深入的分析，提了四個(gè)要求：

• 第一個(gè)是規(guī)范化。規(guī)范化就是盡可能的把操作規(guī)范下來(lái)，比如模板里是什么基礎(chǔ)配置和安全基線，有一個(gè)規(guī)范化的標(biāo)準(zhǔn)。

• 第二個(gè)是可控性。就是能夠通過(guò)云監(jiān)控平臺(tái)發(fā)現(xiàn)各個(gè)業(yè)務(wù)存在的瓶頸，包括資源瓶頸和性能瓶頸，對(duì)可能產(chǎn)生的問(wèn)題可控可分析。

• 第三個(gè)是數(shù)據(jù)化。基于海量數(shù)據(jù)的決策分析，才能方便作出準(zhǔn)確的判斷和科學(xué)決策。

• 第四個(gè)是主動(dòng)性。從被動(dòng)響應(yīng)變?yōu)橹鲃?dòng)服務(wù)，主動(dòng)發(fā)現(xiàn)問(wèn)題，把問(wèn)題消滅在萌芽中，在業(yè)務(wù)發(fā)生問(wèn)題之前及時(shí)告知，這個(gè)感覺(jué)就不一樣了。

我們希望構(gòu)建現(xiàn)代化和智能的運(yùn)維管理模式，主要是以下5個(gè)方面，如下圖：

二、全景業(yè)務(wù)服務(wù)管理

在互聯(lián)網(wǎng)大爆炸時(shí)代，國(guó)家層面上也在提互聯(lián)網(wǎng)+、數(shù)字化轉(zhuǎn)型、智能化等等。我們的系統(tǒng)能不能快速響應(yīng)，為業(yè)務(wù)保駕護(hù)航？

面向業(yè)務(wù)的IT服務(wù)管理主要有這幾個(gè)特點(diǎn)：

• 1、監(jiān)控的粒度要細(xì)，能通過(guò)一個(gè)曲線捕捉到異常點(diǎn)。

• 2、面向業(yè)務(wù)管理和面向用戶管理。這塊要區(qū)分開(kāi)來(lái)，在企業(yè)里用戶權(quán)限分的是比較細(xì)的，什么人可以操作什么樣的業(yè)務(wù)，管理員可以管理哪幾類(lèi)業(yè)務(wù)都有清晰的定位。

• 3、數(shù)據(jù)的全面和擴(kuò)充性。數(shù)據(jù)只有全面才能進(jìn)行科學(xué)的決策，很多時(shí)候如果看到的日志不全，或者拿到的監(jiān)控?cái)?shù)據(jù)不準(zhǔn)，在做決策的時(shí)候肯定就會(huì)比較貿(mào)然。比如數(shù)據(jù)中心某業(yè)務(wù)鏈路出現(xiàn)問(wèn)題，是不是要切換？數(shù)據(jù)是不是還能保持一致？這個(gè)時(shí)候在沒(méi)有確定的數(shù)據(jù)來(lái)支撐你決策之前，你做決策時(shí)都會(huì)感到比較忐忑，猶豫不前。

建立以業(yè)務(wù)為導(dǎo)向的綜合監(jiān)控平臺(tái)，主要目的就是要統(tǒng)一展現(xiàn)、統(tǒng)一管理和統(tǒng)一調(diào)度。全鏈路監(jiān)測(cè)，這個(gè)目的就是從訪問(wèn)入口進(jìn)來(lái)后一直到數(shù)據(jù)出去，每一個(gè)過(guò)程都要能監(jiān)控到感知到。

從業(yè)務(wù)的視角進(jìn)行IT基礎(chǔ)資源的管理與維護(hù)，一旦某個(gè)資源發(fā)生故障或問(wèn)題，都可以從業(yè)務(wù)視圖中直觀地了解到這個(gè)資源的故障將影響什么業(yè)務(wù)影響哪些服務(wù)，進(jìn)而了解到影響哪些用戶。

數(shù)據(jù)庫(kù)慢了，CPU突然飆升了，這些地方這些資源突然發(fā)生變化了之后，影響到哪些業(yè)務(wù)呢？這時(shí)候就需要將監(jiān)控資源視圖和業(yè)務(wù)關(guān)聯(lián)起來(lái)，這樣才能準(zhǔn)確定位影響了哪些業(yè)務(wù)。

這個(gè)是問(wèn)題的整體診斷和分析。

任何問(wèn)題都需要采集相關(guān)的日志和數(shù)據(jù)，才能科學(xué)全面的分析問(wèn)題。

采集層需要把不同數(shù)據(jù)源的數(shù)據(jù)采集過(guò)來(lái)，中間層做一些性能分析，配置管理和預(yù)警分析、告警處理。展示層將分析的結(jié)果展示出來(lái)，也就是各種圖表，建立綜合的業(yè)務(wù)指標(biāo)分析，方便根因定位和解決問(wèn)題。

三、基于大數(shù)據(jù)平臺(tái)的日志分析和多維報(bào)表

基于大數(shù)據(jù)平臺(tái)，提供日志的采集和聚合處理，通過(guò)日志關(guān)聯(lián)分析幫助準(zhǔn)確全面定位提升效能和滿意度，智能預(yù)測(cè)和預(yù)警，為科學(xué)決策提供量化依據(jù)。

將采集到的網(wǎng)絡(luò)監(jiān)控?cái)?shù)據(jù)、機(jī)房數(shù)據(jù)、服務(wù)器和云環(huán)境監(jiān)控?cái)?shù)據(jù)以及攝像頭報(bào)警數(shù)據(jù)集中起來(lái)，數(shù)據(jù)匯集之后生成PMDB性能管理庫(kù)，在根據(jù)業(yè)務(wù)應(yīng)用的特征，建立不同的模型進(jìn)行相應(yīng)的算法分析。

根據(jù)不同的資源類(lèi)來(lái)定義KPI指標(biāo)，建模目的就是方便快速分析，為資源管理、告警管理、集中化展現(xiàn)等其他模塊提供數(shù)據(jù)分析模型的支撐。

數(shù)據(jù)采集有兩種類(lèi)型，一種是被動(dòng)的，一種是主動(dòng)的。

采集業(yè)務(wù)相關(guān)指標(biāo)，可以對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，做一些有效性的標(biāo)簽識(shí)別，比如這個(gè)信息和指標(biāo)是不是你關(guān)注的，對(duì)不友好的日志進(jìn)行格式化處理。

性能指標(biāo)的計(jì)算，要跟業(yè)務(wù)進(jìn)行協(xié)同，從業(yè)務(wù)的角度來(lái)定義。設(shè)置的閾值，有些場(chǎng)景是固定的，也有的場(chǎng)景是動(dòng)態(tài)的。固定閾值就相當(dāng)于資源使用率，肯定有一個(gè)上限的。動(dòng)態(tài)閾值像一些性能曲線，CPU的利用率、頁(yè)面響應(yīng)、圖片加載等這些是可以使用動(dòng)態(tài)閾值的，根據(jù)歷史數(shù)據(jù)來(lái)計(jì)算出這個(gè)動(dòng)態(tài)閾值，某一時(shí)刻的歷史峰值，根據(jù)這些合理計(jì)算出在那個(gè)時(shí)刻到底需要多少資源。

根據(jù)上面的閾值會(huì)有一個(gè)報(bào)警的事件，任何事件產(chǎn)生都是基于時(shí)間的，故障的定位肯定也要基于時(shí)間找到相關(guān)的日志和發(fā)生的事件。

事件診斷一直是運(yùn)維領(lǐng)域一個(gè)很重要的工作，事件和時(shí)序的相關(guān)性不僅可以為事件診斷提供很好的啟發(fā)，而且在幫助我們進(jìn)行根因分析時(shí)也能提供很好的線索。某個(gè)時(shí)間段出現(xiàn)的故障，都會(huì)產(chǎn)生一些相關(guān)的事件，對(duì)它們進(jìn)行篩選和過(guò)濾是能夠詳細(xì)捕捉到故障和定位到根因的。

在事件診斷和處理中，是不是需要引入算法，我覺(jué)得是有必要的，如果能提高效率和提高解決問(wèn)題的能力，一切探索都是值得的。

也有一些運(yùn)維界的朋友們花了很多時(shí)間和精力，去學(xué)習(xí)和研究算法，我認(rèn)為不必過(guò)于糾結(jié)算法， 簡(jiǎn)單了解一下開(kāi)源的這些算法，知道這些算法的輸入和輸出是什么，能解決運(yùn)維中哪些實(shí)際問(wèn)題，以及組合起來(lái)又能解決什么問(wèn)題，方便我們合理的應(yīng)用它就可以了，這樣會(huì)對(duì)更快落地智能運(yùn)維起到事半功倍的效果。

數(shù)據(jù)的匯聚處理就是把采集到的數(shù)據(jù)有機(jī)的關(guān)聯(lián)起來(lái)，壓縮、過(guò)濾形成標(biāo)準(zhǔn)化的信息。數(shù)據(jù)導(dǎo)入則可以通過(guò)全量的HDFS和增量的Kafka來(lái)實(shí)現(xiàn)。

基于大數(shù)據(jù)平臺(tái)的多維報(bào)表，根據(jù)自己的需要，按照日、周、月來(lái)生成運(yùn)維報(bào)告，發(fā)送給管理層的領(lǐng)導(dǎo)，這些數(shù)據(jù)是他們比較關(guān)心的，比較清晰的圖示出在這些時(shí)段發(fā)生了哪些問(wèn)題，造成了多大面的影響，然后決定相關(guān)的資源是否進(jìn)行擴(kuò)充，相應(yīng)的業(yè)務(wù)部署是否需要調(diào)整。

綜合展示比較關(guān)注的則是性能分析、容量分析和自動(dòng)化配置。比如今年采購(gòu)了500TB存儲(chǔ)，我用了多少，明年還需要擴(kuò)容多少，業(yè)務(wù)增長(zhǎng)量會(huì)有多少，這個(gè)都影響到企業(yè)的采購(gòu)計(jì)劃。根據(jù)業(yè)務(wù)的實(shí)際進(jìn)行評(píng)估，來(lái)推算出明年大概需要買(mǎi)多少TB的存儲(chǔ)。

四、IT監(jiān)控管理平臺(tái)發(fā)展

IT監(jiān)控管理的發(fā)展大概有三代，從上世紀(jì)九十年代至今，第一代是以網(wǎng)絡(luò)為中心，在這個(gè)時(shí)期咱們提供比較多的都是基于網(wǎng)絡(luò)的監(jiān)控和故障發(fā)現(xiàn)，帶寬管理和服務(wù)水平協(xié)議。

第二代監(jiān)控就是以監(jiān)控IT基礎(chǔ)設(shè)施為中心，看到比較多的就是主機(jī)、存儲(chǔ)、操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)等各類(lèi)基礎(chǔ)資源的監(jiān)控。

第三代監(jiān)控以IT應(yīng)用為中心，針對(duì)比較高度復(fù)雜的交易，需要實(shí)現(xiàn)面向用戶體驗(yàn)和面向應(yīng)用高可用性的實(shí)時(shí)監(jiān)測(cè)和故障的智能診斷，運(yùn)維人員必須高屋建瓴、全面謀劃，有能力提供一個(gè)全局性、高效健壯、標(biāo)準(zhǔn)規(guī)范、自動(dòng)化的監(jiān)控解決方案并加以實(shí)現(xiàn)。

五、故障管理及自治自愈

這是我們每天收到的告警情況統(tǒng)計(jì)，在沒(méi)有自動(dòng)化和智能化之前，我和大家一樣心態(tài)是焦慮和崩潰的。

如何從錯(cuò)綜復(fù)雜的運(yùn)維監(jiān)控?cái)?shù)據(jù)中得出我們所需要的信息和結(jié)果，一句話就是分辨和精煉，提取真正需要關(guān)注的信息，從而減少每天的告警信息量。

目標(biāo)就是簡(jiǎn)、智、深。

簡(jiǎn)就是要確保業(yè)務(wù)和SLA服務(wù)級(jí)別，出現(xiàn)問(wèn)題要及時(shí)響應(yīng)、自動(dòng)分析和優(yōu)化，把處理的流程精簡(jiǎn)和高效組合起來(lái)，讓問(wèn)題匹配正確的場(chǎng)景，找到正確的人，在第一時(shí)間正確處理。

機(jī)器學(xué)習(xí)主要就是突出智，這個(gè)需要大量的數(shù)據(jù)來(lái)訓(xùn)練，故障出現(xiàn)的形態(tài)是千奇百怪，對(duì)故障的歷史數(shù)據(jù)進(jìn)行場(chǎng)景分類(lèi)和標(biāo)注，不斷用模式識(shí)別和數(shù)據(jù)來(lái)訓(xùn)練機(jī)器識(shí)別和分析，然后讓機(jī)器自動(dòng)準(zhǔn)確判斷。

當(dāng)然標(biāo)注不能完全靠人，也需要通過(guò)機(jī)器來(lái)自動(dòng)進(jìn)行關(guān)鍵詞標(biāo)注，而標(biāo)注的合理性就需要人為進(jìn)行判斷，然后再利用到機(jī)器學(xué)習(xí)上，這樣才能真正輔助我們做一些決策。

基于架構(gòu)、工程師的經(jīng)驗(yàn)和概率來(lái)做到收斂告警事件，基于規(guī)范和分工產(chǎn)生告警事件發(fā)送到對(duì)的人，基于數(shù)據(jù)和模型來(lái)提高事件的處理能力。很多事件有的工程師處理的特別快，反之如果對(duì)這個(gè)故障不熟悉的人可能花費(fèi)的時(shí)間就很長(zhǎng)。這就需要構(gòu)建一個(gè)策略知識(shí)庫(kù)，讓其他人來(lái)參考和學(xué)習(xí)，提高同類(lèi)場(chǎng)景事件處理的能力。

智能運(yùn)維的終極，實(shí)現(xiàn)的目標(biāo)就是減少對(duì)人的依賴，逐步信任機(jī)器，實(shí)現(xiàn)機(jī)器的自判、自斷和自決。

技術(shù)都是在不斷的進(jìn)步，AI技術(shù)將來(lái)會(huì)解決很多的一些需要花費(fèi)大量人力和時(shí)間才能解決的事情，但是AI不是一個(gè)很純粹的技術(shù)，它也需要結(jié)合具體的企業(yè)場(chǎng)景和業(yè)務(wù)，通過(guò)計(jì)算驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)，才能產(chǎn)生一個(gè)真正可用的產(chǎn)品。

智能運(yùn)維技術(shù)在企業(yè)的落地，不是一蹴而就的，是一個(gè)漸進(jìn)和價(jià)值普及的過(guò)程。

我們可以看到，智能運(yùn)維技術(shù)已經(jīng)成為新運(yùn)維演化的一個(gè)開(kāi)端，可以預(yù)見(jiàn)在更高效和更多的平臺(tái)實(shí)踐之后，智能運(yùn)維還將為整個(gè)IT領(lǐng)域注入更多新鮮和活力，在未來(lái)發(fā)展和壯大下去，成為引領(lǐng)潮流的重要性力量！