關(guān)于作者：

周慧

自數(shù)甲骨文王，2002 OCP。千禧年以來(lái)先后任職于富士康集團(tuán)、平安科技、順豐速運(yùn)，經(jīng)歷了制造業(yè)、金融業(yè)、快遞物流業(yè)IT運(yùn)維的歷史變遷。有幸在金融數(shù)據(jù)集中的黃金時(shí)代負(fù)責(zé)了某金融集團(tuán)的保險(xiǎn)、銀行、證券、投資、基金、信托等數(shù)據(jù)庫(kù)的運(yùn)維，完成了其龐大數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn)化規(guī)劃和改造過(guò)程團(tuán)體。隨著快遞物流的快速發(fā)展，引領(lǐng)順豐科技基礎(chǔ)設(shè)施從原生態(tài)向標(biāo)準(zhǔn)化、系統(tǒng)化、半自動(dòng)化的運(yùn)維模式轉(zhuǎn)變，并完成了規(guī)劃、順豐集團(tuán)新數(shù)據(jù)中心和容災(zāi)中心的建設(shè)和遷移。工作。現(xiàn)致力于順豐科技運(yùn)維的轉(zhuǎn)型與改革it運(yùn)維技術(shù)，是一名實(shí)踐者。

總有一個(gè)理想，如果實(shí)現(xiàn)了，理想能走多遠(yuǎn)，我們才能一起走多遠(yuǎn)。在實(shí)現(xiàn)理想自由的道路上，我們繪制藍(lán)圖，踏出探索之路的第一步。未來(lái)不是夢(mèng)，即使是夢(mèng)，也要用一生去完成這個(gè)夢(mèng)。

一、運(yùn)維密室1.1、密室的墻和鎖

自2007年順豐技術(shù)運(yùn)維部成立以來(lái)，隨著物流行業(yè)的快速發(fā)展，其運(yùn)維規(guī)模也一直在瘋狂運(yùn)行。到2016年，技術(shù)運(yùn)維團(tuán)隊(duì)已成長(zhǎng)為近200人的大型團(tuán)隊(duì)。為建立專(zhuān)業(yè)技術(shù)能力，自2013年初以來(lái)，經(jīng)過(guò)三年的建設(shè)，技術(shù)運(yùn)維團(tuán)隊(duì)的組織架構(gòu)和職能已逐步形成：

1、從底層基礎(chǔ)設(shè)施到網(wǎng)絡(luò)、存儲(chǔ)、服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫(kù)和中間件，每個(gè)專(zhuān)業(yè)領(lǐng)域都有專(zhuān)業(yè)的一線團(tuán)隊(duì)負(fù)責(zé)，其工作職能包括規(guī)劃、設(shè)計(jì)、建設(shè)、實(shí)施和日常日常運(yùn)營(yíng)。

2、外部交付由基礎(chǔ)架構(gòu)架構(gòu)師團(tuán)隊(duì)協(xié)調(diào)，工作模式為流程驅(qū)動(dòng)，通過(guò)工單系統(tǒng)進(jìn)行推廣和跟蹤。

3、部門(mén)的制度、流程和質(zhì)量由運(yùn)維策劃團(tuán)隊(duì)負(fù)責(zé)，以彌補(bǔ)和彌補(bǔ)技術(shù)團(tuán)隊(duì)管理上的先天不足。

4、整個(gè)技術(shù)運(yùn)維團(tuán)隊(duì)以ITIL系統(tǒng)為指導(dǎo)。

5、基礎(chǔ)技術(shù)軟件已于2015年全面開(kāi)源。

通過(guò)專(zhuān)業(yè)的組織和分工，我們培養(yǎng)了多個(gè)專(zhuān)業(yè)領(lǐng)域的人才，獲得了一定的技術(shù)能力。同時(shí)，我們還系統(tǒng)地形成了基礎(chǔ)設(shè)施建設(shè)標(biāo)準(zhǔn)、設(shè)備引進(jìn)和使用標(biāo)準(zhǔn)、基礎(chǔ)軟件使用標(biāo)準(zhǔn)和適合物流行業(yè)業(yè)態(tài)的標(biāo)準(zhǔn)。建筑標(biāo)準(zhǔn)。受益于這些變化，我們的資源使用效率變得更加合理，系統(tǒng)穩(wěn)定性也逐年顯著提升。

經(jīng)過(guò)三年的治理，團(tuán)隊(duì)的組織架構(gòu)、職能和技術(shù)棧都進(jìn)入了相對(duì)穩(wěn)定的狀態(tài)，但新的問(wèn)題也逐漸浮出水面：

1、運(yùn)維團(tuán)隊(duì)都背負(fù)著系統(tǒng)可用性的KPI，最終分解成各個(gè)專(zhuān)業(yè)團(tuán)隊(duì)。在這種評(píng)價(jià)模式下，責(zé)任感逐漸顯現(xiàn)。既然變革總是伴隨著風(fēng)險(xiǎn)，本著少做多錯(cuò)的理念，團(tuán)隊(duì)之間的接縫工作或多或少有推卸，專(zhuān)職順利協(xié)作成為奢望。不幸的是，煙囪式的垂直分工比水平分工需要更多的協(xié)作。

2、為了信息安全，嚴(yán)格劃分各種系統(tǒng)和應(yīng)用權(quán)限，很多日常運(yùn)維工作都有上層人員等待下層依賴團(tuán)隊(duì)授權(quán)或代為執(zhí)行。

3、原來(lái)的職業(yè)分工導(dǎo)致大家的技術(shù)能力棧收縮，形成技術(shù)能力熱點(diǎn)。對(duì)于更全面的專(zhuān)業(yè)技術(shù)問(wèn)題，研發(fā)和運(yùn)營(yíng)人員需要尋找相應(yīng)的專(zhuān)業(yè)技術(shù)人員進(jìn)行協(xié)助。經(jīng)常看到我們辦公室的一位DBA或中間件管理員被很多人圍著分析問(wèn)題。

至于技術(shù)運(yùn)維團(tuán)隊(duì)本身，各個(gè)團(tuán)隊(duì)同時(shí)進(jìn)入瓶頸期，整體發(fā)展壯大受到嚴(yán)重制約，大多數(shù)人在自己的微觀世界里都沒(méi)有意識(shí)到。

1.2、密室外的風(fēng)暴

當(dāng)我們的運(yùn)維人員在密室的微觀世界里按照自己的節(jié)奏前進(jìn)，感到舒服的時(shí)候，外面的大世界已經(jīng)在發(fā)生快速的變化。現(xiàn)實(shí)是什么樣的？

商業(yè)：

1、業(yè)務(wù)流量高峰逐年增加，尤其是每年雙十一；

2、業(yè)務(wù)形式越來(lái)越多。過(guò)去，更有可能是我們自己內(nèi)部用戶使用的各種系統(tǒng)；現(xiàn)在有各種直接的C端和B端用戶；

3、為了適應(yīng)市場(chǎng)的變化，業(yè)務(wù)的調(diào)整越來(lái)越頻繁，隨著版本和變化越來(lái)越頻繁，傳遞到技術(shù)運(yùn)維端。

技術(shù)方面：

1、云技術(shù)的成熟，降低了企業(yè)對(duì)自建技術(shù)運(yùn)維團(tuán)隊(duì)的需求。市場(chǎng)需求的池塘逐漸枯竭，池塘里的許多魚(yú)還沒(méi)有感覺(jué)到變化；

2、全面的開(kāi)源和技術(shù)的快速演進(jìn)，讓很多傳統(tǒng)的商業(yè)技術(shù)專(zhuān)業(yè)變得無(wú)用武之地。工程師要靠自己的本事吃到最后基本上是不可能的。在池塘干涸之前來(lái)不及完成進(jìn)化的，可能會(huì)被提前淘汰；

3、的火爆為運(yùn)維開(kāi)辟了另一條更有效的途徑，進(jìn)而對(duì)現(xiàn)有運(yùn)維人員提出了新的素質(zhì)要求。運(yùn)維人員需要具備研發(fā)能力，并能夠運(yùn)用這種能力來(lái)提高運(yùn)營(yíng)效率和質(zhì)量。

密室里面是斜風(fēng)細(xì)雨，密室外面又是暴風(fēng)雨，不可能做魚(yú)干。

二、運(yùn)維審判日

我們對(duì)IT運(yùn)維工作做了四象限分解（如下圖）。從價(jià)值來(lái)看，理想的情況是技術(shù)運(yùn)維團(tuán)隊(duì)需要在右象限投入更多的資源，但實(shí)際情況是我們近70%的精力消耗在左象限的基礎(chǔ)日常工作上象限，做各種布朗運(yùn)動(dòng)。

基于對(duì)運(yùn)維工作四象限分解的反思，我們總結(jié)出運(yùn)維的五種死法：

2.1、龐大的熟練度

經(jīng)過(guò)三年的專(zhuān)業(yè)化和標(biāo)準(zhǔn)化，我們的工程師對(duì)平時(shí)的日常工作已經(jīng)非常熟練了，新的一天的工作只是n+1的重復(fù)；工程師們?cè)阪I盤(pán)上打字的手越來(lái)越快，但他們的腦袋卻逐漸麻木，在工作中逐漸失去了獨(dú)立思考的能力。

2.2、工作效率降低

很多日常的IT運(yùn)維交付工作真的只需要幾分鐘就可以完成，但從用戶需求到層層審核再到交付給用戶，可能需要幾天的時(shí)間。大團(tuán)隊(duì)普遍存在的效率低下的問(wèn)題是，煙囪式的垂直專(zhuān)業(yè)分工會(huì)隨著依賴團(tuán)隊(duì)數(shù)量的增加而進(jìn)一步放大，讓用戶苦不堪言。透過(guò)現(xiàn)象看本質(zhì)，其實(shí)時(shí)間是花在溝通和等待上的。

2.3、向內(nèi)觀察黑洞

在企業(yè)IT團(tuán)隊(duì)中，從技術(shù)的角度來(lái)看，技術(shù)運(yùn)維團(tuán)隊(duì)往往具備專(zhuān)業(yè)的技術(shù)能力，但從業(yè)務(wù)價(jià)值鏈的角度來(lái)看，技術(shù)運(yùn)維團(tuán)隊(duì)處于價(jià)值鏈的末端；從完整的工作流程來(lái)看，技術(shù)運(yùn)維團(tuán)隊(duì)往往是最后一環(huán)，而不是IT大軍的第一線。在價(jià)值認(rèn)知錯(cuò)位、信息孤立的情況下，如果沒(méi)有完全的理性和充足的一線信息，技術(shù)運(yùn)維人員就會(huì)形成各種負(fù)面的自我，匯聚成內(nèi)心視覺(jué)的黑洞。

2.4、自制鏈條

起初，隨著公司的成長(zhǎng)，該部門(mén)建立了KPI、規(guī)范、流程、標(biāo)準(zhǔn)、預(yù)算、成本等各項(xiàng)制度，為系統(tǒng)化、規(guī)范化的管理做準(zhǔn)備。它們的出現(xiàn)使運(yùn)維工作有序高效。規(guī)劃、規(guī)劃，并在起步階段起到了很好的作用。但在某些情況下，這些機(jī)構(gòu)會(huì)表現(xiàn)出陰暗面，成為組織的桎梏和桎梏，例如：

1、制度和流程執(zhí)行過(guò)度，無(wú)視人的主動(dòng)性，所有人都被制度和流程帶走，團(tuán)隊(duì)的創(chuàng)造力被閹割。

2、系統(tǒng)和流程所引導(dǎo)和約束的事物是不斷變化的，但系統(tǒng)和流程卻跟不上變化的步伐，最終成為工作的包袱和爛鏈。

3、關(guān)注管理者的需求，忽略用戶和一線的聲音，忘記建立制度和流程的初衷。制度和流程最終成為皇帝的新衣。

2.5、自動(dòng)化缺點(diǎn)

當(dāng)IT運(yùn)維團(tuán)隊(duì)達(dá)到一定的能力和規(guī)模后，將進(jìn)入運(yùn)維工作的自動(dòng)化構(gòu)建階段，并在一開(kāi)始就給予解決各種問(wèn)題的良好期望。很多時(shí)候，IT運(yùn)維團(tuán)隊(duì)發(fā)起的自動(dòng)化工作，優(yōu)先解決運(yùn)維團(tuán)隊(duì)自身的問(wèn)題，不一定站在用戶的角度。

我們從 2015 年下半年到 2016 年上半年開(kāi)始自動(dòng)化運(yùn)營(yíng)；本來(lái)希望可以節(jié)省勞動(dòng)力，提高效率和質(zhì)量，但結(jié)果卻不盡如人意。自動(dòng)化的任務(wù)結(jié)束了，整體的交付效率沒(méi)有發(fā)生質(zhì)的變化，用戶也沒(méi)有變得滿意。回顧原因，我終于明白，我們都是在做執(zhí)行端的自動(dòng)化，也就是把之前的人工執(zhí)行工作自動(dòng)化，解決了運(yùn)維主管自己的問(wèn)題，但并沒(méi)有解決效率低下的問(wèn)題交付工作流程。因?yàn)橐粋€(gè)用戶需求是從審核提出，到修改，最后反饋給用戶，這個(gè)過(guò)程是很長(zhǎng)的。許多人所做的自動(dòng)化只是自動(dòng)化他們自己的執(zhí)行，

三、運(yùn)維夢(mèng)

經(jīng)過(guò)一系列的反思和自我判斷，我們看到了技術(shù)運(yùn)維團(tuán)隊(duì)未老先老。總結(jié)如下：

1、失去創(chuàng)造力，工作僅限于維護(hù)現(xiàn)有技術(shù)和架構(gòu)特征類(lèi)型系統(tǒng)的可用性，未能系統(tǒng)地進(jìn)行前瞻性的整體技術(shù)能力建設(shè)，以支持公司未來(lái)對(duì)IT機(jī)箱技術(shù)的發(fā)展需求。

2、愿景在縮小，規(guī)劃設(shè)計(jì)工作聚焦自身痛點(diǎn)，無(wú)法從公司業(yè)務(wù)發(fā)展中有效拓展IT底盤(pán)能力的廣度和深度。

3、官僚主義越來(lái)越官僚化，流程等規(guī)章制度成了盾牌和隔音墻。當(dāng)需要技術(shù)炮火時(shí)，團(tuán)隊(duì)已經(jīng)筋疲力盡，無(wú)法再為前線提供有效支持。

4、坐以待斃，只關(guān)注技術(shù)本身，忽視價(jià)值貢獻(xiàn)，無(wú)法鏈接和跟進(jìn)公司的技術(shù)戰(zhàn)略。

綜上所述，感覺(jué)技術(shù)運(yùn)維團(tuán)隊(duì)已經(jīng)是寒山夜雨，千山暮雪，如何沖破身心的牢籠，實(shí)現(xiàn)自我救贖？經(jīng)過(guò)多輪思考和頭腦風(fēng)暴，我們認(rèn)為技術(shù)運(yùn)維工作的理想狀態(tài)應(yīng)該是：

四、陰謀

方向明確，目標(biāo)在彼岸。如果我們達(dá)到它怎么辦？更細(xì)心的執(zhí)行、更負(fù)責(zé)任的態(tài)度、更細(xì)粒度的管理都解決不了問(wèn)題。只有突破現(xiàn)有的思維模式，立足現(xiàn)狀，不拘泥于現(xiàn)狀，才有出路。我們決定從以下六個(gè)方面進(jìn)行突破：

1、重新定義對(duì)專(zhuān)業(yè)技術(shù)能力的要求。技術(shù)運(yùn)維人員需要在精通或精通基礎(chǔ)軟件應(yīng)用的基礎(chǔ)上，具備研究和引進(jìn)新技術(shù)的能力或運(yùn)維研發(fā)能力。

2、專(zhuān)業(yè)的技術(shù)支持團(tuán)隊(duì)有責(zé)任以系統(tǒng)的方式提供便捷的自助服務(wù)渠道，實(shí)現(xiàn)依賴團(tuán)隊(duì)的能力解耦。

3、業(yè)務(wù)是第一要?jiǎng)?wù)。在工具平臺(tái)開(kāi)放前，將從現(xiàn)有專(zhuān)業(yè)團(tuán)隊(duì)中招募精英，組成全棧技術(shù)能力運(yùn)維團(tuán)隊(duì)，支持敏捷產(chǎn)品團(tuán)隊(duì)的運(yùn)維支撐工作。

4、在不降低運(yùn)維質(zhì)量要求的前提下，將原有ITIL的管控環(huán)節(jié)抽象為規(guī)則邏輯，嵌入工具平臺(tái)。

5、所有自動(dòng)化工作都堅(jiān)持端到端的用戶思維，讓用戶以自助的方式享受服務(wù)。原有流程環(huán)節(jié)通過(guò)規(guī)則引擎植入運(yùn)維系統(tǒng)，對(duì)用戶透明。

6、持久化內(nèi)容存儲(chǔ)必須是可編程的，可以扁平化技術(shù)架構(gòu)，降低工作依賴程度，進(jìn)一步統(tǒng)一X86 IT設(shè)備。

經(jīng)過(guò)深思熟慮，我們啟動(dòng)了以下五項(xiàng)工作：

對(duì)于主線任務(wù)微視，任務(wù)組在年初制定了完善的計(jì)劃（如下圖），計(jì)劃在2017年4月上旬交付資源自助，然后轉(zhuǎn)入優(yōu)化七月的階段。

五、我撞墻了

在美好愿景的推動(dòng)下，我們將原有專(zhuān)業(yè)團(tuán)隊(duì)的部分優(yōu)勢(shì)轉(zhuǎn)移到需求團(tuán)隊(duì)。研發(fā)和實(shí)施團(tuán)隊(duì)主要是沒(méi)有做過(guò)運(yùn)維工作的Java工程師。步入煉獄，進(jìn)入兩個(gè)月的無(wú)盡循環(huán)。

在這一切都出了問(wèn)題之后，兩個(gè)月后，參與這項(xiàng)任務(wù)的同事，無(wú)論是為了需求還是為了結(jié)構(gòu)，每天都在互相指責(zé)，沒(méi)有結(jié)果，筋疲力盡，痛苦不堪。傳統(tǒng)運(yùn)維、運(yùn)維、研發(fā)的艱辛已經(jīng)遠(yuǎn)遠(yuǎn)超出了當(dāng)初的預(yù)期。

一個(gè)接著一個(gè)，有的成員開(kāi)始放棄，有的平臺(tái)和前端研發(fā)離開(kāi)，產(chǎn)品經(jīng)理不玩了，架構(gòu)師也跑了。

六、面對(duì)墻壁

骨干人員集體對(duì)墻，對(duì)任務(wù)進(jìn)行回顧和反思，最終制定了以下五項(xiàng)規(guī)則：

七、打破圍墻

客觀和理性再次成為行為的主流。大家停止了相愛(ài)相殺的爭(zhēng)吵，運(yùn)維大腦（微視）的設(shè)計(jì)理念終于出爐。

1、基于KVM、OSS提供的標(biāo)準(zhǔn)接口，實(shí)現(xiàn)底層資源的可編程；原有的SAN、NAS、LB硬件設(shè)備以封裝原子服務(wù)的形式實(shí)現(xiàn)資源分配的可編程性；

2、OS上的DB、MW、MQ等軟件服務(wù)以封裝的原子服務(wù)的形式實(shí)現(xiàn)；

3、用編排框架實(shí)現(xiàn)整個(gè)工作流的編輯和管理；日程安排輔以任務(wù)管理能力；

4、具體架構(gòu)和運(yùn)維規(guī)則邏輯在上層功能模塊中實(shí)現(xiàn)；

5、通過(guò)授權(quán)認(rèn)證模塊實(shí)現(xiàn)登錄和認(rèn)證的處理；

6、面向用戶體的功能模塊包括自助配送服務(wù)、自助服務(wù)、自適應(yīng)和管理視圖模塊。

按照這個(gè)概念，次元stone()的原型如下：

經(jīng)過(guò)六個(gè)月的不懈努力，我們已經(jīng)迭代到1.5版本，實(shí)現(xiàn)了容器管理平臺(tái)、KVM、自交付模塊和自助服務(wù)四大塊的階段性目標(biāo)，1.6的迭代已經(jīng)開(kāi)始切入管理視圖部分的容量管理功能。隨著功能的逐步上線，運(yùn)維團(tuán)隊(duì)的工作方式和工作內(nèi)容也開(kāi)始發(fā)生相應(yīng)的變化：

1、專(zhuān)業(yè)的團(tuán)隊(duì)可以充當(dāng)優(yōu)秀的資源供應(yīng)商，只需要做好線上資源的庫(kù)存管理；

2、需求方無(wú)需通過(guò)工單系統(tǒng)進(jìn)行拆單，直接在微視工作平臺(tái)獲取資源，最后給出良性反饋：“終于可以優(yōu)雅工作了”。交付效率比以前提高了1到2個(gè)數(shù)量級(jí)；

3、由于存在誤操作風(fēng)險(xiǎn)，不需要在人力最緊缺的晚上進(jìn)行大量例行變更it運(yùn)維技術(shù)，打破人員與工時(shí)反向差的瓶頸；

4、專(zhuān)業(yè)能力依賴于解耦。此前，由于專(zhuān)業(yè)能力和安全權(quán)限，需要排隊(duì)的專(zhuān)業(yè)組同事提供的服務(wù)可以在工作臺(tái)上獲取。這部分還在進(jìn)一步優(yōu)化中。

Stone() 和 VM

八、現(xiàn)在和未來(lái)

今天，我們還在加強(qiáng)運(yùn)維研發(fā)能力建設(shè)：

我們意識(shí)到過(guò)去我們認(rèn)為不可能的事情經(jīng)歷了很多艱苦的工作。只要我們努力，我們就能實(shí)現(xiàn)。可以預(yù)計(jì)，再過(guò)一年，可以達(dá)到部分自適應(yīng)、自愈的運(yùn)維水平。

九、運(yùn)維自由

最后，希望廣大運(yùn)維人員能夠自由自在。內(nèi)心的自由，不用時(shí)時(shí)刻刻害怕，如履薄冰，擔(dān)心不能按時(shí)交付東西，擔(dān)心系統(tǒng)故障。這個(gè)夢(mèng)想，希望廣大運(yùn)維同仁一起實(shí)現(xiàn)！

結(jié)尾