攜程癱瘓12小時(shí)因員工錯(cuò)誤操作誤刪執(zhí)行代碼

2015-06-01 09:30 來(lái)源：新京報(bào)

[摘要] 5月28日11時(shí)起，攜程官網(wǎng)及APP無(wú)法使用，直至當(dāng)天23時(shí)29分，才全面恢復(fù)正常。經(jīng)攜程技術(shù)排查，確認(rèn)此次事件是由于員工錯(cuò)誤操作，刪除了生產(chǎn)服務(wù)器上的執(zhí)行代碼導(dǎo)致。為杜絕此類事件的再次發(fā)生，攜程表示，已經(jīng)在系統(tǒng)上做了改進(jìn)，規(guī)范并杜絕技術(shù)人員錯(cuò)誤刪除生產(chǎn)服務(wù)器上代碼的操作。

　　5月28日11時(shí)起，攜程官網(wǎng)及APP無(wú)法使用，直至當(dāng)天23時(shí)29分，才全面恢復(fù)正常。經(jīng)攜程技術(shù)排查，確認(rèn)此次事件是由于員工錯(cuò)誤操作，刪除了生產(chǎn)服務(wù)器上的執(zhí)行代碼導(dǎo)致。

　　在攜程宕機(jī)之前，5月份以來(lái)，已有網(wǎng)易、支付寶錢包等網(wǎng)絡(luò)服務(wù)出現(xiàn)短暫的無(wú)法正常使用的現(xiàn)象。其中，5月11日晚上8時(shí)許，網(wǎng)易突然出現(xiàn)大面積服務(wù)癱瘓問(wèn)題，網(wǎng)易新聞、云音樂(lè)、易信、有道云筆記等多款移動(dòng)應(yīng)用均無(wú)法正常刷新，網(wǎng)易名下的游戲也全線癱瘓，用戶長(zhǎng)時(shí)間無(wú)法刷新和登錄。但第二天凌晨2點(diǎn)就已經(jīng)恢復(fù)。5月27日17時(shí)左右，支付寶錢包出現(xiàn)故障。支付寶1小時(shí)后就找到故障原因，是杭州蕭山一處光纜被挖斷。

　　而攜程此次宕機(jī)，從發(fā)現(xiàn)到全面修復(fù)超過(guò)了12個(gè)小時(shí)。互聯(lián)網(wǎng)企業(yè)宕機(jī)，修復(fù)時(shí)間如此長(zhǎng)的情況，比較少見(jiàn)。

　　為什么恢復(fù)時(shí)間那么長(zhǎng)？攜程從技術(shù)角度對(duì)新京報(bào)記者解釋道，攜程后臺(tái)是一個(gè)由SOA(面向服務(wù))架構(gòu)組成的龐大服務(wù)器集群，一個(gè)頁(yè)面背后由上千個(gè)應(yīng)用子系統(tǒng)以及上千個(gè)Web Service組成，每個(gè)應(yīng)用子系統(tǒng)和每個(gè)Web Service之間存在著相互調(diào)用的依賴關(guān)系。事件發(fā)生后，攜程除需要恢復(fù)生產(chǎn)服務(wù)器上的執(zhí)行代碼，還需要確保應(yīng)用子系統(tǒng)和Web Service的功能正常，以及兩者間的調(diào)用關(guān)系正常執(zhí)行。這種驗(yàn)證性的操作需要反復(fù)地、持續(xù)性地調(diào)試。

　　為杜絕此類事件的再次發(fā)生，攜程表示，已經(jīng)在系統(tǒng)上做了改進(jìn)，規(guī)范并杜絕技術(shù)人員錯(cuò)誤刪除生產(chǎn)服務(wù)器上代碼的操作。攜程再次保證，數(shù)據(jù)和數(shù)據(jù)庫(kù)并未受到此次事件的影響，用戶訂單數(shù)據(jù)也完整無(wú)損。

　　除了消費(fèi)者，攜程自身受到的影響也非常慘重。以攜程今年第一季度財(cái)報(bào)的數(shù)據(jù)計(jì)算，凈營(yíng)收23億元，28日攜程相當(dāng)于每小時(shí)損失106.5萬(wàn)元的生意。以12小時(shí)計(jì)算，攜程大約少了1278萬(wàn)元的業(yè)務(wù)收入。