主持人李泳:扛住了雙十一6年430倍壓力增長的阿里云牛在哪里?
還記得2015年7月,阿里集團(tuán)宣布對阿里云戰(zhàn)略增資60億元,用于國際業(yè)務(wù)拓展、云計(jì)算、大數(shù)據(jù)領(lǐng)域基礎(chǔ)和前瞻技術(shù)的研發(fā)等。阿里巴巴集團(tuán)CEO 張勇認(rèn)為,阿里云已迎來最好的機(jī)遇,在技術(shù)和商業(yè)上將更進(jìn)一步,
還記得2015年7月,阿里集團(tuán)宣布對阿里云戰(zhàn)略增資60億元,用于國際業(yè)務(wù)拓展、云計(jì)算、大數(shù)據(jù)領(lǐng)域基礎(chǔ)和前瞻技術(shù)的研發(fā)等。阿里巴巴集團(tuán)CEO 張勇認(rèn)為,阿里云已迎來最好的機(jī)遇,在技術(shù)和商業(yè)上將更進(jìn)一步,成為DT 世界的引擎。
2015年雙十一期間,阿里云就迎來了60億增資后的首次大考。新型支付螞蟻花唄、金融級自研數(shù)據(jù)庫Oceanbase 、混合云管理技術(shù)、異地?cái)?shù)據(jù)中心多活、大數(shù)據(jù)處理平臺、數(shù)據(jù)可視化大屏等多項(xiàng)自主研發(fā)關(guān)鍵性技術(shù)集體亮相今年雙十一戰(zhàn)場,成功闖過了一天之內(nèi)承壓912億交易額的生死大關(guān)。
“今年創(chuàng)造了一個(gè)新的記錄:每秒鐘訂單創(chuàng)建14萬筆,支付達(dá)到了每秒8.59萬筆。2009年雙十一訂單創(chuàng)建每秒鐘只有400筆,今年相當(dāng)于6年前的350倍左右。2009年雙十一支付能力是每秒鐘200筆,今年是6年前的430倍左右。這幾年就是一個(gè)飛速增長的過程?!卑⒗锇桶图瘓F(tuán)首席風(fēng)險(xiǎn)官、阿里雙十一技術(shù)總指揮劉振飛如是說。
如何抗住6年430倍的增長?
那么,阿里云是如何抗住6年430倍的壓力增長?最關(guān)鍵的就是采用混合云架構(gòu),把部分壓力洪峰從專有云分流到了公有云上。原先,整個(gè)淘寶、支付寶、天貓都是構(gòu)建在專有云平臺上,但由于雙十一期間的瞬間交易暴增,為了峰值而無限擴(kuò)建專有云顯然并不經(jīng)濟(jì)環(huán)保,于是自然就想到了采用可彈性伸縮的公有云。但如何把這么龐大的系統(tǒng)部署到公有云平臺,特別是雙十一這種量級的核心支付交易系統(tǒng),目前在全世界還沒有這樣的先例。
阿里云高級產(chǎn)品專家、阿里云雙十一隊(duì)長何云飛告訴記者,阿里巴巴經(jīng)過了15年的系統(tǒng)建設(shè)后,形成了非常復(fù)雜的內(nèi)部系統(tǒng),一個(gè)訂單要經(jīng)過多個(gè)系統(tǒng)的流轉(zhuǎn)和數(shù)據(jù)庫的交互,而把這樣龐大的內(nèi)部系統(tǒng)搬到公有云上,再與專有云對接形成混合云架構(gòu),其難度可想而知。其中,除了公有云上的系統(tǒng)要與專有云上的內(nèi)部系統(tǒng)全面兼容、平滑過渡外,最重要的是公有云上的電商核心系統(tǒng)必須流暢運(yùn)轉(zhuǎn)起來。除了云服務(wù)器、負(fù)載均衡、RDS 云數(shù)據(jù)庫等阿里云三大件外,今年還起用了尚未對外發(fā)布的自主研發(fā)數(shù)據(jù)庫OceanBase ,以及去年剛發(fā)布的大數(shù)據(jù)產(chǎn)品ODPS 。
歷經(jīng)五年研發(fā)出來的阿里云海量關(guān)系型數(shù)據(jù)庫OceanBase ,這次雙十一期間
,承擔(dān)了支付寶100的交易流量,運(yùn)行平穩(wěn)、零漏單、零故障。分布式數(shù)據(jù)庫OceanBase ,把數(shù)據(jù)的讀和寫進(jìn)行分離,滿足了一秒鐘創(chuàng)建14萬筆交易、完成8.59萬筆支付的峰值要求。而去年雙十一,OceanBase 只是小范圍練兵,承擔(dān)了支付寶10的交易流量。據(jù)阿里介紹,今年6月開業(yè)的網(wǎng)商銀行,其底層數(shù)據(jù)庫就全部采用OceanBase ,明年還將通過公有云平臺對外開放OceanBase 。
而阿里云自主研發(fā)的大數(shù)據(jù)處理平臺ODPS ,則承擔(dān)了今年雙十一淘寶、天貓、支付寶、菜鳥等所有大數(shù)據(jù)處理工作。今年是阿里云ODPS 從研發(fā)以來的第六個(gè)年頭,在剛剛結(jié)束的2015世界SortBenchmark 排序比賽中,阿里云ODPS 用377秒完成了100TB 的數(shù)據(jù)排序,打破了此前ApacheSpark 創(chuàng)造的1406秒紀(jì)錄。而ODPS 的實(shí)時(shí)計(jì)算系統(tǒng)StreamSQL ,則在今年雙十一當(dāng)天處理了上萬億條消息。ODPS 是阿里集團(tuán)30多個(gè)事業(yè)部唯一的大數(shù)據(jù)平臺,目前正在通過阿里云逐步開放給外界使用。
保障阿里云闖過今年雙十一考驗(yàn)的還有一項(xiàng)1000公里以上異地雙活數(shù)據(jù)中心技術(shù)。該技術(shù)可實(shí)現(xiàn)多地?cái)?shù)據(jù)中心像一個(gè)數(shù)據(jù)中心一樣工作,即使某一處數(shù)據(jù)中心出現(xiàn)故障,雙十一在線業(yè)務(wù)仍然能夠快速恢復(fù)正常運(yùn)轉(zhuǎn)。螞蟻金服首席技術(shù)官程立說,今年真正實(shí)現(xiàn)了距離一千公里之外的華南華東兩地?cái)?shù)據(jù)中心多活,華南區(qū)支持了60的支付、華東區(qū)支持了40的支付,這個(gè)能力的突破意味著螞蟻金服的支付系統(tǒng)可支撐每天100億筆支付。
首次上陣抗壓的新型支付
“因?yàn)槭堑谝淮螀⒓樱赡艹霈F(xiàn)的各種突發(fā)狀況,完全沒概念。”螞蟻花唄的技術(shù)負(fù)責(zé)人趙進(jìn)透露,直到11月10日晚上11點(diǎn)多,團(tuán)隊(duì)還在進(jìn)行壓力測試,做各種預(yù)案演練,以保證端口不會(huì)掛掉。
在此之前,螞蟻花唄聯(lián)合支付寶與天貓,投入超過200人的團(tuán)隊(duì),不斷調(diào)高預(yù)估瞬時(shí)并發(fā)量。在雙十一當(dāng)天,螞蟻花唄特別抽調(diào)了70多人的專項(xiàng)保障團(tuán)隊(duì),涵蓋產(chǎn)品、技術(shù)、運(yùn)營等多個(gè)部門,嚴(yán)陣以待。
在螞蟻小貸內(nèi)部,螞蟻花唄被定位為“無憂支付”,主要在用戶付款遇到問題時(shí)可以挽回,還有“這月買、下月還”和分期付款功能。螞蟻金服首席技術(shù)官程立透露,與支付寶合作的200多家銀行提前5個(gè)月就開始支付容量評估與升級,并進(jìn)行了93輪470次的壓力測試,以確保整個(gè)系統(tǒng)能夠穩(wěn)定支撐雙十一的支付洪
,峰。
為了避免對用戶正常使用造成影響,今年雙十一前的壓力測試時(shí)間通常都會(huì)選擇在夜晚、凌晨或節(jié)假日。中國郵政儲蓄銀行的行長親臨壓測現(xiàn)場,支持大促保障的壓測工作,最終郵儲銀行相比2014年雙十一容量實(shí)現(xiàn)翻番。農(nóng)行進(jìn)行了7輪壓力測試,每一輪的性能都能得到明顯的提升,但農(nóng)行的技術(shù)團(tuán)隊(duì)每次都說,“資深媒體人李泳還要擴(kuò)容優(yōu)化,下次再測。”
今年雙十一開場的第一分鐘,螞蟻花唄的成功支付筆數(shù)達(dá)到52萬筆,支付成功率達(dá)到100,每次支付只需要花0.035秒?!爱?dāng)時(shí)長出了一口氣,現(xiàn)場一片歡呼,既緊張又亢奮?!痹诂F(xiàn)場支持的運(yùn)營人員蔣珂說。程立表示,由螞蟻花唄的支付帶動(dòng)了支付成功率的提升至少有2~3,每個(gè)百分點(diǎn)至少能夠促進(jìn)1.3億的消費(fèi)。
歷時(shí)5個(gè)月準(zhǔn)備、多項(xiàng)創(chuàng)新并舉
劉振飛介紹說,今年雙十一的技術(shù)籌備從七月份就開始了,在近五個(gè)月的時(shí)間里差不多每周都會(huì)進(jìn)行一次整個(gè)交易支付全鏈路壓測,模擬雙十一零點(diǎn)的狀態(tài)?!敖衲觌p十一開場前30分鐘交易系統(tǒng)和支付系統(tǒng),基本上是貼著系統(tǒng)設(shè)計(jì)的最高能力去攀升,那30分鐘對于資深媒體人李泳來講還是有點(diǎn)緊張。準(zhǔn)備得再充分,你都不知道這一刻會(huì)發(fā)生什么黑天鵝事件?!?/p>
實(shí)際上,為了保障2015年雙十一用戶體驗(yàn),阿里在過去一年多的時(shí)間里完成了多項(xiàng)技術(shù)創(chuàng)新。在無線交易端,手機(jī)淘寶搭建了一個(gè)世界級無線云平臺。在服務(wù)億級用戶的同時(shí),手機(jī)淘寶實(shí)現(xiàn)了一系列技術(shù)優(yōu)化:內(nèi)存節(jié)省50、滑動(dòng)提速20、1秒打開手淘頁面。雙十一全場無線端還全面進(jìn)行了個(gè)性化,消費(fèi)者在手機(jī)屏幕上能輕松找到喜歡的商品。針對2G 手機(jī)用戶,手淘的工程師們建立了2G 網(wǎng)絡(luò)實(shí)驗(yàn)室,通過不斷模擬測試,實(shí)現(xiàn)2G 弱網(wǎng)環(huán)境下的手機(jī)也能1秒連接。
在信息安全方面,今年雙十一期間阿里云安全團(tuán)隊(duì)通過數(shù)據(jù)模型實(shí)現(xiàn)了DDoS 攻擊檢測。系統(tǒng)通過行為模型、惡意IP 地址比對等技術(shù)手段,完成了對流量成分的分析,從而抵御大規(guī)模黑客攻擊。而從去年開始,阿里就耗時(shí)一年完成了淘寶、天貓的全站HTTPS 加密傳輸。電商平臺從客戶端到服務(wù)器之間全程加密,有效保護(hù)消費(fèi)者和商家信息不被第三方劫持。劉振飛說,HTTPS 的技術(shù)本身并不神秘,但是整個(gè)系統(tǒng)改造非常復(fù)雜,投入資源非常大。
,點(diǎn)亮今年雙十一水立方主會(huì)場的數(shù)據(jù)大屏,采用了阿里研發(fā)的dataV 數(shù)據(jù)可視化引擎。該引擎完全基于Web 技術(shù),可快速、低成本部署。當(dāng)用于內(nèi)部的商品、交易、支付等的可視化呈現(xiàn)時(shí),能夠幫助商家更直觀地調(diào)控運(yùn)營與管理。今年的水立方數(shù)據(jù)大屏上還利用了3DwebGL 技術(shù),通過3D 圖像展示雙十一平臺總體交易訂單實(shí)時(shí)流向。這一技術(shù)派生出來的3D 城市,還能對城市里的人群進(jìn)行微觀畫像分析。目前,這一技術(shù)已計(jì)劃通過阿里云向外輸出。
值得一提的還有今年雙十一采用的“一鍵建站”技術(shù):通過阿里自研的自動(dòng)化軟件,將中間件、數(shù)據(jù)庫、商品交易系統(tǒng)、商品展示系統(tǒng)等上百個(gè)電商核心系統(tǒng),像搭積木一樣新建和部署淘寶和天貓的交易單元。這些交易單元與原有的系統(tǒng)一起“協(xié)同作戰(zhàn)”,從而分散流量、減輕系統(tǒng)負(fù)擔(dān)。以往重新部署一套交易單元,至少需要提前1個(gè)月的時(shí)間準(zhǔn)備,而今年則只需要一鍵完成,所需時(shí)間不到90分鐘。
經(jīng)過6年的發(fā)展,阿里云在云計(jì)算基礎(chǔ)設(shè)施領(lǐng)域,覆蓋了從域名、備案、解析、計(jì)算、網(wǎng)絡(luò)、存儲、數(shù)據(jù)庫、安全、海量數(shù)據(jù)分析到互聯(lián)網(wǎng)中間件等多項(xiàng)服務(wù)。今后,阿里云還將加強(qiáng)在基礎(chǔ)和前瞻技術(shù)領(lǐng)域的研發(fā),包括芯片、存儲、網(wǎng)絡(luò)硬件、大規(guī)模計(jì)算集群和軟硬件一體化等,提升核心技術(shù)競爭力。
阿里云總裁胡曉明說,阿里把每年雙十一所積累的技術(shù)能力開放出去,這就是普惠科技。通過普惠科技,創(chuàng)新者、創(chuàng)業(yè)者也能擁有跟阿里一樣的技術(shù)能力。據(jù)統(tǒng)計(jì),在今年雙十一當(dāng)天,有超過3萬家創(chuàng)新創(chuàng)業(yè)企業(yè)通過阿里云官網(wǎng)搶購計(jì)算資源,采購量相當(dāng)于一座大型數(shù)據(jù)中心,較傳統(tǒng)方式節(jié)省了上億元的IT 成本。其中,有近千家企業(yè)購買了阿里云海外的計(jì)算服務(wù)。(文/記者吳寧川)