數(shù)據(jù)庫是國(guó)家金融、電信等系統(tǒng)的“基礎(chǔ)設(shè)施”,向來事關(guān)重大。但一個(gè)極為嚴(yán)峻的事實(shí)是:中國(guó)傳統(tǒng)銀行和電信等的數(shù)據(jù)庫核心系統(tǒng),長(zhǎng)期由外國(guó)廠商壟斷。
不過,在互聯(lián)網(wǎng)浪潮的催化下,數(shù)據(jù)量出現(xiàn)了迸發(fā)式增長(zhǎng)。而在水平擴(kuò)容、降低成本、智能運(yùn)維等新的發(fā)展需求下,數(shù)據(jù)庫產(chǎn)業(yè)正呈現(xiàn)出明顯的“云化”趨勢(shì)。這是中國(guó)在后數(shù)據(jù)庫時(shí)代追趕的重要機(jī)會(huì)。于是,嗅覺靈敏的互聯(lián)網(wǎng)企業(yè)相繼涌入賽道,紛紛發(fā)力分布式數(shù)據(jù)庫。
可鑒于技術(shù)攻堅(jiān)、打通渠道和建立生態(tài)太過艱難,國(guó)內(nèi)分布式數(shù)據(jù)庫的頂級(jí)玩家寥寥無幾。而騰訊云是其中一員,并且后勁十足。經(jīng)過十多年的耕耘、積累與進(jìn)擊,騰訊云數(shù)據(jù)庫已逐步?jīng)_破了“三重門”,即開放革新、逐鹿中原和追星摘月,最終實(shí)現(xiàn)華麗的蛻變與升維。
第一重門:革新開放
騰訊云數(shù)據(jù)庫的發(fā)展早有跡可循。2002年,在計(jì)費(fèi)產(chǎn)品發(fā)展需求刺激下,騰訊技術(shù)團(tuán)隊(duì)開始基于開源的MySQL構(gòu)建數(shù)據(jù)庫體系。但在“社交2.0”引起數(shù)據(jù)量爆發(fā)時(shí),騰訊的業(yè)務(wù)線也對(duì)數(shù)據(jù)庫性能提出了更高要求。因此,2007年團(tuán)隊(duì)開始自研自己的數(shù)據(jù)庫產(chǎn)品體系,即TDSQL前身。
騰訊云數(shù)據(jù)庫對(duì)高性能吞吐、分布式水平擴(kuò)展、分布式KV存儲(chǔ)等進(jìn)行的研發(fā)布局,幫助業(yè)務(wù)系統(tǒng)擺脫系統(tǒng)流量對(duì)服務(wù)器數(shù)量的依賴,以及突破了性能瓶頸、數(shù)據(jù)可靠性保障、高可用等“不可能三角”的技術(shù)難題,大大支撐了騰訊的業(yè)務(wù)線發(fā)展,比如掀起全民“偷菜”熱潮的“開心農(nóng)場(chǎng)”。
2009年,騰訊又發(fā)出一記“大招”,正式推出了開放平臺(tái)。對(duì)此,騰訊云數(shù)據(jù)庫技術(shù)負(fù)責(zé)人潘安群表示,“這是一個(gè)比較大的挑戰(zhàn)。因?yàn)橐?wù)內(nèi)部外部不同規(guī)模業(yè)務(wù)的交易、賬戶等,更需要做到零差錯(cuò)。”
此后,在QQ空間等開放平臺(tái)上,游戲和應(yīng)用開發(fā)者從躍躍欲試到蜂擁而至。這也使得騰訊開放平臺(tái),從原來的自有“大胖子”,變成附帶很多“小不點(diǎn)”。2010年底,開放平臺(tái)更迅速達(dá)到近3000家客戶,同時(shí)應(yīng)用場(chǎng)景越來越廣泛。但是,一些技術(shù)耦合問題也接踵而至。
潘安群表示,“大胖子”業(yè)務(wù)可以有很多規(guī)范和要求,很難出現(xiàn)特別大的問題。但小業(yè)務(wù)的場(chǎng)景很容易出問題,比如一些開發(fā)者沒有按規(guī)范操作。“因此,我們要提供一個(gè)更加完整的數(shù)據(jù)庫解決方案,才能讓他們盡可能避免問題。我不希望平臺(tái)上用戶的錢有漏洞或被刷了。”
于是,技術(shù)團(tuán)隊(duì)研發(fā)了一款金融級(jí)分布式數(shù)據(jù)庫,以解決高可用、一致性、水平擴(kuò)容等問題,并讓業(yè)務(wù)系統(tǒng)專注業(yè)務(wù)邏輯。2012年,騰訊云基于“開源定制化+自研”策略,又研制出通用數(shù)據(jù)庫產(chǎn)品,正式命名TDSQL,并在內(nèi)部規(guī)模推廣使用。這標(biāo)志數(shù)據(jù)庫成為了“正規(guī)軍”。
而隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算興起以及數(shù)據(jù)量不斷激增,數(shù)據(jù)庫的場(chǎng)景需求也變得更復(fù)雜。分布式數(shù)據(jù)庫需要成為云計(jì)算時(shí)代產(chǎn)業(yè)的常態(tài)化能力,能夠支撐大規(guī)模場(chǎng)景的企業(yè)級(jí)、金融級(jí)分布式數(shù)據(jù)庫應(yīng)用,以及做到靈活快速部署、敏捷開發(fā)、便捷運(yùn)維等。于是,2013年,騰訊云數(shù)據(jù)庫團(tuán)隊(duì),開始探索OLAP(分析)型數(shù)據(jù)庫以及云原生數(shù)據(jù)庫的研發(fā)與應(yīng)用,來更好地滿足行業(yè)各類數(shù)據(jù)庫需求。另外,騰訊云面向更多的平臺(tái)外部客戶,同時(shí)向公有云進(jìn)發(fā)。
2014年上半年,由于互聯(lián)網(wǎng)企業(yè)紛紛上“云”,騰訊的云業(yè)務(wù)開始起量,并與金融公司陸續(xù)達(dá)成合作。而經(jīng)過前期的“小牛試刀”,騰訊云在數(shù)據(jù)庫應(yīng)用上也開始醞釀一盤大棋。2014年9月,在微眾銀行獲得牌照后,決定讓整個(gè)銀行的系統(tǒng)使用云和分布式架構(gòu)。
騰訊云副總裁李綱表示,選中TDSQL是因?yàn)殂y行的特殊性,即銀行普惠金融的模式需要數(shù)據(jù)庫,具備低成本無限擴(kuò)展的能力。“這是我們第一次吃螃蟹。當(dāng)時(shí)還是很緊張的,因?yàn)楸仨毜帽WC整個(gè)銀行系統(tǒng)的穩(wěn)定。而事實(shí)證明,上線很久后數(shù)據(jù)庫的各項(xiàng)指標(biāo)均正常。”
目前,微眾銀行基于TDSQL搭建的銀行核心系統(tǒng),已為2000多家金融客戶提供堅(jiān)實(shí)“底盤”,成功服務(wù)超2.5億客戶,實(shí)現(xiàn)年均日交易3.6億筆,單日交易峰值近6億筆,最高TPS達(dá)到10萬+。此外,微眾銀行每個(gè)賬戶每年的IT運(yùn)維成本降至3.5元,僅是傳統(tǒng)銀行1/10。
可以說,在騰訊云數(shù)據(jù)庫發(fā)展的早期階段,起點(diǎn)似乎有產(chǎn)品線發(fā)展需求的必然,也有些客觀環(huán)境的使然。但歸根結(jié)底,它的迭代成長(zhǎng),主要得益于開放平臺(tái)戰(zhàn)略。而在內(nèi)部產(chǎn)品矩陣的驗(yàn)證打磨下,騰訊云的能力一直在變強(qiáng),而開放戰(zhàn)略和團(tuán)隊(duì)拼搏的“狠勁”一直未變。
第二重門:挺進(jìn)“中原”
正因?yàn)橛辛宋⒈娿y行的突破性案例,才賦予了騰訊云數(shù)據(jù)庫“外延”的新主線。自2015年起,騰訊云開始布局政務(wù)云等市場(chǎng),相繼推出政務(wù)云,工業(yè)云等不同服務(wù)。第二年,騰訊云就獲得了四川省政務(wù)云訂單,并在60天內(nèi)完成交付。
而最初讓騰訊云數(shù)據(jù)庫名聲大噪的,是“數(shù)字廣東”項(xiàng)目。2017年,數(shù)字廣東要組建“敢死隊(duì)”,并選擇TDSQL作為核心系統(tǒng)數(shù)據(jù)庫。此后,騰訊云團(tuán)隊(duì)迅速銜接,歷經(jīng)一年多全力奮戰(zhàn),助力廣東的國(guó)家級(jí)政府網(wǎng)上能力,從2016年的全國(guó)第九提升到2018年的全國(guó)第一。
隨后,在“All in產(chǎn)業(yè)互聯(lián)網(wǎng)”戰(zhàn)略推動(dòng)下,騰訊云加快了向外界輸出數(shù)據(jù)庫能力,與建設(shè)銀行、中國(guó)人保等紛紛達(dá)成合作。2019年8月,張家港農(nóng)商行正式上線新一代核心系統(tǒng),而“底盤”就是TDSQL數(shù)據(jù)庫。這是國(guó)內(nèi)銀行傳統(tǒng)核心系統(tǒng),首次應(yīng)用國(guó)產(chǎn)分布式數(shù)據(jù)庫。
其實(shí)對(duì)于TDSQL數(shù)據(jù)庫,張家港行并非一開始就認(rèn)可。參與項(xiàng)目的騰訊云數(shù)據(jù)庫高級(jí)工程師張文表示,“張家港行在選型時(shí),一套是集中式數(shù)據(jù)庫,一套是TDSQL數(shù)據(jù)庫。但最后,他們發(fā)現(xiàn)TDSQL成本和性能比較優(yōu),經(jīng)過各種測(cè)試完全能勝任,才把核心系統(tǒng)遷移過來。”
通過這次升級(jí),張家港行綜合成本降低75%以上。與此同時(shí),效率提升也極為明顯。比如TDSQL核心數(shù)據(jù)庫,讓張家港行實(shí)現(xiàn)高頻賬戶類交易耗時(shí)在300毫秒之內(nèi)。而相較傳統(tǒng)競(jìng)爭(zhēng)對(duì)手,張文強(qiáng)調(diào),TDSQL數(shù)據(jù)庫比較明顯的特點(diǎn)是:強(qiáng)一致、高可用、可伸縮和可拓展。
打入傳統(tǒng)銀行核心數(shù)據(jù)庫,意味著TDSQL數(shù)據(jù)庫在進(jìn)擊中實(shí)現(xiàn)“登頂”。接著, 2020年10月31日,平安銀行信用卡A+新核心系統(tǒng)完成“換擋”。基于TDSQL數(shù)據(jù)庫,平安銀行信用卡完成全球首例銀行核心系統(tǒng)從集中式大型機(jī)下移至分布式平臺(tái),同時(shí)新系統(tǒng)能保障10億級(jí)交易賬戶,并實(shí)現(xiàn)10億級(jí)的海量日交易量。
與張家港行一樣,平安銀行曾在歷時(shí)三四個(gè)月的數(shù)據(jù)庫選型中,當(dāng)初也是看好集中式數(shù)據(jù)庫。這是因?yàn)槠桨层y行有至少15年使用外國(guó)產(chǎn)品的歷史,專家們非常信賴集中式數(shù)據(jù)庫的技術(shù)和服務(wù)體系。但考慮到分布式的系列優(yōu)勢(shì),平安銀行最終還是決定選用TDSQL數(shù)據(jù)庫。
整體上,對(duì)于騰訊云數(shù)據(jù)庫的輸出而言,如果說數(shù)字廣東是重要起點(diǎn),那么張家港行案例是真正“外延”的標(biāo)志性事件,而平安銀行信用卡的應(yīng)用是一記強(qiáng)大“助攻”。而隨著不斷切入云開發(fā)、電商、交通和運(yùn)營(yíng)商等行業(yè),TDSQL數(shù)據(jù)庫正在不斷驗(yàn)證、迭代及拓展新邊界。
第三重門:追星摘月
2020年12月24日,騰訊云正式宣布其數(shù)據(jù)庫品牌TDSQL全新升級(jí)戰(zhàn)略。原有TDSQL、TBase、CynosDB三大產(chǎn)品線,將統(tǒng)一升級(jí)為“騰訊云企業(yè)級(jí)分布式數(shù)據(jù)庫TDSQL”。升級(jí)后的騰訊云TDSQL將涵蓋分布式、分析型、云原生等,多引擎融合的完整數(shù)據(jù)庫產(chǎn)品體系。
在李綱看來,這次架構(gòu)調(diào)整對(duì)外部是品牌升級(jí)、簡(jiǎn)化出口,對(duì)內(nèi)部更精準(zhǔn)的描述是融合。三個(gè)數(shù)據(jù)庫產(chǎn)品進(jìn)行能力打散、重新組合,形成數(shù)據(jù)庫底層能力加產(chǎn)品的架構(gòu)體系,而不同應(yīng)用場(chǎng)景的引擎被納入統(tǒng)一體系來管理。“我們希望客戶和行業(yè)對(duì)它有一個(gè)更清晰的認(rèn)知。”
騰訊云副總裁李綱
當(dāng)前,騰訊云數(shù)據(jù)庫正在以前所未有的速度發(fā)展。2019年,Gartner的報(bào)告稱,騰訊云數(shù)據(jù)庫市場(chǎng)份額增速達(dá)123%,位居國(guó)內(nèi)所有廠商之首,并在全球范圍內(nèi)保持連續(xù)兩年增速前三。2020年上半年,Gartner的報(bào)告又顯示,騰訊云數(shù)據(jù)庫的全球市場(chǎng)份額排名已經(jīng)提升至前六。
李綱表示,數(shù)據(jù)庫品牌升級(jí),更多是承前啟后的作用。在超融合、云原生以及國(guó)產(chǎn)化趨勢(shì)下,騰訊云數(shù)據(jù)庫將有更深遠(yuǎn)發(fā)展。而如果簡(jiǎn)單比喻數(shù)據(jù)庫產(chǎn)品線的“合三為一”:既是在做“減法”,也是在做“加法”。減法是整合同類項(xiàng),化繁為簡(jiǎn);加法則是合縱連橫,以蓄成強(qiáng)力。
值得注意,騰訊云數(shù)據(jù)庫也已開始在世界舞臺(tái)上嶄露頭角,去年11月正式入選Gartner的數(shù)據(jù)庫魔力象限。其報(bào)告認(rèn)為,騰訊云數(shù)據(jù)庫多年來積累了一套完整的行業(yè)解決方案,在傳統(tǒng)交易和智能運(yùn)營(yíng)等方面表現(xiàn)出獨(dú)特優(yōu)勢(shì),并在助力數(shù)據(jù)庫國(guó)產(chǎn)化遷移中發(fā)揮良好作用。
作為世界知名的IT咨詢和研究公司,Gartner的魔力象限被稱作行業(yè)的年度“巡禮”,是國(guó)際企業(yè)組織采購技術(shù)產(chǎn)品的重要參考依據(jù)。對(duì)于此次“入榜”,李綱強(qiáng)調(diào),“這標(biāo)志著騰訊云數(shù)據(jù)庫正式進(jìn)入世界頂級(jí)數(shù)據(jù)庫的行列,同時(shí)也是國(guó)產(chǎn)數(shù)據(jù)庫發(fā)展史上的一個(gè)重要里程碑。”
不過,雖然騰訊云數(shù)據(jù)庫發(fā)展勢(shì)頭大好,但尚未在國(guó)內(nèi)市場(chǎng)占據(jù)主要地位。當(dāng)前,不少大型銀行已采用TDSQL等分布式系統(tǒng),但核心業(yè)務(wù)依然是集中式數(shù)據(jù)庫。2019年,國(guó)外廠商仍占據(jù)中國(guó)數(shù)據(jù)庫市場(chǎng)80%以上。
縱觀國(guó)外頭部數(shù)據(jù)庫廠商的優(yōu)勢(shì),較大程度得益于多年來大舉收購ERP等下游企業(yè),構(gòu)建了完整的生態(tài)系統(tǒng)。由于各種辦公系統(tǒng)依托他們各自開發(fā),彼此間無法兼容同時(shí),已形成“割據(jù)”態(tài)勢(shì)。因此,騰訊云數(shù)據(jù)庫面臨的重大挑戰(zhàn),是在技術(shù)破局后如何重構(gòu)產(chǎn)業(yè)生態(tài)。
而歷史進(jìn)程正賦予產(chǎn)業(yè)新的發(fā)展機(jī)遇。隨著云計(jì)算深入發(fā)展和普及,眾多企業(yè)和機(jī)構(gòu)都在轉(zhuǎn)投分布式云數(shù)據(jù)庫。由此,Gartner的數(shù)據(jù)預(yù)測(cè),2023年世界上將有近3/4的數(shù)據(jù)庫會(huì)跑在云端。顯然,在“云數(shù)據(jù)庫”時(shí)代浪潮下,騰訊云正在積極調(diào)整變革,以推動(dòng)“量變到質(zhì)變”。
結(jié)語
十八年磨一劍,不乏道途艱險(xiǎn)。騰訊云數(shù)據(jù)庫歷經(jīng)的三道“闖關(guān)”,就是自我革新開放,挺近“中原”攻城略地,以及走向世界追星摘月。如今騰訊云已沖破前兩道關(guān),正在向第三道關(guān)進(jìn)發(fā)。而1月底的一個(gè)好消息是,騰訊云數(shù)據(jù)庫的多項(xiàng)研究成果入選國(guó)際數(shù)據(jù)庫頂級(jí)會(huì)議。
從輸入者到輸出者,騰訊的C2B能力在被一步步釋放,進(jìn)而具備了產(chǎn)業(yè)互聯(lián)網(wǎng)基因。而這使得騰訊云數(shù)據(jù)庫經(jīng)過全部自有場(chǎng)景驗(yàn)證后,在短短幾年時(shí)間內(nèi),迅速完成了互聯(lián)網(wǎng)、政務(wù)民生、傳統(tǒng)行業(yè)和金融銀行的應(yīng)用升維。某種程度上,這是在“中國(guó)”土生土長(zhǎng)的數(shù)據(jù)庫。
騰訊云數(shù)據(jù)庫為什么會(huì)成功?相對(duì)而言,國(guó)內(nèi)部分科研機(jī)構(gòu)“托底”的企業(yè),向來主要做了“學(xué)研”結(jié)合,“產(chǎn)”上面卻不盡如人意,而騰訊云數(shù)據(jù)庫做到了三者有機(jī)統(tǒng)一。技術(shù)是基石,產(chǎn)品是能力,生態(tài)是附加值,騰訊云的打法正愈發(fā)成熟穩(wěn)健,但國(guó)內(nèi)外的挑戰(zhàn)也絕不容小覷。
關(guān)鍵詞: 國(guó)產(chǎn) 數(shù)據(jù)庫 力量 騰訊