第一百二十三章 系統(tǒng)改造與技術(shù)升級(jí)
正所謂,工欲善其事,必先利其器。
所有業(yè)務(wù)前端的產(chǎn)品和服務(wù),甚至市場(chǎng)營(yíng)銷(xiāo)活動(dòng)。
都需要依靠后端的系統(tǒng)和技術(shù)支撐,這也是互聯(lián)網(wǎng)公司的核心競(jìng)爭(zhēng)力。
尤其是在現(xiàn)在易趣的業(yè)務(wù)線已經(jīng)非常多。
各種不同的業(yè)務(wù)類(lèi)型,對(duì)后臺(tái)技術(shù)的需求也越來(lái)越復(fù)雜的前提下。
打造一個(gè)能夠?yàn)榍胺揭痪€提供足夠支撐和良好用戶體驗(yàn)的后臺(tái)系統(tǒng),
就成為新成立的“大中臺(tái)”事業(yè)群的核心工作目標(biāo)。
可這并不容易……
就拿電商平臺(tái)來(lái)看:
易趣公司早期的后臺(tái)系統(tǒng),是由龐勇一個(gè)人寫(xiě)的(易趣網(wǎng)B2C)。
在97年的時(shí)候,還用的是C語(yǔ)言和ASP(ActiveServerPages,動(dòng)態(tài)服務(wù)器頁(yè)面)技術(shù),數(shù)據(jù)庫(kù)用的是SQLServer。
而新成立的淘寶網(wǎng),則采用了最新的Linux+MySQL+PHP的架構(gòu)。
之所以采用這個(gè)架構(gòu),是因?yàn)橐环矫嬗玫降募夹g(shù)是開(kāi)源、免費(fèi)的,而且無(wú)需編譯,發(fā)布快速。
這樣一來(lái),光是要將電商平臺(tái)在后臺(tái)系統(tǒng)做整合,就需要對(duì)整個(gè)系統(tǒng)架構(gòu)進(jìn)行重新升級(jí)……
更不用說(shuō),還要涉及到一點(diǎn)也不比電商平臺(tái)系統(tǒng)簡(jiǎn)單的搜索平臺(tái)和社交平臺(tái)了。
所以,隋波剛剛布置完一系列的業(yè)務(wù)線工作,
就被龐勇請(qǐng)來(lái),參加技術(shù)委員會(huì)的會(huì)議。
希望讓他聽(tīng)一聽(tīng)大家的討論,最后定下一個(gè)方案來(lái)。
隋波雖然對(duì)技術(shù)細(xì)節(jié)一竅不通,
但是他一直都是公司產(chǎn)品的“首席體驗(yàn)官”。
可以從用戶體驗(yàn)的角度,提出需求和改進(jìn)意見(jiàn)。
這樣,技術(shù)部門(mén)也可以有針對(duì)性的,來(lái)進(jìn)行系統(tǒng)改造和技術(shù)升級(jí)。
另外最重要的是,無(wú)論是升級(jí)系統(tǒng),還是改進(jìn)技術(shù),增加服務(wù)器、購(gòu)買(mǎi)數(shù)據(jù)庫(kù)軟件……
這些都是需要耗費(fèi)大量資金的。
如果不讓隋波這個(gè)大老板來(lái)聽(tīng)一聽(tīng)。
到時(shí)候報(bào)預(yù)算,審批下來(lái)也慢啊……
在技術(shù)委員會(huì)上,龐勇簡(jiǎn)單介紹了目前電商平臺(tái)的系統(tǒng)架構(gòu)情況。
現(xiàn)在暫時(shí)來(lái)看,整合難度最大的是易趣網(wǎng)和淘寶網(wǎng)。
像百度搜索,從王川最初開(kāi)始研發(fā),就有一整套獨(dú)立的后臺(tái)系統(tǒng)。
現(xiàn)階段只需要做數(shù)據(jù)接口,打通用戶信息就可以,等到后期,電商和搜索業(yè)務(wù)交叉的需求增加的時(shí)候,再做更進(jìn)一步的整合。
電商平臺(tái)所有產(chǎn)品和功能的底層,其實(shí)都是商品管理和交易管理兩大系統(tǒng)。
其中主要包括:存儲(chǔ)數(shù)據(jù)庫(kù)、開(kāi)發(fā)語(yǔ)言、負(fù)載均衡、緩存、CDN等。
同時(shí),要想形成真正具備整合能力的“大中臺(tái)”,將各種業(yè)務(wù)線整合在一起,還必須有中間件系統(tǒng)(SOA,分布式組件架構(gòu)),如高性能的服務(wù)框架、分布式的數(shù)據(jù)訪問(wèn)工具等。
簡(jiǎn)單來(lái)說(shuō),首先是商品管理系統(tǒng)。
舉個(gè)例子,電商平臺(tái)商品管理系統(tǒng),在后臺(tái)系統(tǒng)有個(gè)專(zhuān)用名詞叫商品類(lèi)目屬性。
比如服裝,就要分成男裝、女裝,按照季節(jié),又要分為春夏裝、秋冬裝……
再繼續(xù)細(xì)分,還可以分為大衣、T恤、褲子……
甚至還能再細(xì)分到材質(zhì),是蕾絲還是純棉……
這樣,商品的類(lèi)目屬性就會(huì)形成非常復(fù)雜的網(wǎng)狀結(jié)構(gòu)。
對(duì)此,技術(shù)部門(mén)最后做出了一個(gè)名為Forest(森林)系統(tǒng),來(lái)對(duì)商品的數(shù)據(jù)信息進(jìn)行結(jié)構(gòu)化,以便于前后臺(tái)的調(diào)用。
另外有一個(gè)難點(diǎn),就是圖片存儲(chǔ)系統(tǒng)。
前兩年,因?yàn)榫W(wǎng)速和用戶體驗(yàn)的考慮,易趣網(wǎng)上圖片很少。
但現(xiàn)在,無(wú)論是易趣網(wǎng)還是淘寶網(wǎng)上,都已經(jīng)開(kāi)始出現(xiàn)了大量圖片。
畢竟圖片無(wú)論是在商品展示上,還是交易系統(tǒng)中都非常重要。
“無(wú)圖無(wú)真相”、“一張好圖勝過(guò)千言”。
現(xiàn)在電商平臺(tái)的流量中,圖片的訪問(wèn)流量要占到90%以上。
這么多的圖片數(shù)據(jù),和這么大的流量,會(huì)給后臺(tái)系統(tǒng)帶來(lái)非常大的壓力。
尤其是大規(guī)模的小文件存儲(chǔ)和讀取,這就需要在存儲(chǔ)技術(shù)和緩存技術(shù)上,進(jìn)行升級(jí)和創(chuàng)新。
同時(shí)也對(duì),基礎(chǔ)網(wǎng)絡(luò)的帶寬提出了更高的要求。
另外,因?yàn)殡娚唐脚_(tái)所有的功能都需要依賴用戶信息,用戶中心模塊必須單獨(dú)拿出來(lái),否則以后系統(tǒng)無(wú)法擴(kuò)展。
這就需要一個(gè)中心系統(tǒng)UIC(UserInformationCenter),
可是UIC拿出來(lái)之后,應(yīng)用系統(tǒng)每天訪問(wèn)UIC,UIC訪問(wèn)數(shù)據(jù)庫(kù)讀取用戶信息,以易趣網(wǎng)和淘寶網(wǎng)現(xiàn)在的流量,幾乎每天都有數(shù)千萬(wàn)甚至上億次的讀取,數(shù)據(jù)庫(kù)很快就會(huì)崩潰。
這樣,一方面需要進(jìn)行數(shù)據(jù)庫(kù)的分布式數(shù)據(jù)分層訪問(wèn),另外就是緩存技術(shù)。
從前端的緩存,和全局負(fù)載均衡設(shè)置,傳遞到后端,流量就非常均衡和分散了,對(duì)前端的相應(yīng)性能也大大提高。
無(wú)論是數(shù)據(jù)庫(kù)、負(fù)載均衡、緩存、開(kāi)發(fā)語(yǔ)言等,這些還是屬于純技術(shù)研發(fā)的問(wèn)題。
可CDN就是真正的硬件投入+軟件研發(fā)了。
什么是CDN?
CDN(ContentDeliveryNetwork,即內(nèi)容分發(fā)網(wǎng)絡(luò)),
它涉及到硬件(服務(wù)器)、軟件(系統(tǒng))、帶寬(就近分布)三個(gè)方面。
現(xiàn)在易趣公司在全國(guó)已經(jīng)分布了十多個(gè)服務(wù)器節(jié)點(diǎn),在電信機(jī)房和地方信息港,10M的帶寬,已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足現(xiàn)在的網(wǎng)站需求。
首先要升級(jí)到100M帶寬,同時(shí)對(duì)服務(wù)器硬件進(jìn)行升級(jí),并且升級(jí)CDN的架構(gòu),提高服務(wù)器的單機(jī)性能。
可以說(shuō),CDN直接關(guān)系到數(shù)據(jù)庫(kù)存儲(chǔ)、緩存、負(fù)載、流量。
會(huì)影響到所有平臺(tái)系統(tǒng)的效率和前端所有業(yè)務(wù)產(chǎn)品的用戶體驗(yàn)……
一大堆的技術(shù)名詞,聽(tīng)得隋波云山霧繞。
“老龐,你能不能從一個(gè)用戶的使用角度,簡(jiǎn)單直接的來(lái)告訴我,這個(gè)系統(tǒng)的后臺(tái)運(yùn)作流程?”
龐勇點(diǎn)點(diǎn)頭,整理了一下思路,說(shuō)道:
“這么來(lái)說(shuō)吧……
當(dāng)用戶想要上網(wǎng)買(mǎi)一個(gè)商品,他會(huì)首先打開(kāi)我們電商網(wǎng)站,這時(shí),瀏覽器會(huì)首先查詢DNS服務(wù)器,把網(wǎng)址轉(zhuǎn)換為IP地址,這會(huì)因?yàn)椴煌牡貐^(qū)和不同的網(wǎng)絡(luò),轉(zhuǎn)換后的IP地址不同。
這首先涉及到負(fù)載均衡的第一步,通過(guò)DNS解析域名,把你的訪問(wèn)分配的不同的入口,盡可能保證是所有訪問(wèn)入口中,最快的一個(gè)。”
隋波點(diǎn)點(diǎn)頭,這樣說(shuō)的確很清晰。
龐勇繼續(xù)道:“當(dāng)你通過(guò)入口成功訪問(wèn)我們電商網(wǎng)站時(shí),就產(chǎn)生了一個(gè)PV(PageView,頁(yè)面訪問(wèn)量),同時(shí)你作為一個(gè)獨(dú)立用戶,這次訪問(wèn)網(wǎng)站的所有頁(yè)面均算成一個(gè)UV(UniqueVistor,用戶訪問(wèn))。”
隋波繼續(xù)點(diǎn)點(diǎn)頭,PV和UV是網(wǎng)站規(guī)模的重要指標(biāo)。
“因?yàn)橥粫r(shí)刻訪問(wèn)網(wǎng)站的人數(shù)太多,所以,生成網(wǎng)站首頁(yè)頁(yè)面的服務(wù)器不能是僅僅一臺(tái),目前我們用戶生成易趣和淘寶兩個(gè)電商網(wǎng)站首頁(yè)的服務(wù)器就接近100臺(tái),通過(guò)負(fù)載均衡系統(tǒng),后臺(tái)系統(tǒng)會(huì)分配給其中一臺(tái)服務(wù)器完成。”
隋波明白了,負(fù)載均衡系統(tǒng)是第一步。
“通過(guò)一系列復(fù)雜的邏輯運(yùn)算和數(shù)據(jù)處理,給你看的網(wǎng)站首頁(yè)的HTML內(nèi)容就生成了,瀏覽器下一步會(huì)加載頁(yè)面中用到的CSS、JS(JavaScript)、圖片等樣式、腳本和資源文件。
因?yàn)橥粋€(gè)域名下并發(fā)加載的資源數(shù)量有限,為了保證用戶訪問(wèn)網(wǎng)站的速度,就需要采用CDN來(lái)保證流量的分散和就近的CDN節(jié)點(diǎn)。”
隋波默默點(diǎn)頭,對(duì)CDN他還是有一定了解的,前世時(shí),BAT三大巨頭都在全國(guó)大規(guī)模的布置CDN,就是出于數(shù)據(jù)和網(wǎng)站的效率。
龐勇繼續(xù)介紹:“當(dāng)用戶開(kāi)始瀏覽首頁(yè),你可能只是沒(méi)有明確的購(gòu)物意圖和目標(biāo),只是隨意看看,也可能是有一定的購(gòu)物意圖,主要是屬性上的需求,又或者已經(jīng)有了明確的目標(biāo),只是進(jìn)行表和挑選。
這就需要通過(guò)網(wǎng)站內(nèi)的分類(lèi)目錄和搜索來(lái)完成。
其中分類(lèi)目錄背后,就是剛才我提到的Forest系統(tǒng)。而搜索,目前我們暫時(shí)采用了站內(nèi)搜索的方式,后續(xù)會(huì)和百度搜索團(tuán)隊(duì)溝通,借鑒更精確的搜索技術(shù),做到站外搜索能夠直接鏈接到商品頁(yè)面。”
隋波點(diǎn)頭表示知道了。
“你找到心儀的商品后,可能會(huì)有打開(kāi)圖片,或者瀏覽商品詳情,加入購(gòu)物車(chē)等等行為。
不論你是否進(jìn)行了交易,你的訪問(wèn)行為都會(huì)被系統(tǒng)如實(shí)記錄下來(lái),用于后續(xù)的業(yè)務(wù)邏輯和數(shù)據(jù)分析。
這就涉及到了分布式數(shù)據(jù)存儲(chǔ)和用戶信息中心系統(tǒng)。
就這樣,用戶的瀏覽數(shù)據(jù)、交易數(shù)據(jù)和其他數(shù)據(jù)記錄不斷保存和積累在我們的數(shù)據(jù)庫(kù)中。
并通過(guò)我們基于數(shù)據(jù)計(jì)算平臺(tái)的,由數(shù)百臺(tái)服務(wù)器組成的數(shù)據(jù)系統(tǒng),進(jìn)行不斷的分析和挖掘。”
隋波聽(tīng)到這里,這才笑道:“你早這么給我介紹,就很清楚明白了!”
我聽(tīng)了一下,現(xiàn)在你們“大中臺(tái)”事業(yè)群的問(wèn)題是兩個(gè)方面。
一個(gè)是硬件上的升級(jí),一個(gè)是軟件上的升級(jí),對(duì)吧?”
龐勇噎了一下,無(wú)奈點(diǎn)頭:“這么說(shuō)……,也沒(méi)錯(cuò)。”
那么多復(fù)雜的問(wèn)題,被隋波這么歸納了一下,也只能感嘆。
像隋波這么牛的人,終于也有缺點(diǎn)啊,他是真不懂技術(shù)……
隋波也從來(lái)不諱言這一點(diǎn)。
所以他一直對(duì)技術(shù)團(tuán)隊(duì)都非常重視,這也是龐勇、周楓、王川這幫人,跟了他這么久,依然覺(jué)得跟他混還挺不錯(cuò)的原因。
除了易趣一直在事業(yè)上不斷前進(jìn)所帶來(lái)的成就感,也有隋波的尊重和支持。
否則,這兩年那么多新出現(xiàn)的互聯(lián)網(wǎng)創(chuàng)業(yè)公司,都曾想過(guò)挖易趣的技術(shù)團(tuán)隊(duì),從股份到高薪,也是各種誘惑。
但易趣的核心技術(shù)團(tuán)隊(duì),沒(méi)有一個(gè)離開(kāi)的。
隋波當(dāng)即拍板:“服務(wù)器增加,你按照三年內(nèi)用戶增加到5000萬(wàn)為標(biāo)準(zhǔn),需要增加多少服務(wù)器,直接報(bào)預(yù)算。
另外帶寬方面,我們直接和電信談一個(gè)全國(guó)范圍的合作,所有服務(wù)器CDN節(jié)點(diǎn)都把帶寬升級(jí),100M不夠就300M。
你說(shuō)的電商平臺(tái)的整合和技術(shù)升級(jí),我沒(méi)意見(jiàn)。
需要購(gòu)買(mǎi)國(guó)外的數(shù)據(jù)庫(kù)軟件的就買(mǎi),需要自己研發(fā)的,你來(lái)組織團(tuán)隊(duì)開(kāi)發(fā)。
你不是已經(jīng)開(kāi)始調(diào)各業(yè)務(wù)線的技術(shù)人員到總部了嗎?這里面總能找出高手來(lái)。
項(xiàng)目研發(fā)的團(tuán)隊(duì)獎(jiǎng)勵(lì),按照公司規(guī)定,之外再加50%!
我就提兩個(gè)要求:
第一,系統(tǒng)和技術(shù)升級(jí),不能影響到前臺(tái)的用戶體驗(yàn),至于你們?cè)趺醋鑫也还堋?br/>
第二,時(shí)間,我給你3個(gè)月的時(shí)間,你必須完成公司各業(yè)務(wù)線的系統(tǒng)整合。”
龐勇拉他來(lái)參加技術(shù)委員會(huì),就是為了得到他的支持。
聞言興奮的點(diǎn)頭道:“我明白了,波總,你放心!一定完成任務(wù)。”
隋波又說(shuō)道:
“百度搜索的數(shù)據(jù)庫(kù)和整體系統(tǒng),復(fù)雜程度不亞于電商平臺(tái)。
同時(shí)搜索團(tuán)隊(duì)現(xiàn)在在優(yōu)化搜索引擎技術(shù)的同時(shí),還在開(kāi)發(fā)營(yíng)銷(xiāo)平臺(tái)。
你和王川你們兩個(gè),平時(shí)要多溝通,經(jīng)驗(yàn)方面要多交流。”
王川也是技術(shù)委員會(huì)的成員,聞言和龐勇一起點(diǎn)頭。
,