【廣告】
項(xiàng)目數(shù)據(jù)分析是通過(guò)對(duì)項(xiàng)目數(shù)據(jù)的科學(xué)分析來(lái)評(píng)估項(xiàng)目的可行性,為投資方?jīng)Q策項(xiàng)目提供科學(xué)、嚴(yán)謹(jǐn)?shù)囊罁?jù),降低項(xiàng)目投資的風(fēng)險(xiǎn)。
為履行我國(guó)加入世貿(mào)的承諾,適應(yīng)世界經(jīng)濟(jì)一體化的進(jìn)程,結(jié)束我國(guó)專業(yè)技術(shù)考核行業(yè)中缺少"項(xiàng)目數(shù)據(jù)分析師"的現(xiàn)狀,出臺(tái)《關(guān)于規(guī)范長(zhǎng)期投資項(xiàng)目數(shù)據(jù)分析方法及國(guó)際接軌的總體精神》,2003年底國(guó)家電子行業(yè)職業(yè)技能鑒定指導(dǎo)中心正式設(shè)立"項(xiàng)目數(shù)據(jù)分析師"考試認(rèn)證項(xiàng)目并制定出我國(guó)項(xiàng)目數(shù)據(jù)分析師培訓(xùn)、考試及管理辦法。項(xiàng)目數(shù)據(jù)分析行業(yè)在中國(guó)正式形成。對(duì)于一個(gè)希望獲取并分析大數(shù)據(jù)的組織來(lái)說(shuō),光有存儲(chǔ)容量是不夠的。
我們可以發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在著一定的缺陷。
早期應(yīng)用的數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)時(shí),應(yīng)用直接訪問數(shù)據(jù)庫(kù)系統(tǒng),簡(jiǎn)單的存取數(shù)據(jù)就可以滿足業(yè)務(wù)需求。但是,當(dāng)用戶訪問量增加或是數(shù)據(jù)量不斷增大時(shí),從而導(dǎo)致數(shù)據(jù)庫(kù)服務(wù)器無(wú)法及時(shí)響應(yīng)用戶請(qǐng)求,出現(xiàn)超時(shí)的錯(cuò)誤。
當(dāng)數(shù)據(jù)訪問負(fù)載持續(xù)增加時(shí),就需要考慮讀寫分離技術(shù)(Master-Slave)架構(gòu),以及分庫(kù)分表技術(shù)。但讀寫分離和分庫(kù)分表帶來(lái)了應(yīng)用層面的復(fù)雜性,應(yīng)用程序需要在設(shè)計(jì)開發(fā)階段就考慮到數(shù)據(jù)的拆分。能否識(shí)別正確的基礎(chǔ)設(shè)施來(lái)支持快速的數(shù)據(jù)可用性和高性能查詢就意味著成功還是失敗。分庫(kù)分表后,不僅限制了查詢的靈活性,并且隨著數(shù)據(jù)量繼續(xù)增長(zhǎng)到PB級(jí),單個(gè)數(shù)據(jù)庫(kù)實(shí)例的處理能力會(huì)成為整個(gè)系統(tǒng)的性能瓶頸。
當(dāng)基于分布式存儲(chǔ)計(jì)算的大數(shù)據(jù)處理技術(shù)出現(xiàn)后,我們所面對(duì)的則是來(lái)自離線和在線的多個(gè)不同數(shù)據(jù)流,系統(tǒng)需要實(shí)時(shí)響應(yīng)數(shù)據(jù)查詢請(qǐng)求,還需要處理分布式系統(tǒng)的分區(qū)和問題,以及滿足高容錯(cuò)和可擴(kuò)展的要求,于是就有了lambda架構(gòu),但其也存在著不足之處:整體架構(gòu)比較復(fù)雜,資源開銷比較大,對(duì)軟硬件的需求較高;越來(lái)越多的風(fēng)險(xiǎn)投資機(jī)構(gòu)把項(xiàng)目數(shù)據(jù)分析報(bào)告作為其判斷項(xiàng)目是否可行及是否值得投資的重要依據(jù)。很多分析場(chǎng)景實(shí)現(xiàn)困難,增加了應(yīng)用開發(fā)難度;數(shù)據(jù)流水線較長(zhǎng),系統(tǒng)運(yùn)維復(fù)雜。
通過(guò)以上可以發(fā)現(xiàn),現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在一定缺陷,在面對(duì)今天日益復(fù)雜的企業(yè)大數(shù)據(jù)分析需求時(shí)顯得力不從心,如何采用架構(gòu)技術(shù)來(lái)解決這些問題,這也是數(shù)據(jù)分析廠商所面對(duì)的挑戰(zhàn)。