一、ETL研發(fā)
隨著數(shù)據(jù)種類(lèi)的不斷增加,企業(yè)對(duì)數(shù)據(jù)整合專(zhuān)業(yè)人才的需求越來(lái)越旺盛。ETL開(kāi)發(fā)者與不同的數(shù)據(jù)來(lái)源和組織打交道,從不同的源頭抽取數(shù)據(jù),轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)以滿(mǎn)足企業(yè)的需要。ETL研發(fā),主要負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成,最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中,成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。目前,ETL行業(yè)相對(duì)成熟,相關(guān)崗位的工作生命周期比較長(zhǎng),通常由內(nèi)部員工和外包合同商之間通力完成。ETL人才在大數(shù)據(jù)時(shí)代炙手可熱的原因之一是:在企業(yè)大數(shù)據(jù)應(yīng)用的早期階段,Hadoop只是窮人的ETL。
二、可視化(前端展現(xiàn))工具開(kāi)發(fā)
海量數(shù)據(jù)的分析是個(gè)大挑戰(zhàn),而新型數(shù)據(jù)可視化工具如Spotifre,Qlikview、Tableau、大數(shù)據(jù)魔鏡可以直觀(guān)高效地展示數(shù)據(jù)??梢暬_(kāi)發(fā)就是在可視開(kāi)發(fā)工具提供的圖形用戶(hù)界面上,通過(guò)操作界面元素,由可視開(kāi)發(fā)工具自動(dòng)生成應(yīng)用軟件。還可輕松跨越多個(gè)資源和層次連接您的所有數(shù)據(jù),經(jīng)過(guò)時(shí)間考驗(yàn),完全可擴(kuò)展的,功能豐富全面的可視化組件庫(kù)為開(kāi)發(fā)人員提供了功能完整并且簡(jiǎn)單易用的組件集合,以用來(lái)構(gòu)建極其豐富的用戶(hù)界面。中國(guó)本土的數(shù)據(jù)工具也在近年來(lái)迅速發(fā)展。大數(shù)據(jù)魔鏡是該領(lǐng)域第一品牌,市場(chǎng)占有率第一,已成為上萬(wàn)家企業(yè)分析、決策的標(biāo)配工具。
三、信息架構(gòu)開(kāi)發(fā)
大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開(kāi)發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專(zhuān)業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素,確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。
四、數(shù)據(jù)倉(cāng)庫(kù)研究
數(shù)據(jù)倉(cāng)庫(kù)是為企業(yè)所有級(jí)別的決策制定過(guò)程提供支持的所有類(lèi)型數(shù)據(jù)的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存