大(dà)數(shù)據服務

來(lái)源:|浏覽次:209|2017年( ₹nián)11月(yuè)17日(rì)

大(dà)數(shù)據概念

    "大(dà)數(shù)♦α¶→據"是(shì)一(yī)個(gè)體(tǐ)量特别大(dà)，數(sh§☆ù)據類别特别大(dà)的(de)數(shù)據集，并‍δ£且這(zhè)樣的(de)數(shù)據'™©₩集無法用(yòng)傳統數(shù)據庫工(gōng)具對(duì)其內(nèi"קπ)容進行(xíng)抓取、管理(lǐ)和(hé)處理(l₹₹÷ ǐ)。 "大(dà)數(shù)據"首先是(shì)指數(shù)據體(tǐ)量(volumes) ε↓?大(dà)，指代大(dà)型數(shù)據集，一'®αλ(yī)般在10TB?規模左右，但(dàn)在實際應用(yòng)中，很(hěn)★↓多(duō)企業(yè)用(yòng)戶把多(du≤•ō)個(gè)數(shù)據集放(fàng)在一(yīβ≥•♠)起，已經形成了(le)PB級的(de)數(shù)據量σ​；其次是(shì)指數(shù)據類别(variety)大(∞λ¶‌dà)，數(shù)據來(lái)自(zì)多(du​"ō)種數(shù)據源，數(shù)據種類和(hé)格式日(rì)漸豐富，已沖破了(le)以&‍前所限定的(de)結構化(huà)數(shù)據範疇，囊括了(le)半結構化(huà)和(hé)非€₽ ¶結構化(huà)數(shù)據。接著(zhe)✔  ₽是(shì)數(shù)據處理(lǐ)速度（Veloci<φ₹¶ty）快(kuài)，在數(shù)據量非常ε♣ ♠龐大(dà)的(de)情況下(xià)，也(yě)能(néng)夠做(zuò)到(dào)₽&φ數(shù)據的(de)實時(shí)處理(lǐ)。最後一(yī)<π個(gè)特點是(shì)指數(shù)據真實性（Veracit​→Ωy）高(gāo)，随著(zhe)社交數(shù)據、企業(yè)內(nèi)容、交易與§←✔應用(yòng)數(shù)據等新數(shù)據源的(de)γ< 興趣，傳統數(shù)據源的(de)局限被打破，↕β¶企業(yè)愈發需要(yào)有(yǒu)效的(d<↓₹e)信息之力以确保其真實性及安全性。

大(dà)數(shù)據作(zuò)用(yòng)

大(dà)數(shù)據處理(lǐ)之一(yī)：采集

    大(dà)數(sh±☆ →ù)據的(de)采集是(shì)指利用(yòng)多(duō)個(gè)數(shù)據庫來δ ≥(lái)接收發自(zì)客戶端（Web、App或者傳感器(q↔¶'ì)形式等）的(de)數(shù)據，并且用(yòng)戶可(kě)以通(tōng)過這(zh™∏•è)些(xiē)數(shù)據庫來(lái)進行(xíng)簡單的(de)查詢和(hé)處ε∞Ω理(lǐ)工(gōng)作(zuò)。比如(rú)，電(diàn)商會(hu∞→ ‌ì)使用(yòng)傳統的(de)關系型數(sh<α±±ù)據庫MySQL和(hé)Oracle等來(lái)存儲每一(•σyī)筆(bǐ)事(shì)務數(shù)據，除此之外(wài)§¥，Redis和(hé)MongoDB這(zhè)樣的(de)NoSQL數(shù)據£♠δ庫也(yě)常用(yòng)于數(shù)"∑​據的(de)采集。
       在大(dà)數(shù)據€&♠的(de)采集過程中，其主要(yào)特點和(hé)挑戰是(shì)并發數(shù)高(gā♥ o)，因為(wèi)同時(shí)有(yǒu)可(kě↑×↑)能(néng)會(huì)有(yǒu)成千上(shàng)萬的(d&₩£×e)用(yòng)戶來(lái)進行(xíng)訪 ™'問(wèn)和(hé)操作(zuò)，比如(rú)火(huǒ)車(chēΩ ✔)票(piào)售票(piào)網站(zhàδ εn)和(hé)淘寶，它們并發的(de)訪問© (wèn)量在峰值時(shí)達到(dào)上(shàng)百萬，所以需要(yào)在采集端部署 ★大(dà)量數(shù)據庫才能(néng)支✘☆撐。并且如(rú)何在這(zhè)些(xiē)數(shù©₽)據庫之間(jiān)進行(xíng)負載均衡和(hé)分(fēn)片的(deσ‌)确是(shì)需要(yào)深入的(de ♠)思考和(hé)設計(jì)。

大(dà)數(shù)據處理(lǐ)之二：導入/λ₹預處理(lǐ)

    雖然采集端本身(sh ✔₽✔ēn)會(huì)有(yǒu)很(hěn)多(duō)數(shù)據庫，但(dàn)是(shì₽ )如(rú)果要(yào)對(duì)這(zhè)些(xiē)海(hǎi)量數(shù)據進行(x©✘ →íng)有(yǒu)效的(de)分(fēn)析，還(hái©××)是(shì)應該将這(zhè)些(xiē)來(☆α★✔lái)自(zì)前端的(de)數(shù)據導↕♥±≥入到(dào)一(yī)個(gè)集中的(de)大(dà)型分(fēn)布式數(shù)據庫，或者&α分(fēn)布式存儲集群，并且可(kě)以在導入基礎上(shàn ≈÷λg)做(zuò)一(yī)些(xiē)簡單的(de)清洗和(hé)預處理(lǐ£")工(gōng)作(zuò)。也(yě)有(yǒu)一(yλ♣↕αī)些(xiē)用(yòng)戶會(huì)在導入時(shí)使用(yòng)來(lái)自(♦♠‌¶zì)Twitter的(de)Storm來(lái)對(duì)數(sδ¥β hù)據進行(xíng)流式計(jì)算(suàn)，來(lái)滿足™π部分(fēn)業(yè)務的(de)實時(shí)✘γΩ♣計(jì)算(suàn)需求。
       導入與←¥預處理(lǐ)過程的(de)特點和(hé)挑戰主要(yào)是(shì)導入的(de)數(±<γshù)據量大(dà)，每秒(miǎo)鐘(zhōng)→​©"的(de)導入量經常會(huì)達到(dào)百兆，甚至千兆級¥ 别。

大(dà)數(shù)據處理(lǐ)之三±π：統計(jì)/分(fēn)析

    統計(jì)與分(fēn)析主要(yào)利用(yòng)分(fē∞✔"n)布式數(shù)據庫，或者分(fēn)布式計(jì)算(suàn)集群來(lái)對(duì♥γ↑↓)存儲于其內(nèi)的(de)海(hǎi)量數(shù)據進行(xíng)普通↔₽€$(tōng)的(de)分(fēn)析和(hé)分(fēn)類彙總等，以滿足大(dà)多(duō)數λ≥Ωα(shù)常見(jiàn)的(de)分(fēn↑₩→)析需求，在這(zhè)方面，一(yī)些(xiē)‍✔π§實時(shí)性需求會(huì)用(yòng)到(dào)EMC的(de)GreenPlum、✔¶Oracle的(de)Exadata，以及基于MySQL的(de)列式存儲Inf★↓≥obright等，而一(yī)些(xiē)批處理(lǐ)，或者基于α±↔半結構化(huà)數(shù)據的(de)需求可(kě)以使用(yòng)Hadoop。π'≈

     'λ₽£  統計(jì)與分(fēn)析這(zhè)部分(fē ε✘n)的(de)主要(yào)特點和(hé)挑戰是(shì)分✘↔δ¥(fēn)析涉及的(de)數(shù)據量大(dà)，其對(duì€∏)系統資源，特别是(shì)I/O會(huì)有(yǒu)極大(dà)的(de)占用(yòn€​βσg)。

大(dà)數(shù)據處理(lǐ)之四：挖掘

    統計(jì)與分(fēn)析主要(yào)利用(yòng)分> ₹π(fēn)布式數(shù)據庫，或者分(fēn)布式計(jì)算(s‍÷π uàn)集群來(lái)對(duì)存儲于其內(nèi)的(de)海(hǎi)量數(s✔↑©↑hù)據進行(xíng)普通(tōng)的(de)分(fēn)析和(hé)分(fēn)類☆÷♥↑彙總等，以滿足大(dà)多(duō)數(shù)常見(jiàn)的(de)分(fēn™εγ≥)析需求，在這(zhè)方面，一(yī)些(xiē)實時(shí)性需求會(huì σ₩)用(yòng)到(dào)EMC的(de)GreenPlum、Oracle的(de)Exadat§₩© a，以及基于MySQL的(de)列式存儲Infobright等，而一(yī)些(xiē)批處理♥£(lǐ)，或者基于半結構化(huà)數(sh &α¶ù)據的(de)需求可(kě)以使用(yòn×π€πg)Hadoop。

       統計(jì)↔α®與分(fēn)析這(zhè)部分(fēn)的(de)主要(yào)特點和(hé)挑戰 >♥‌是(shì)分(fēn)析涉及的(de)數(shù)據量大(dà)，其對(duì)系統資源，♠ β∑特别是(shì)I/O會(huì)有(y&‍↔ǒu)極大(dà)的(de)占用(yòng)。ε>£↑