有人說(shuō)大數(shù)據(jù)技術(shù)是第四次技術(shù)革命，這個(gè)說(shuō)法其實(shí)不為過(guò)。
很多人只是聽過(guò)大數(shù)據(jù)這個(gè)詞或者是簡(jiǎn)單知道它是什么，那么它是什么呢，在這里就通俗點(diǎn)來(lái)說(shuō)一下個(gè)人對(duì)大數(shù)據(jù)的理解。
大數(shù)據(jù)，很明顯從字面上理解就是大量的數(shù)據(jù)，海量的數(shù)據(jù)。大，意思就是數(shù)據(jù)的量級(jí)很大，不上TB都不好意思說(shuō)是大數(shù)據(jù)。數(shù)據(jù)，狹義上理解就是12345那么些數(shù)據(jù)，畢竟計(jì)算機(jī)底層是二進(jìn)制來(lái)存的，那么在大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)就不僅僅包括數(shù)字這些，它可以是所有格式的東西，比如日志，音頻視頻，文件等等。
所以，大數(shù)據(jù)從字面上理解就是海量的數(shù)據(jù)，技術(shù)上它包括這些海量數(shù)據(jù)的采集，過(guò)濾，清洗，存儲(chǔ)，處理，查看等等部分，每一個(gè)部分包括一些大數(shù)據(jù)的相關(guān)技術(shù)框架來(lái)支持。
舉個(gè)例子，淘寶雙十一的總交易額的顯示，后面就是大數(shù)據(jù)技術(shù)的支持，全國(guó)那么多淘寶用戶的交易記錄匯聚到一起，數(shù)據(jù)量很大，而且要做到實(shí)時(shí)的展現(xiàn)，就需要強(qiáng)有力的大數(shù)據(jù)技術(shù)來(lái)處理了。
數(shù)據(jù)量一大，那么得找地方來(lái)存，一個(gè)服務(wù)器硬盤可以掛多少，肯定滿足不了這么大的數(shù)據(jù)量存儲(chǔ)啊，所以，分布式的存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生，那就是HDFS分布式文件系統(tǒng)。簡(jiǎn)單的說(shuō)，就是把這么大的數(shù)據(jù)分開存在甚至幾百甚至幾千臺(tái)服務(wù)器上，那么管理他們的系統(tǒng)就是HDFS文件系統(tǒng)，也是大數(shù)據(jù)技術(shù)的最基本的組件。
有地方存了，需要一些分布式的數(shù)據(jù)庫(kù)來(lái)管理查詢啊，那就有了Hbase等，還需要一些組件來(lái)計(jì)算分析這些數(shù)據(jù)啊，mapreduce是最基本的計(jì)算框架，其他的計(jì)算框架Spark和Storm可以完成實(shí)時(shí)的處理，其中HDFS和MapReduce組成了Hadoop1.
總之，一切都是數(shù)據(jù)。我們的歷史，是不是都是大量的數(shù)據(jù)保存下來(lái)的，現(xiàn)在我們也是大數(shù)據(jù)的生活，天天有沒有接到騷擾電話還知道你姓什么，你查話費(fèi)什么的從幾億人的數(shù)據(jù)中查到你的信息，大數(shù)據(jù)生活。未來(lái)，大數(shù)據(jù)將更深刻的滲透到生活中。1、大數(shù)據(jù)又稱巨量資料，是海量具有高增長(zhǎng)率和多樣化特性的有價(jià)值的信息資產(chǎn)的集合。它不僅僅包括數(shù)字，還包括圖片、文本、視頻、交互記錄等等。大數(shù)據(jù)無(wú)法在可承受時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、處理和管理。具有大亮、高速、多樣、價(jià)值這四個(gè)特點(diǎn)，主要應(yīng)用于計(jì)算機(jī)，它的最小單位是bit。
2、大數(shù)據(jù)可以說(shuō)是云計(jì)算不斷發(fā)展下的一個(gè)產(chǎn)物，同時(shí)也必須依托于云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、和云存儲(chǔ)、虛擬化技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行分布式處理。
3、大數(shù)據(jù)中的信息資料大都來(lái)源于一些交互平臺(tái)或者是公司企業(yè)、網(wǎng)站。這些信息經(jīng)過(guò)處理后，其中一部分會(huì)轉(zhuǎn)變?yōu)橛幸?guī)律的信息結(jié)構(gòu)，這樣就可以對(duì)他們進(jìn)行分析從而利于企業(yè)的市場(chǎng)營(yíng)銷，甚至國(guó)家安全。
大數(shù)據(jù)的4個(gè)“V”，或者說(shuō)特點(diǎn)有四個(gè)層面：
第一，數(shù)據(jù)體量巨大。從TB級(jí)別，躍升到PB級(jí)別；
第二，數(shù)據(jù)類型繁多。前文提到的網(wǎng)絡(luò)日志、視頻、圖片、地理位置信息等等。
第三，處理速度快，1秒定律，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同。
第四，只要合理利用數(shù)據(jù)并對(duì)其進(jìn)行正確、準(zhǔn)確的分析，將會(huì)帶來(lái)很高的價(jià)值回報(bào)。業(yè)界將其歸納為4個(gè)“V”——Volume（數(shù)據(jù)體量大）、Variety（數(shù)據(jù)類型繁多）、Velocity（處理速度快）、Value（價(jià)值密度低）。大數(shù)據(jù)的特點(diǎn)。數(shù)據(jù)量大、數(shù)據(jù)種類多、 要求實(shí)時(shí)性強(qiáng)、數(shù)據(jù)所蘊(yùn)藏的價(jià)值大。在各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律?；\統(tǒng)點(diǎn)講吧！顧名思義大數(shù)據(jù)就是信息量大的數(shù)據(jù)！比如說(shuō)一瞬間需要處理上億條指令的動(dòng)作，這個(gè)也算大數(shù)據(jù)，或者需要長(zhǎng)時(shí)間演算的數(shù)據(jù)，甚至是包含無(wú)數(shù)條記錄的信息，反正就是信息量大！
大數(shù)據(jù)的4V，就是“容量大Volume”“多樣性Variety”“價(jià)值高Value”“速度快Velocity”
現(xiàn)在已經(jīng)有5V了
一、Volume：數(shù)據(jù)量大，包括采集、存儲(chǔ)和計(jì)算的量都非常大。大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬(wàn)個(gè)T）或Z（10億個(gè)T）。
二、Variety：種類和來(lái)源多樣化。包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，具體表現(xiàn)為網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等，多類型的數(shù)據(jù)對(duì)數(shù)據(jù)的處理能力提出了更高的要求。
三、Value：數(shù)據(jù)價(jià)值密度相對(duì)較低，或者說(shuō)是浪里淘沙卻又彌足珍貴。隨著互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)的廣泛應(yīng)用，信息感知無(wú)處不在，信息海量，但價(jià)值密度較低，如何結(jié)合業(yè)務(wù)邏輯并通過(guò)強(qiáng)大的機(jī)器算法來(lái)挖掘數(shù)據(jù)價(jià)值，是大數(shù)據(jù)時(shí)代最需要解決的問(wèn)題。
四、Velocity：數(shù)據(jù)增長(zhǎng)速度快，處理速度也快，時(shí)效性要求高。比如搜索引擎要求幾分鐘前的新聞能夠被用戶查詢到，個(gè)性化推薦算法盡可能要求實(shí)時(shí)完成推薦。這是大數(shù)據(jù)區(qū)別于傳統(tǒng)數(shù)據(jù)挖掘的顯著特征。
五、Veracity：數(shù)據(jù)的準(zhǔn)確性和可信賴度，即數(shù)據(jù)的質(zhì)量。大數(shù)據(jù)(big data)，是指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。 1. 數(shù)據(jù)量大，tb，pb，乃至eb等數(shù)據(jù)量的數(shù)據(jù)需要分析處理。 2. 要求快速響應(yīng)，市場(chǎng)變化快，要求能及時(shí)快速的響應(yīng)變化，那對(duì)數(shù)據(jù)的分析也要快速，在性能上有更高要求，所以數(shù)據(jù)量顯得對(duì)速度要求有些“大”。 3. 數(shù)據(jù)多樣性：不同的數(shù)據(jù)源，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，需要進(jìn)行清洗，整理，篩選等操作，變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)。 4. 價(jià)值密度低，由于數(shù)據(jù)采集的不及時(shí)，數(shù)據(jù)樣本不全面，數(shù)據(jù)可能不連續(xù)等等，數(shù)據(jù)可能會(huì)失真，但當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模，可以通過(guò)更多的數(shù)據(jù)達(dá)到更真實(shí)全面的反饋。 大數(shù)據(jù)已經(jīng)成為各類大會(huì)的重要議題，管理人士們都不愿錯(cuò)過(guò)這一新興趨勢(shì)。毫無(wú)疑問(wèn)，當(dāng)未來(lái)企業(yè)嘗試分析現(xiàn)有海量信息以推動(dòng)業(yè)務(wù)價(jià)值增值時(shí)，必定會(huì)采用大數(shù)據(jù)技術(shù)。
