一、大數據的定義
大數據的定義:對于大數據,Gartner 給出的定義是需要運用新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產。
大數據的5V特點:Volume(大量)、Velocity(高速)、Variety(多樣)、Value(低價值密度)、Veracity(真實性)
二、大數據的發(fā)展歷程
1983年,著名未來學家阿爾文·托夫勒在其著作《第三次浪潮》中,將“大數據” 描繪為“第三次浪潮的華彩樂章”。
2003 年《The Google File System》、2004 年《MapReduce: Simplified Data Processing on Large Clusters 》、2006 年《Bigtable: A Distributed Storage System for Structured Data》谷歌大數據三大論文發(fā)布,以及 2005 年 Hadoop 項目的誕生,使得大規(guī)模處理結構化、半結構化、非結構化數據1的廉價方案成為可能,為大數據產業(yè)的快速普及創(chuàng)造了基礎條件。
2008 年,大數據得到部分美國知名計算機研究人員認可。業(yè)界組織計算社區(qū)聯盟(Computing Community Consortium)發(fā)表白皮書《大數據計算:在商務、科學和社會領域創(chuàng)建革命性突破》,詳盡闡述了大數據對社會治理的推動作用,及其潛在的商業(yè)價值。大數據正式進入世界最具有價值和影響的技術行列。
2009 年,美國政府為構建開放、透明機制,啟動 Data.gov 網站向公眾開放多種政府數據,包括交通、經濟、醫(yī)療、教育和人口服務等。2012 年,Data.gov 已累積來自 172 個政府機構的數據集,數量從2009年的47個暴增至40萬個以上,催化美國政府推出相關政策,加速大數據技術發(fā)展。
大數據產業(yè)迎來其發(fā)展的大時代
三、為什么要研究大數據
大數據精準營銷:2015 年,亞馬遜市值第一次超越沃爾瑪,當前前者市值更是后者的三倍多,而亞馬遜銷售額中有 1/3 是依托大數據精準營銷產生。通過記錄顧客瀏覽網站時的行為數據,如所搜關鍵詞、到訪頁面、關注商品、購買訂單,以及不定期舉行活動引導客戶明確喜好,如主題投票,亞馬遜搜集并分析客戶屬性、興趣、需求,利用聚類等大數據模型為客戶群體推薦合適商品。
大數據提供更加優(yōu)化的服務方案:以色列的環(huán)境比中國大西北更惡劣,但將大數據引入農業(yè)后,以色列成為了“歐洲的廚房”。憑借較高的信息化和數字化基礎,以色列農業(yè)技術公司利用大數據幫助農民根據農場的具體情況采用更加個性化的耕種方案。如 Taranis 公司利用大數據分析法推出包括預測天氣、灌溉和病蟲害狀植物模型技術,指導農民合理灌溉、殺蟲;AKOL 公司更是將不同區(qū)域農民工作習慣等人為因素納入農作物生長及環(huán)境狀況的大數據分析范疇,進一步優(yōu)化方案。
大數據幫助金州勇士隊實現質的飛躍:在體育界,植入科技和大數據之后,美國金州勇士隊在短短幾年內就實現了從一個“爛”球隊到NBA 總冠軍的飛躍。勇士隊老板拉科布作為數據分析的堅實擁躉,把數據分析思想充分融入到球隊的訓練之中,最先引入球館錄像和分析系統,同時其團隊統計歷年NBA 比賽,發(fā)現最有效的進攻是眼花繚亂的傳球和準確的投籃,并創(chuàng)造了三分球新打法,助力勇士隊快速成長。
大數據的價值不可估量:正如《大數據時代》所言,大數據開啟了一場重大的時代轉型,就像望遠鏡讓我們感受到宇宙,顯微鏡讓我們能夠觀測微生物,大數據收集、分析海量數據幫助我們更好地理解世界,是眾多新發(fā)明和新服務的源泉。如今,數據已經成為重要的商業(yè)資本,可以作為前期投入創(chuàng)造實際經濟價值,此外,大數據也撼動著醫(yī)療、教育、人文、社交等世界的方方面面……其社會價值亦不可估量。
四、大數據發(fā)展的基礎
一、數據積累
在互聯網快速普及、物聯網加速滲透的背景下,PC、手機、傳感設備等全面興起,推動全球數據呈現倍數增長、海量集聚的特點,為大數據產業(yè)發(fā)展奠定了龐大的數據基礎。根據IDC統計,2011年全球創(chuàng)建和復制的數據總量為1.8ZB,2016 年這一規(guī)模為16.1ZB,預計2020年將達到44ZB,在其《數據時代2025》白皮書(希捷贊助)中,更是預測到2025年,全球創(chuàng)建和復制的數據總量將擴展至163ZB(1ZB 等于1萬億GB)。
二、算力提升
同時,處理如此規(guī)模的數據量也對算力提出了巨大的挑戰(zhàn)。所幸,摩爾定律推動處理器性能不斷提升,GPU、FPGA、TPU 等高算力芯片不斷涌現,為大數據產業(yè)發(fā)展保障了迅速的處理能力。在Google I/0 2018 開發(fā)者大會上,谷歌發(fā)布了第三代 TPU處理器,基于TPU 3.0 的新運算陣列 TPUv3 Pod 性能相比TPUv2 Pod 有8 倍提升,運算速度可超100PFlops(PFlops:每秒千萬億次浮點計算)。
違法和不良信息舉報投訴電話:0377-62377728 舉報郵箱:fbypt@www.hnzzxinda.com