海量資料飆速成長 (2013-10-11 財訊快報 【文/鄭威宏】)

隨著時代的改變,現代化作戰的武器不可能再拿刀拿槍,取而代之當然是高科技武器,同樣的道理,放在商業模式勢必也會出現大轉變;雖然台灣社會普遍對於海量資料(Big Data)處理還不熟知,但海量資料處理不僅能在網路上了解客戶的消費經驗,捕捉行為科學,讓企業深入地了解客戶的樣貌,不論是蘋果、臉書,或是總統大選都已大量應用海量資料處理來分析,在美國社會掀起滔天巨浪。

高品質檔案傳輸環境成熟

事實上,海量資料已與大家的生活息息相關。近年來隨著3G智慧型手機的普及(4G隨侍在後)、APP應用、電子商務的盛行、社群網路的大行其道、雲端伺服器應用增加等因素使然,不僅增加消費者對於網路世界的黏著度,同時也提高消費者對於資料傳輸的使用頻率,加上高品質檔案傳輸環境成熟,大幅提高網路上的資料傳輸量,這些都是海量資料的主要來源。

因此,研究機構IDC指出,2012年全球數據流量約5EB(約10億GB),但預估到了2017年,將成長300%至21EB,而且,到2020年前數據流量的平均年複合成長達1020%。

不過,以谷歌(Google)為例,每天處理資料量高達24PB(1024 Trillionbyte),但在沒有海量資料處理能力之前,根本無法達到處理這種資料的本事,最終大批的資料庫變成苦無用武之地,加上儲存成本上的壓力,只好選擇割捨。

不過,谷歌身為全球搜尋引擎龍頭,當然有它的道理。20032004年間,由谷歌發表了兩篇論文「The Google File System、MapReduce : Simplified Data Processing on Large Cluster」開始,敘述谷歌如何利用MapReduce演算法來計算查詢索引,讓使用者能在最短時間從網際網路上取得自己查詢的資料,也讓海量資料處理開始浮上檯面,是海量資料最早的應用之一。

不過,後續學者開始大力著墨,Doug Cutting(又被稱為Hadoop之父)參考上述谷歌二篇論文為藍圖,演變成一套如何儲存、處理、分析TB至PB等級的資料處理方法-Hadoop,而Hadoop又是一個免費且開放原始碼的分散式檔案系統,可以用於各種不同電腦之間,總和成為單一電腦系統進行平行運算,不僅全球最快的運算系統,也是當今海量資料處理最主要的基礎架構,就如同一般消費者筆電中的Windows作業系統。

而且,Hadoop更可怕的不只是能處理1TB以上的海量型資料;過去的資料處理領域多為局限在結構化資料(指資料經過分析後可分解成多個互相關聯的組成部分,各組成部分間有明確的層次結構),但Hadoop還能加入非結構化資料的分析能力,像是log紀錄檔、日誌、照片、聲音、通訊紀錄或電子郵件等,過去不易且昂貴的儲存、處理、分析的資料,現在都得到解決方法。

決戰非結構資料處理

過去結構化資料約占總量的15%,但半 非結構化資料卻高達85%;也就是說,有了Hadoop的出現,不但能讓現有的資料處理能力以倍數增加,而且這種半 非結構化的資料就像一個新發現的礦山,處處充滿商機,更是讓海量資料威力發揮得淋漓盡致。

舉例來說,如果消費者要去實體商店消費,服務認真一點的店家會記錄消費者的最終消費情形,未來有新品或店家以直接提供相關產品的試用等,但消費者走向虛擬店家(電子商務)後,不僅是最終的消費紀錄,像是曾在網頁上點擊過什麼樣產品、停留時間、購物順序等都會被記錄下來,不僅能提供給下一個同性質的客群添購上的推薦參考,而且,別人的消費選擇也會再次回饋,以便同一位消費者再次光臨。

近期最夯的例子是美國最大線上影音出租服務公司Netflix(NFLX.US),過去被網路非正版授權片衝擊,每股股價從上市時的200多美元,大跌至50元附近,但在使用海量資料分析後,網站推薦給客戶的影片中,10部有7.5部會被消費者採用,大大減少行銷成本及提高營收外,還增加Netflix與客戶間的黏著度。難怪Netflix股價再從去年中旬的50美元,漲至目前超過300美元,創掛牌後新高。

商機每年以六成速度成長

目前海量資料處理已在美國市場蔚為風潮,不論是大到總統選戰,小到農場對於擠牛奶的策略,都已有海量資料處理的影子。據Gartner指出,全美已有三成的企業開始採用海量資料處理方案,較2012年成長3%,而且,計畫未來兩年採用的業者達34%。因此,說海量資料處理已變成全美商業模式的「高科技武器」,一點也不為過,未來沒有這項武器的企業,就像是由湯姆克魯斯演的「末代武士」一樣,注定用武士刀對抗西洋大炮。

因此,可以預見海量資料市場勢將快速擴大,根據Wikibon研調資料指出,預估2016年底,全球海量資料處理市場將成長至534億美元,較去年底整整成長超過十倍,換算成年複合成長率高達59.9%,可說是超快速成長的市場。

回過頭來,海量資料市場商機為何?首先理所當然就是通路或品牌業者,未來包括產品設計、廣告行銷都會越來越精準,Netflix就是最佳例子。另外,電子商務業者未來有了海量資料處理的幫助,對於客戶經驗及行為模式的掌握也就更高,對於實體商店也將形成無形的營運壓力。

若將商機角度轉至海量資料「處理」上,可分為軟、硬體及技術服務三大塊市場,就Wikibon統計,軟、硬體分別占市場約為25%及31%商機,而技術服務市場則高達44%,為單一最大營收來源的區塊。

軟體服務方面,Hadoop作為系統軟體,延伸出的應用軟體,目前國際上規模較大的業者,包括致力於提供靈活的BI(商業智慧)產品,提供混合搜索引擎和分析引擎,為商業決策供給協助的Oracle Endeca,或是致力於監測、搜尋非結構化資料,並能夠進行即時分析客戶體驗,幫助企業提高用戶黏性的Splunk。

目前國內最大系統整合商─精誠,代理Splunk近四年中,成功以Splunk為基礎下,自行開發Etu(電子商務業者使用)及m Factory(電信業者使用)分析企業寶貴且龐大的資訊。(全文未完)

本文詳情及圖表請見《財訊快報季刊》201304期
或上http://weekly.invest.com.tw/edm/20131008_04NAP/index.html訂閱;內有當期更多精彩的文章
◎名家視野:後QE亞洲貨幣難啟戰端
◎國際脈動:歐洲經濟回春遍地開花
◎趨勢在握:不能錯過的8大趨勢產業
◎強股出擊:東陽枕戈待旦迎曙光
◎理財焦點:興櫃獲利一條龍3絕紹
其他相關雜誌文章
日股利多加持有檔頭( 2013-10-11 財訊快報)
前進新經濟概念股( 2016-01-22 財訊快報)
機場捷運 好事多磨( 2013-04-15 財訊快報)

 
加密貨幣
比特幣BTC 13549.25 2.73 0.02%
以太幣ETH 384.05 1.23 0.32%
瑞波幣XRP 0.238593 0.00 -0.25%
比特幣現金BCH 261.20 -0.63 -0.24%
萊特幣LTC 53.85 0.01 0.02%
卡達幣ADA 0.092791 0.00 -0.62%
波場幣TRX 0.025435 0.00 -0.75%
恆星幣XLM 0.078703 0.00 2.53%
投資訊息
相關網站
股市服務區
行動版 電腦版
系統合作: 精誠資訊股份有限公司
資訊提供: 精誠資訊股份有限公司
資料來源: 台灣證券交易所, 櫃買中心, 台灣期貨交易所
依證券主管機關規定,使用本網站股票、期貨等金融報價資訊之會員,務請詳細閱讀「資訊用戶權益暨使用同意聲明書」並建議會員使用本網站資訊, 在金融和投資等方面,能具有足夠知識及經驗以判斷投資的價值與風險,同時會員也同意本網站所提供之金融資訊, 係供參考,不能做為投資交易之依據;若引以進行交易時,仍應透過一般合法交易管道,並自行判斷市場價格與風險。
請遵守台灣證券交易所『交易資訊使用管理辦法』等交易資訊管理相關規定本資料僅供參考,所有資料以台灣證券交易所、櫃買中心公告為準。 因網路傳輸問題造成之資料更新延誤,精誠資訊不負交易損失責任。