












最新內容
http://www.86xian.com 發布日期:2013-12-06 中關村多媒體創意產業園 關注度:
http://www.bjmmedia.com.cn
摘要:隨著移動互聯網用戶流量激增,手機數據化、寬帶化趨勢明顯,4G、M2M也大大加快了移動網絡數據業務和流量增長。面對巨大流量,移動運營商面臨巨大的挑戰。借助云計算技術和運營商優勢,發揮管道優勢,促進業務創新,將大數據信息轉化為商業價值是電信運營商目前的當務之急。
2013中國大數據技術大會(Big Data Technology Conference,BDTC)上,中國移動通信有限公司研究院業務支撐研究所所長孫少陵為我們分享中國移動在大數據這方面的一些觀點,以及中國移動的一些實踐。
目前IT發展最熱門三個詞,移動互聯網、云計算和大數據。
移動互聯網目前的發展趨勢
昨天工信部正式向中國移動、中國聯通、中國電信三家發布了4G的牌照,也意味著中國正式啟動了4G無線寬帶的時代。全球移動互聯網用戶數的增長非?,比傳統互聯網增速高三倍。
流量增長的情況
移動互聯網流量增長速度也非常快,到2012年底移動互聯網流量占比超過整個互聯網的13%。在現代手機端移動通信里面現在出現了一個2/8的分布:現在用戶使用移動互聯網上網的業務和傳統的通信業務(打電話和發短信)這個時間比變成了8比2的關系。對于運營商來講最主要的變化是變成了一個主要提供流量的運營商。從提供流量和從提供話音短信的價值來看這個有一個測算,也就是說移動通信網它的話音投入產出比大概是流量數據投入產出比的5到6倍,所以對移動運營商來說直接的挑戰,就是用什么樣方式,彌補原來在電話和短信上流失的價值。
孫少陵覺得不管是云計算、大數據還是移動互聯網,某種意義上給移動運營商都帶來了機遇,如何抓住這個機遇運營商還需要做很多事情。
4G和物聯網對整個移動通信數據的增長帶來了非常大的促進作用:首先,移動通信4G的帶寬基本上可以達到50到100兆,不久的將來我們在任何地方使用手機,使用移動網絡的感覺就跟在家里使用wifi是一樣的。所以說移動通信帶寬迅速放大實際上給整個流量的增長帶來了很大的推動作用。
M2M
從某種意義上來說,通過物聯網可以社會信息化觸角延伸到任何一個角落。過去的通信主體更多是人,現在很多東西包括我們平時在生產過程當中使用的一些裝備,包括我們監測交通、監測天氣等等,都是有M2M的設備不斷地采集各種各樣的信息。這里也有一個預測數據,2014年物聯網的終端設備跟智能終端的設備將在數量上持平,這兩個趨勢將為大數據帶來一些變化。
關于大數據產業與領域優勢分析
誰在提供大數據服務?誰適合進行大數據業務?我們首先想到互聯網公司,實際上互聯網公司就是數據公司。根據百度前兩天提供的數據,它的數據量現在大概有一千個PB的規模,每天處理幾十個PB,互聯網公司在數據利用上面走得很快,它真正通過數據的利用產生價值,顛覆了很多傳統產業。但某種意義上不是和傳統行業在既有商業模式下競爭,可以通過對數據的把握,數據的挖掘通過變通的方式獲取價值。
電信運營商具有很大的數據挖掘潛力,目前來說運營商數據的商業利用主要有三個大方面:一、改善用戶體驗。二、助力市場決策。三、優化網絡質量。
用戶體驗運營商要向互聯網學習。運營商都在提供增值業務,中國移動有飛信、有音樂,還有139郵箱等等,在產品設計、系統優化和UI交互式的優化方面,其實還有一些比較傳統的手段,比如找客戶做市場調研之類的。但互聯網公司是很少做這個事情,用戶每天的訪問,能發掘社會很多的特征,挖掘出用戶的消費取向,這個為產品設計帶來最真實的第一手資料。這一點運營商也在變化,通過對于數據的統計、分析、挖掘來進行業務推薦、客服、建立知識庫為整個產品的創新提供支撐。
市場營銷的支撐。運營商有幾類數據,首先是用戶帳號,現在基本上手機都是實名制,用戶在運營商登記的帳號信息有年齡性別等等,是比較真實的最基礎的數據。第二是協議類型,例如你使用什么套餐,什么業務,你是使用流量高的還是話音高的,你每月消費量多少,其實這里面可以體現出很多東西,比如說你的消費能力,一個月消費10塊錢和一個月消費1000塊錢的用戶,消費能力肯定不一樣,這種消費能力延伸開了可以幫助你做其他方面業務營銷的支撐。第三是業務類型,比如說這個用戶選擇中國移動的游戲類或者閱讀類、音樂類,都代表他個人的一些興趣愛好、特點和取向。第四是訪問的URL,用戶經?词裁淳W站?比如說經?大w育類的網站,這里我們就會發現這個用戶可能對體育類的產品和相關服務會有興趣。第五是終端信息,因為我們實際上在網絡上可以通過各種渠道獲取用戶在使用什么樣的終端。這個終端信息一方面來說對運營商自己做業務來說非常重要,因為每個終端的能力不一樣,每個終端的特征不一樣,就是每個終端適合使用的業務不一樣。
中國移動是有自己的終端公司的,什么樣的終端好賣?用戶喜歡終端什么樣的功能?什么樣的特征?對我們自己使用開發終端也有價值。還有上行下行的流量,通過這些數據首先我們可以分析流量,就是說我所有的業務在所有網絡當中流量流向變化情況,這里面也許蘊藏著某種信息。比如說什么地方發生了一個比較大的事件。舉個例子,前一段時間四川的地震,四川那邊電話局立馬負荷飛速的往上漲,流量流向可以通過這個發現。用戶行為的分析,移動通信有位置信息、地理信息,手機號碼可以知道你的注冊地,我既知道你常駐在什么地方,又知道你經常漫游在什么地方,所以這方面數據非常有意思。還有流量,一些帳單的查詢,用戶對流量消費非常關注,他希望有詳細的上網記錄可以查詢之類的,為了提供用戶透明消費支持等。
優化網絡質量。作為運營商中國移動一直強調的服務是電信級,全年的可靠性在五個九。中國移動很大一部分員工在做線網的監控,線網監控一方面比較耗人,另一方面網絡結構越來越復雜,層次越來越多,一旦發生故障到底出在什么地方很難查找。大規模的數據挖掘可以幫助做網絡的故障定位和故障排查。IP網和無線網送來大量的日志數據,這個日志數據通過模型建立、分析,確實對網絡運營成本有比較大的降低。
在運營商的實踐過程當中,中國移動對數據挖掘,數據處理,數據分析的實時性需求越來越迫切。
第一,實時這種流式數據的處理。數據有動態產生的特征,這是大數據的特點。這種數據動態產生,我們不能等到批量產生、批量處理,很多數據稍縱即逝,跟位置和時間的關聯性非常強,我們必須及時處理,來了數據處理,處理完馬上送上去,也許馬上使用,流式處理在解決這樣的問題。
第二,海量數據的快速處理。要實現這種交互式。中國移動現在有些省公司在做整個公司的生產分析時,不再依賴花好幾天時間整一個報告把數據報上來,而是有一套系統,這個系統里面你可以看到當月所有生產的數據,KPI數據,他的收入,用戶增量,流失量,可以挖掘到每個小區帶來多少收入,每個地市、縣區、每個基站帶來多少收入,流量是多少。這個需要一個快速海量處理。對于大量的IO操作限制了對于交互式的快速反應。現在圖計算更多是通過消息而不是通過IO的文件方式做數據處理。像內存式的計算結合很多新的系統,像SLD、CSIO這些東西,可以在這方面做很大提升。
在中國移動內部,是把云計算和大數據放在一塊說的,在中國移動傳統體系架構里面,很大程度上依賴于昂貴商用的硬件和軟件,如現在交易數據庫還有分析型的數據庫大量使用甲骨文、DB2等商業數據庫。使用小型機服務器,像EMC昂貴盤陣的系統。這種架構實際上存在幾個問題:第一個在非結構化處理方面能力不足,第二系統成本非常高,中國移動小機的數量可能比PC數量還高。第三硬件平臺的兼容性很差,惠普的硬件跟IBM的系統,沒有辦法做無縫的跨平臺。第四個擴展性,傳統的系統都是屬于TB級系統,支持PB級分析交易能力是有限的。所謂云計算,中國移動認為你要把這種商用的硬件盡量用消費級的產品,就是說我們像X86、還有RM等等這樣一些PC服務器用它代替,把整個系統的架構改成橫向擴展的方式。
在Hadoop正式發布之后,半年時間中國移動啟動了相關研發工作。在國內,中國移動介入Hadoop比較早,后面也在不斷的進行跟蹤,也參與每年在美國的Hadoop會議,同時在Hadoop社區這種開源社區積極提交。為了支持云計算和大數據的研究和開發,目前實驗室里把這個系統擴到了一千多個節點。
中國移動的大云產品,融合了云計算和大數據兩方面的工作,大數據方面我們同時關注分析型的產品和交易型的產品。分析型產品目前主要基于Hadoop,在Hadoop這塊目前結合自己需求做中國移動的分支BCHadoop,所以現在把BCHadoop也做了一個開源,在今年CCF的創業大賽上,中國移動出的這兩道題基本上在中國移動BCHadoop上進行實現。另外在Hadoop基礎之上做了做了一個數據倉庫和一個數據挖掘系統,主要基于中國移動自己的經營需求做了分類規則等等的方法,在社區文本挖掘方面做了相關算法和工具,在搜索引擎方面也做了一些工作。
在交易類的產品目前中國移動在內存的數據庫上,內存的KIH還有流式計算,還有分布式的交易數據庫等方面都在開發,也在線網做了試點,這方面借鑒像淘寶等互聯網公司的經驗。
運營上在大數據的使用上面中國移動都會做一些什么樣的工作?
第一個在網絡優化方面,正如前面所述;第二精準營銷方面,實際上在移動通信和移動互聯網方面,市場競爭是很激烈的。現在移動運營商,像中國移動提出來一個微營銷,微營銷就是要關注你每一個用戶的特點。營銷動作要根據每一個不同用戶進行差異化。我們基礎必須有一個大數據,對用戶進行精確的畫像,對線網發生動作及時采集快速反映。這里舉幾個案例,像位置類的業務,我們運營商經常有時候會在某一些營業廳有特定終端的優惠套餐,這樣回饋用戶的營銷活動。比如說有一個用戶移動到離營業廳比較近的小區,從我們市場部門希望給用戶推送一個消息,告訴你說我營業廳正在做某一個業務的推薦。當然做這個事情的前提你不能沒事去給用戶推送這些消息,因為現在大家對垃圾短信很反感,所以你怎么知道這個用戶對你終端和套餐感興趣,這需要有后臺處理和挖掘的工作。比如說這個用戶目前使用終端類型是什么?過往幾年使用的終端是什么?某種意義上可以透露這個用戶是不是特定某一個品牌的忠實粉絲。還有最近這個用戶是不是在網上游覽跟這個特定手機相關的網站,所有這些東西其實有可能讓我們了解這個用戶會不會對三星和蘋果的手機感興趣。同時它要發現這個用戶經過我的小區在很好時機把這個消息推送下去,他要走到別的地方這個消息最佳時機就失去了,這是實時分析實時采取動作一個典型的案例。
還有一個案例比如說像有一些用戶他經常出差去某一個地方,我們有兩城一家的套餐,你定這個套餐整個漫游費長途費沒有了,對這些用戶你要有識別。這個用戶經常到某一個城市,他在機場開機你可以推送一個消息告訴他說這個套餐可以為你省錢。我們還有很多新的業務,比如說中國移動去年推出的靈犀,實際上是用戶人機對話的系統,某種意義上有點像自動化的客服系統,這個系統用了云識別,實際上后臺有一個比較大的數據庫,這個需要我們把很多知識結構化,然后在后臺能夠快速為用戶提出的問題找到相關的答案。
還有物聯網,物聯網剛才我們說了它實際上每天都在送大量的信息。比如說我們在無錫那邊做過太湖藍藻的監測物聯網應用,它需要對數據實時的采集、實時的處理。中國移動在國內國外開源和標準化方面做了很多工作,就是跟Hadoop相關主要我們現在建立了一個開源社區。最主要原因是什么?運營商在使用Hadoop的時候往往有它自己的一些特點。我們首先把一些線網急需的需求在我們自己的分支里面實現,同時推動主線逐漸把它移植進去。
最后孫少陵所長對大數據的進行展望,指出,大數據的未來是機器智能,是真正大數據未來發展的終極目標,F在像谷歌等在deep learning方面做了很多的公司,像人機交互、語音識別也是大數據廣義的范疇,通過機器來學習知識,把數據形成知識,知識變成智能,真正給我們社會信息化做出推動的作用。
責任編輯:Mary
(來源:機房360)