數(shù)據(jù)分析幫助Otto集團實現(xiàn)了準確的銷售預測。 忘記“老大哥”吧，現(xiàn)在監(jiān)測著全世界的是“大數(shù)據(jù)”。各國政府和各大企業(yè)都發(fā)現(xiàn)，設計好的算法可從數(shù)據(jù)中挖掘無限潛力，預測到你下一步會買什么，不法分子將在何時實施犯罪，甚至可能幫助治好癌癥。但和所有技術一樣，“大數(shù)據(jù)”也有副作用。

　　溫暖的春日黃昏，從科爾布蘭德大橋俯瞰漢堡港，眼前風景猶如明信片：易北河在夕陽下閃著金光，起重機和卡車緩慢地移動著，不時有集裝箱船靜靜駛過。但在塞巴斯蒂安?薩克斯看來，這個地方卻是一個錯綜復雜的方程式。漢堡港占地7200公頃。每天約有200列火車經過300公里的鐵路和130座大橋把貨品運過來上船。作為漢堡港管理局(H PA)的首席信息官，過去4年半里，薩克斯擔負著優(yōu)化物流的重要任務。

 

　　土地面積有限，再擴張不可能。但漢堡市議會已經宣布，到2025年漢堡集裝箱吞吐量將達到現(xiàn)在的3倍。為完成這一任務，薩克斯及其領導的60人IT團隊需要最大程度地利用另外一個資源：數(shù)據(jù)。

　　他手頭有很多數(shù)據(jù)。現(xiàn)在漢堡港遍布傳感器，卡車和貨車不停地報告自己的位置，集裝箱船報告著自己的位置和速度，科爾布蘭德大橋也裝上了傳感器，持續(xù)監(jiān)測著港口交通。

　　“我們的目標是建成互聯(lián)的智能港口，”薩克斯說。比如鐵路吊橋不再定期開啟，僅在有船來時才打開，以免造成鐵路不必要的延誤;科爾布蘭德大橋可以通過傳感器報告橋體狀況，便于安排維修保養(yǎng);最終整個港口將成為一臺龐大的自我控制機器，薩克斯希望建成港口信息交換系統(tǒng)，船運公司可以預測其集裝箱何時能從水中上岸，時間精確到分鐘。

　　世界上其他許多企業(yè)和H PA有著同樣的目標。“老大哥”這個詞兒已經過時，大數(shù)據(jù)將實現(xiàn)對人類生活的全面控制和管理。牛津大學教授維克托?邁爾-舍恩伯格等人稱之為一場“革命”，認為大數(shù)據(jù)將改變我們的工作環(huán)境，甚至是思維方式。

　　數(shù)據(jù)正以空前速度增長，2012年約有2 .8澤字節(jié)的數(shù)據(jù)被創(chuàng)造出來(一澤為1，000，000，000，000，000，000千字節(jié))。專家估計，到2020年數(shù)據(jù)總量將達到40澤字節(jié)。人們每天傳到網上的數(shù)據(jù)要大約2.5億張D V D才能儲存，而且每兩年這個數(shù)據(jù)量就要翻一番。

　　但數(shù)據(jù)的超大規(guī)模并非最重要因素，最大的不同的地方在于企業(yè)、政府部門和研究者開始以全新方式對數(shù)據(jù)進行分析。由于現(xiàn)今存儲空間的成本幾乎可以忽略不計，越來越快的電腦可隨時將海量數(shù)據(jù)互聯(lián)。運算法則為混沌的數(shù)據(jù)創(chuàng)造秩序，進行深度挖掘，揭示出新的模式。

　　盡管對大多數(shù)人來說，“大數(shù)據(jù)”這個術語沒有多大意義，但運算法則的影響力早已無所不至。信用卡公司能迅速識別不尋常的刷卡消費，及時向持卡人發(fā)出警示;能源公司分析天氣數(shù)據(jù)，為風力發(fā)電設備確定理想安裝位置，甚至精確到米;自斯德哥爾摩使用算法管理交通以來，駛經城市中心區(qū)的汽車減少一半，尾氣排放減少10%;近來在線電商開始運用數(shù)據(jù)分析來優(yōu)化其銷售策略，由此催生了那句廣為人知的話：“購買了該商品的顧客同時還購買了……”

　　Google和Facebook是十足“大數(shù)據(jù)”，其商業(yè)模式正是收集、分析和營銷用戶信息資料，廣告投放也盡可能為具體個人量身定制。對Facebook的投資者來說，這龐大的數(shù)據(jù)庫及其利用潛力至少價值1000億美金。

　　把數(shù)據(jù)寶庫轉換成真金白銀的前景激發(fā)了眾多行業(yè)的美好夢想。根據(jù)行業(yè)協(xié)會BIT COM發(fā)布的數(shù)據(jù)，2012年全球與大數(shù)據(jù)運用有關的銷售額高達46億歐元，到2016年更可望增加到160億歐元。醫(yī)藥和科學領域也開始進行大數(shù)據(jù)應用實驗，在公共領域，警務部門和安全部門本來對IT不太積極，如今也意識到大數(shù)據(jù)應用的好處。

　　大數(shù)據(jù)吸引到這么多關注，關鍵在于超快速分析。事實上，運算法則能對人類行為進行驚人準確的預測，2010年，Google根據(jù)用戶搜索成功預測一波流感爆發(fā)，美國數(shù)據(jù)專家耐特?席爾弗比所有人口統(tǒng)計學家都更早、更準確地預測了上一次美國總統(tǒng)大選結果。一些城市甚至對特定街區(qū)發(fā)生罪案的可能性進行預測，名為“警務預測”。科學家還表示，利用手機定位插件和通訊錄資料，他們將能在一定程度上預測你我明天或未來一年內某個時間段會在哪里。對一些人來說，這種前景或許沒有什么吸引力，不少人卻已經從中受益：在線交友網站用運算法則分析大量問卷，以提高為用戶找到另一半的幾率。各大公司、實驗室及一些政府部門也對此趨之若鶩。在很多地方，數(shù)據(jù)被稱頌為21世紀的“石油”或“黃金”。一些人已經淘得了真金：統(tǒng)計學家、物理學家和所謂的“數(shù)據(jù)挖掘專家”，為公司提供大數(shù)據(jù)應用方面的咨詢服務。正如19世紀淘金熱中一樣，那些出售設備、工具和專業(yè)技術的人賺到了大錢，成立5年、擁有85名員工的遠藍公司(BlueY onder)就是一個例子。

　　尤偉?維斯看上去并不像個神棍，但總在重復一句話：“我們的工作就是提供各種預測。”作為遠藍公司的總經理，他預測時靠的不是塔羅牌或者無辜動物的內臟，而是超市收銀機、天氣、休假安排和交通報告等產生的數(shù)據(jù)。這些數(shù)據(jù)全都匯入遠藍公司開發(fā)的分析軟件，據(jù)該公司宣傳，該軟件可為客戶―――如全球最大的郵購公司之一Otto集團―――提供“精確預測”，比如某種具體商品的銷量。對于零售業(yè)來說，這至關重要，因為可以避免運輸問題，盡可能地壓縮倉儲成本。

　　通過數(shù)據(jù)分析，維斯及其手下會發(fā)現(xiàn)，連鎖超市某個分店牛奶、巧克力及蘋果的銷量會在某些日子大幅提高，然后將這種現(xiàn)象跟附近青年旅舍新入住了一幫學生聯(lián)系起來。現(xiàn)在軟件就利用學校假期安排等數(shù)據(jù)，計算滿載學生的大巴在某個時段抵達的可能性。

　　遠藍利用不斷流入的新數(shù)據(jù)開發(fā)出一個針對購買行為的即時市場研發(fā)系統(tǒng)，連鎖藥店則讓團隊幫忙計算各店最佳人員配置以及銷售預測。保險公司同樣對數(shù)據(jù)分析感興趣，維斯描述了一個“未來場景”：一輛配有1000多個傳感器的汽車不斷監(jiān)測駕駛員的駕駛行為，那些同意向保險公司提供數(shù)據(jù)供其進行風險分析的駕駛員可以享受特低的保險費。“大數(shù)據(jù)正在改變整個經濟，一切剛剛開始。”美國最大在線DVD租賃商Netflix擁有3.6億用戶，最近它的《紙牌屋》收視率創(chuàng)下紀錄。此劇的成功絕非偶然，在購買版權之前，Netflix進行了數(shù)據(jù)分析。它有理想的條件采取這種辦法：它知道哪些劇目走紅，哪個演員特別受歡迎，觀眾什么時候開始厭倦，每天都有數(shù)據(jù)。事實證明，分析和預測很成功，《紙牌屋》非常合乎Netflix觀眾的口味。一些音樂門戶網站通過類似手段取得成功，它們向合作唱片公司提供聽眾音樂口味和收聽行為等即時數(shù)據(jù)，樂隊就可以策劃到最追捧自己作品的地方巡演。

　　大數(shù)據(jù)還在其他方面造福社會。在德國漢索-普拉特拉(HPI)學院，有一個價值150萬歐元的“超級大腦”―――由25臺電腦構成，每臺電腦擁有40個處理器―――令無數(shù)癌癥患者看到了希望。科學家已經發(fā)現(xiàn)，每個腫瘤都不同，這意味著同樣的治療可能對人產生不同的影響。上上之選是通過分析病人的基因組，拿出個性化醫(yī)療方案，但這通常要數(shù)月時間，因為一個人的DNA包括大約30億個堿基對。HPI負責人克里斯托福?梅奈爾說，通常來說，通過分析一個人的基因組、拿出個性化醫(yī)療方案需要數(shù)月時間。而HPI這個“超級大腦”與常規(guī)分析系統(tǒng)不同，待處理數(shù)據(jù)不是放在硬盤上，而是全部放在內存上，采用全新的內存數(shù)據(jù)庫技術(In-Memory)，將處理速度提高了上千倍，基因組分析可以縮短到幾秒。而且它還利用晚上時間從公眾基因庫內提取信息，以相關病例為參考，尋找存活率高、生活質量最佳的治療方法。“不久前這個對比過程還要數(shù)月時間。”H PI負責人梅奈爾說。

　　與此同時，英國曼徹斯特大學的研究者正在研發(fā)“神奇地毯”，目的是幫助獨居老人。這個設備像普通地毯一樣安裝在地板上，內有傳感器，可記錄老人的腳步，借此分析老人的生活是否與平常有異，比如是否照常起床。如有異常，就會觸發(fā)警報。科學家還可以擴大這種技術的應用，比如裝到人工髖關節(jié)中。

　　學生斯蒂芬·漢斯曾想通過下賭體育比賽賺點小錢。他寫了一個小程序，希望精確預測足球賽比分，但是效果不太好。

　　漢斯10歲得到第一臺電腦，13歲時開始寫程序。3年前，20歲出頭的他在達姆施塔特工業(yè)大學學習，發(fā)現(xiàn)數(shù)據(jù)眾包網站K aggle―――企業(yè)會出錢購買上面的數(shù)據(jù)解決方案。漢森選擇了一個汽車經銷商發(fā)布的任務：對二手車的轉售前景進行預測。他設計了一個算法，將大量關于二手車的細節(jié)納入一個“有意義的框架”，數(shù)據(jù)包括初始注冊信息、行程里程數(shù)、年行駛里程數(shù)等。全球共有571個團隊參與競逐，獎金1萬美元，漢斯的程序最終排名第六，這讓他精神大振，勇往直前，成了K aggle上面最成功的算法設計師之一。

　　迄今他取得的最大成就是寫了一個能夠自動、可靠地評估學生論文的程序，也就是一個“打分機”。他花了一個半月，寫成12000行代碼，它可以計算拼寫和語法錯誤率，甚至能評估文章中含有多少情緒成分。比賽結束前一周，為了增加勝算機會，他和另外兩名選手聯(lián)合。最后3人贏得了比賽，獲得了6萬美元獎金。 “測試表明，程序的評估得分跟教師的評估差距不大，”漢斯說。后來3人將軟件賣給了美國公司Pa-cificM etrics，現(xiàn)在漢斯正在撰寫碩士論文，未來一片光明。

　　但是，也有人的生活因為大數(shù)據(jù)應用而變得艱難。不久前，一名偷車賊在美國加州桑塔克魯茲市一個地下停車場準備下手時，完全沒想到幾米外一輛普通汽車里有一名警察正在吃午餐。還沒來得及完成犯罪，他就被捕了。

　　但這位警察之所以在正確時間出現(xiàn)在正確地點，并非偶然。那一天，他是在一個電腦程序的推薦下，專門到停車場來吃飯的。

　　過去兩年來，桑塔克魯茲市約有100名警察每天換班時不僅接受長官的指揮，還接受一種算法的安排。該程序每天搜集警察身上設備傳送來的大量數(shù)據(jù)，計算特定時段和街區(qū)的犯罪可能性，將15個最危險街區(qū)列成一個矩陣。它所預測的犯罪事件中，有三分之二最終真的發(fā)生了。“有10%我就很高興了。”桑塔克魯茲警察局副局長斯蒂夫?克拉克說。

　　計算機科學家喬治?莫赫勒和專門研究犯罪的人類學家杰弗瑞?布蘭汀漢姆基于震后場景預測模型設計了這個程序。2011年初，克拉克偶然聽說了兩位學者的創(chuàng)意，3人一起設立了一個實驗性項目。他們將過去8年的犯罪數(shù)據(jù)輸入程序，還有其他可能的相關數(shù)據(jù)，如天氣和交通資料。此外，程序還將每兩個犯罪關聯(lián)起來。

　　“最初很多人表示懷疑，包括我。”克拉克說。“但是數(shù)據(jù)自己會說話，它的確有用。”克拉克說，犯罪預測系統(tǒng)投入使用一年后，入室行竊減少了11%，偷車減少了8%，抓捕率大幅上升了56%。

　　現(xiàn)在，整個市的警察隊伍都使用高科技設備，他們帶著智能手機和平板電腦，可在巡邏時訪問基于網絡的預測系統(tǒng)。上司鼓勵他們只要有可能就在“標記區(qū)域”待著，克拉克可以講述很多手下在預定區(qū)域把罪犯逮個正著的故事。

　　兩位數(shù)據(jù)專家后來成立了一家公司，在全世界推銷這一產品PredictivePolicing。光是在美國，已有十幾個警察局使用這一軟件，如洛杉磯、波士頓和芝加哥。克拉克最近正在英格蘭幫助肯特郡使用這個程序。

　　軍隊和情報機構學會利用數(shù)據(jù)分析的力量。比如，大數(shù)據(jù)在尋找拉丹的過程中扮演了重要角色，幫助鎖定他在巴基斯坦的具體藏身處。加州軟件公司Splunk 在軍情機構中很受歡迎，不久前科技記者們將Splunk評為世界五大創(chuàng)新公司之一(G oogle只排第11位)。有90多個國家的政府、機構和企業(yè)使用Splunk的產品，它在美國的客戶包括五角大樓、國土安全部。這家僅成立9年的公司用軟件分析各種機器提供的數(shù)據(jù)，包括手機基站、網絡服務器和飛機。“一架空客A 380一次飛行產生的數(shù)據(jù)相當于中等規(guī)模的計算機中心。”Splunk產品副總裁吉多?施羅德說。利用這些數(shù)據(jù)，可以幫助航空公司將燃料消耗減至最低，優(yōu)化保養(yǎng)間隔。“安全是大數(shù)據(jù)應用中最大增長點之一。”施羅德說。除了犯罪和恐怖主義，Splunk還關注越來越多的網絡攻擊。“我們正為更大規(guī)模的網絡戰(zhàn)爭做好準備。”

　　當然，數(shù)據(jù)戰(zhàn)爭不僅僅發(fā)生在軍情領域。德國新興金融機構Kreditech位于漢堡W interhude社區(qū)一棟磚房里，看上去一點都不像銀行，倒像是新興科技企業(yè)辦公室和合租公寓的混合體，兩位負責人塞巴斯蒂安·迪耶默和亞歷山大·格魯伯·穆勒也不像銀行家。這兩位自信的創(chuàng)業(yè)者認為銀行家的商業(yè)模式已經過時，他們的做法是通過網絡借錢：短期小額貸款，最高500歐元，平均每位客戶貸款額為109歐元。他們并不要求客戶提供信用證明，而是利用數(shù)據(jù)分析手段，自行評估對方欠賬的可能性。“理想情況下，審核通過后，客戶賬戶15分鐘內就能收到借款。”迪耶默說。作為回報，Kreditech希望用戶提供盡可能多的信息，信息越多，預測越精確，客戶的信用額度越高。除了可以公開訪問的eBay個人主頁，Kreditech還要求訪問客戶的Facebook主頁，這樣可以確認用戶提供的照片和住址是否與其他社交網站上的一致，好友是不是同一群人，借此判斷Kreditech是否在與一個真人打交道。除此之外，連用戶的借貸申請發(fā)自昂貴的iPad還是便宜的A ldi電腦都在評估范圍內。申請者本人的行為也有影響，比如他們花了多少時間填問卷，K reditech還會記錄對方辦輸入時出錯、使用取消鍵的頻率。

　　利用這種方式，Kreditech可以處理大量信息。該公司成立于2012年3月，擴張迅速，已在波蘭、西班牙和捷克上線，不久準備在俄羅斯開張。

　　Kreditech創(chuàng)立者不僅希望靠小額貸款和利息收入獲利，他們的真正目標是為其他公司―――如在線零售商―――建立國際性的、自我更新的信用數(shù)據(jù)庫，因為現(xiàn)行的數(shù)據(jù)庫參數(shù)更少，只反映了一個人過去的信用，就連這種數(shù)據(jù)庫在許多國家也不存在。“全球人口中幾乎四分之三仍然沒有可靠的信用記錄。”格魯伯-穆勒說。

　　除了Kreditech，德國的Zestfinance和英國的Wonga也正追尋著類似的目標，在這個尚不穩(wěn)定的市場里引發(fā)了法律和道德問題。Wonga試圖把學生從政府學生貸款那里吸引到自己的貸款項目(利率更高)里來，受到了媒體的討伐。

　　Kreditech創(chuàng)立者說，在用戶隱私問題上，他們做得無可指責。“SCHUFA(德國信用機構)會儲存數(shù)據(jù)，而我們只是使用特定申請者的數(shù)據(jù)。”此外，任何被拒申請者的數(shù)據(jù)90天后都會被刪除，公司只會保留必要數(shù)據(jù)，以便識別之前曾經被拒的申請者。

　　盡管有種種限制，投資者還是認為這種信用評價方式很有吸引力：去年12月K reditech收到400萬美元投資，今年4月一個德國基金又投入了差不多400萬美元，W onga則已籌到1.41億美元投資。

　　Kreditech的商業(yè)模式顯示了很多大數(shù)據(jù)應用可能引起的敏感問題。當然，用戶是“自愿”一步步放棄他們的數(shù)據(jù)，就像我們自愿將私人照片貼到F acebook，將我們的政治觀點發(fā)表到T w itter上一樣。每個人都是這巨大的新數(shù)據(jù)庫的提供者―――哪怕是在虛擬世界，我們也要使用會員卡來換取里程數(shù)和免費租車機會。

　　可能很多人對此并無反感，因為我們對自己的數(shù)據(jù)到底怎樣被人利用，仍然模糊不清。我們的數(shù)據(jù)被賣給了誰，賣得有多頻繁?這些購買者會遵守規(guī)則，保守秘密嗎?如果Kreditech被大公司收購，或者破產，事情將會變得怎樣?

　　當SCHUFA的信用評估者想要與HPI合伙建立一個實驗性項目時，揭示出了公眾對此類事務的反應是多么敏感。和Kreditech一樣，這個項目想要分析Facebook、Twitter和其他社交網站上的數(shù)據(jù)，但剛一宣布，就引起了抗議，只好立即放棄。

　　當很多駕駛員意識到導航設備不僅能幫他們找到最佳路線，還可以用來對他們進行分析時，就更加憤怒。荷蘭導航設備制造公司TomTom把用戶數(shù)據(jù)賣給了荷蘭政府，后者又轉交給警方，警方則利用這些信息在最能帶來收入的地方―――也就是TomTom用戶最喜歡超速的地方―――設置了限速陷阱。TomTom的首席執(zhí)行官公開道歉，說公司以為政府要這些數(shù)據(jù)是為了改善交通安全，減少交通擁堵，沒有想到會是這樣。

　　類似的矛盾其實早已潛藏在技術中。大數(shù)據(jù)在個性化應用中特別有價值，個人化信息給企業(yè)提供了無數(shù)誘人的可能性，如果有人在Facebook上說喜歡某條牛仔褲，那么下次他(她)訪問這個牛仔褲品牌的網站時，商家就可以向他(她)發(fā)放優(yōu)惠券，誘使他(她)消費。對于零售商和一些消費者來說，這可能挺吸引人的，但對數(shù)據(jù)隱私鼓吹者來說，“大數(shù)據(jù)”不過是“老大哥”的另外一個版本。

　　從企業(yè)的立場看，消費者那有點分裂的態(tài)度乃是問題之所在。一方面，人們在網上特別樂于公開自己的情況;另一方面，對于那些想要分析和搜集這些信息的行為，又不憚以最大的惡意去推測。紐約廣告公司Ogilvy One進行的一項研究表明，75%的答卷者不希望企業(yè)儲存他們的個人信息，幾乎90%的用戶反對企業(yè)跟蹤他們的網絡瀏覽記錄。正因為此，歐盟數(shù)據(jù)保護綱領才引起了巨大爭議。如果這個綱領獲得通過，很多企業(yè)的大數(shù)據(jù)夢想將化為泡影，所以Amazon、Google和Facebook等公司紛紛派人游說布魯塞爾。

　　但對一個現(xiàn)代化的社會而言，更為迫切的問題是它是否愿意接受數(shù)據(jù)經濟中可能發(fā)生的一切。算法可以預測孩子在學校中的表現(xiàn)、預測他們對一項特定工作的適應程度、預測一個人是否可能成為罪犯或者患上癌癥―――我們愿意住在這樣一個世界中嗎?電視連續(xù)劇或者唱片等文化產品可根據(jù)我們的口味量身定做，那樣真的好嗎?在一個計算精確的世界里，創(chuàng)意、直覺和驚喜將何處容身?

　　互聯(lián)網哲學家耶夫根尼?莫洛佐夫警告說，將會出現(xiàn)“算法的獨裁”，對于現(xiàn)在許多大數(shù)據(jù)應用背后的理念，他持批評態(tài)度。他說，隨著算法公式越來越多地應用于金融和預防犯罪，應由獨立、有資質的人員來掌握和分析它們，以免造成權力的濫用。

　　一位數(shù)據(jù)巨頭曾在不經意間揭示出真相。Google執(zhí)行主席埃里克·施密特說，2010年，公司嘗試根據(jù)搜索結果來預測股票價格，但后來意識到這樣做是非法的，就放棄了。

　　但他沒有說這是不可能的。

　　原載：Spiegel

　　網址：http://www.spiegel.de/in-ternational/business/big-data-enables-companies-and-researchers-to-look-into-the-future-a-899964.html