-
采集全球信息，監(jiān)測(cè)世界輿情
【摘要】隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，政府信息數(shù)據(jù)抓取、儲(chǔ)存、分析、處理及其應(yīng)用已變得很便捷，政府戰(zhàn)略決策和危機(jī)處置正在朝數(shù)據(jù)驅(qū)動(dòng)型的預(yù)測(cè)、發(fā)展和決策的方向發(fā)生轉(zhuǎn)變。因此，未來(lái)應(yīng)對(duì)競(jìng)爭(zhēng)和危機(jī)的決策行為將基于對(duì)信息數(shù)據(jù)抓取與分析，而并不是依靠經(jīng)驗(yàn)和直覺(jué)判斷的傳統(tǒng)模式。
“大數(shù)據(jù)”時(shí)代真的來(lái)臨？
進(jìn)入21世紀(jì)，信息的爆炸式增長(zhǎng)帶了數(shù)據(jù)的海量化，面對(duì)規(guī)模日益龐大的數(shù)據(jù)量，全球知名咨詢公司麥肯錫提出“大數(shù)據(jù)”時(shí)代說(shuō)，麥肯錫稱：數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素，人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用，預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。
有統(tǒng)計(jì)顯示，互聯(lián)網(wǎng)一天產(chǎn)生的全部數(shù)據(jù)內(nèi)容可以刻滿1.68億張DVD；發(fā)出的郵件有2940億封之多；發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè)，相當(dāng)于《時(shí)代》雜志770年的文字量；賣出的手機(jī)為37.8萬(wàn)臺(tái)，高于全球每天出生的嬰兒數(shù)量37.1萬(wàn)。2011年，全球產(chǎn)生的數(shù)量高達(dá)1.82ZB，相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB（1024TB=1PB），全人類歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB（1024PB=1EB）。
“大數(shù)據(jù)”的最早提出是基于經(jīng)濟(jì)領(lǐng)域的，而當(dāng)下已發(fā)展至軍事、通訊、金融、行政等各領(lǐng)域，全球正在超大數(shù)據(jù)時(shí)代邁進(jìn)。近年來(lái)，互聯(lián)網(wǎng)信息行業(yè)的發(fā)展使得“大數(shù)據(jù)戰(zhàn)略”備受人們的關(guān)注，作為“大數(shù)據(jù)”戰(zhàn)略基礎(chǔ)的信息數(shù)據(jù)抓取成為時(shí)下政府戰(zhàn)略制定的一部分。
“大數(shù)據(jù)”時(shí)代給政府帶來(lái)怎樣的機(jī)遇與挑戰(zhàn)？
隨著互聯(lián)網(wǎng)信息技術(shù)的飛速發(fā)展，政府信息數(shù)據(jù)抓取、儲(chǔ)存、分析、處理及其應(yīng)用已變得很便捷，政府戰(zhàn)略決策和危機(jī)處置正在朝數(shù)據(jù)驅(qū)動(dòng)型的預(yù)測(cè)、發(fā)展和決策的方向發(fā)生轉(zhuǎn)變。因此，未來(lái)應(yīng)對(duì)競(jìng)爭(zhēng)和危機(jī)的決策行為將基于對(duì)信息數(shù)據(jù)抓取與分析，而并不是依靠經(jīng)驗(yàn)和直覺(jué)判斷的傳統(tǒng)模式。
在信息數(shù)據(jù)時(shí)代，政府應(yīng)成為社會(huì)數(shù)據(jù)信息的樞紐。正在到來(lái)的數(shù)據(jù)革命，已經(jīng)成為啟動(dòng)透明政府、加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的利器，日益深刻地影響著我們的生活。當(dāng)我們漸漸步入大數(shù)據(jù)時(shí)代，生活的每個(gè)微小方面都需要這樣的數(shù)據(jù)支撐。后工業(yè)時(shí)代，要將注意力轉(zhuǎn)移到信息資源的開(kāi)發(fā)上來(lái)。我們既是數(shù)據(jù)的生產(chǎn)者，又是數(shù)據(jù)的消費(fèi)者，政府同樣如此。
現(xiàn)今，數(shù)據(jù)的作用正在迅速膨脹并變大，它影響著政府工作戰(zhàn)略的制定，雖然現(xiàn)在政府可能并沒(méi)有意識(shí)到信息數(shù)據(jù)抓取的不到位給自身工作帶來(lái)的問(wèn)題和隱患，但是隨著時(shí)間的推移，人們將越來(lái)越多的意識(shí)到數(shù)據(jù)對(duì)政府的重要性。特別在網(wǎng)絡(luò)輿情危機(jī)頻發(fā)的網(wǎng)絡(luò)信息環(huán)境下，面對(duì)海量的網(wǎng)絡(luò)信息數(shù)據(jù)，依托信息數(shù)據(jù)抓取的大數(shù)據(jù)戰(zhàn)略建設(shè)是當(dāng)下政府應(yīng)對(duì)突發(fā)危機(jī)事件的重要手段。準(zhǔn)確全面的信息數(shù)據(jù)抓取，合理的數(shù)據(jù)分析可以幫助政府了解各種危機(jī)要素的發(fā)展動(dòng)態(tài)，通過(guò)信息數(shù)據(jù)分析事件參與者的所思所想，依據(jù)數(shù)據(jù)分析結(jié)果做出正確的處置措施。
信息數(shù)據(jù)抓取將如何推進(jìn) “大數(shù)據(jù)戰(zhàn)略”建設(shè)？
數(shù)據(jù)承載事實(shí)、承載民意，在民眾意見(jiàn)表達(dá)、監(jiān)督方面，以及在政府政策的制定、實(shí)行方面或政府的盈利創(chuàng)新方面，都起到極大功能，并且是清晰有力的。相信數(shù)據(jù)、用數(shù)據(jù)來(lái)說(shuō)話，是理性精神的一種表現(xiàn)。而建立“大數(shù)據(jù)戰(zhàn)略”體系，其首要實(shí)現(xiàn)的是信息數(shù)據(jù)抓取，因?yàn)檎畬?duì)各類數(shù)據(jù)的分析解讀與應(yīng)用都必須是在采集到的數(shù)據(jù)上進(jìn)行，只有通過(guò)對(duì)所需數(shù)據(jù)的全面準(zhǔn)確采集，形成數(shù)據(jù)流規(guī)模，然后再對(duì)數(shù)據(jù)流進(jìn)行分析，這樣分析出的數(shù)據(jù)結(jié)果對(duì)決策行為才有指導(dǎo)性作用。
“大數(shù)據(jù)戰(zhàn)略”的建設(shè)，對(duì)信息數(shù)據(jù)抓取工作的要求主要涉及兩個(gè)方面：
一、全面的信息數(shù)據(jù)抓取。在這里，信息數(shù)據(jù)抓取是指利用像樂(lè)思信息采集系統(tǒng)這樣的采集軟件，對(duì)各類網(wǎng)絡(luò)媒介，如搜索引擎、新聞網(wǎng)站、論壇、微博、博客和其他各類型網(wǎng)頁(yè)的各種頁(yè)面信息通過(guò)要素采集、關(guān)鍵詞抽取、全文索引等方式進(jìn)行信息信息數(shù)據(jù)抓取，主要有文本信息、URL、數(shù)字、日期和圖片等，然后把采集的到的各類數(shù)據(jù)進(jìn)行自動(dòng)去重和分類歸納存儲(chǔ)。足夠的數(shù)據(jù)量是政府大數(shù)據(jù)戰(zhàn)略建設(shè)的基礎(chǔ)，就像做房子所需的給類建筑材料，這些建筑材料在大數(shù)據(jù)戰(zhàn)略里就是數(shù)據(jù)信息。
二、準(zhǔn)確的數(shù)據(jù)分析和使用。完成全面信息數(shù)據(jù)抓取后，就應(yīng)該有準(zhǔn)確的分析和使用數(shù)據(jù)能力，透過(guò)對(duì)采集數(shù)據(jù)的深入分析，了解事件的事實(shí)真相和事件背后的社情民意，預(yù)判各種事件的發(fā)展走向，這些變動(dòng)對(duì)整個(gè)大局會(huì)產(chǎn)生什么樣的影響，影響是否會(huì)阻礙自身的健康發(fā)展，這認(rèn)識(shí)得需要我們用數(shù)據(jù)來(lái)衡量，用數(shù)據(jù)放映出的事實(shí)來(lái)指導(dǎo)我們工作策略的制定，讓我們的工作決策理性化而不是經(jīng)驗(yàn)化。
盜用