信息采集
樂思網(wǎng)絡(luò)信息采集系統(tǒng)
Web是一個巨大的資源寶庫，目前頁面數(shù)目已超過800億，每小時還以驚人的速度增長，里面有你需要的大量有價值的信息，例如潛在客戶的列表與聯(lián)系信息，競爭產(chǎn)品的價格列表，實時金融新聞，供求信息，論文摘要等等。
可是由于關(guān)鍵信息都是以半結(jié)構(gòu)化或自由文本形式存在于大量的HTML網(wǎng)頁中，很難直接加以利用。
樂思軟件的主要目標就是解決網(wǎng)絡(luò)信息的采集問題。我們在這個問題上研究了8年也實踐了8年，為國內(nèi)外許多客戶提供了幾千次網(wǎng)絡(luò)信息采集服務(wù)。在此基礎(chǔ)上開發(fā)了樂思網(wǎng)絡(luò)信息采集系統(tǒng)，目前居于國際領(lǐng)先水平（曾在國際招標中擊敗美國競爭對手）。
我們還針對僅需要單獨應(yīng)用的客戶有針對性地推出了：
| 樂思新聞采集系統(tǒng) 樂思文本采集系統(tǒng) 樂思論壇采集系統(tǒng) 樂思RSS采集系統(tǒng) （以上4種系統(tǒng)功能皆包含在樂思網(wǎng)絡(luò)信息采集系統(tǒng)的任一版本中） 樂思網(wǎng)絡(luò)信息實時采集開發(fā)包 (COM組件，用于簡單采集) |
一、 主要功能
樂思網(wǎng)絡(luò)信息采集系統(tǒng)的主要功能為：根據(jù)用戶自定義的任務(wù)配置，批量而精確地抽取因特網(wǎng)目標網(wǎng)頁中的半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，轉(zhuǎn)化為結(jié)構(gòu)化的記錄，保存在本地數(shù)據(jù)庫中，用于內(nèi)部使用或外網(wǎng)發(fā)布，快速實現(xiàn)外部信息的獲取。 如下圖所示：樂knowlesys思
圖1 樂思信息采集系統(tǒng)概念圖
樂思網(wǎng)絡(luò)信息采集系統(tǒng)除了可以處理遠程網(wǎng)頁外，還可以處理本地網(wǎng)頁、遠程或本地的文本文件。
樂思網(wǎng)絡(luò)信息采集系統(tǒng)主要用于：輿情監(jiān)測，品牌監(jiān)測，價格監(jiān)測，門戶網(wǎng)站新聞采集，行業(yè)資訊采集，競爭情報獲取，商業(yè)數(shù)據(jù)整合，市場研究，數(shù)據(jù)庫營銷等領(lǐng)域。aw禁止er盜用
二、 系統(tǒng)特點
本系統(tǒng)最大的特點是：采集方法的靈活性與采集數(shù)據(jù)的準確性
靈活性：任何復(fù)雜的查詢與頁面布局都可以靈活處理
準確性：結(jié)果數(shù)據(jù)高度準確(99%-100%)
♦ 對目標網(wǎng)站進行信息自動抓取，支持HTML頁面內(nèi)各種數(shù)據(jù)的采集，如文本信息，URL，數(shù)字，日期，圖片等
♦ 用戶對每類信息自定義來源與分類-采3453輿情4533集-
♦ 可以下載圖片與各類文件a33lcc樂a思aw
♦ 支持用戶名與密碼自動登錄
♦ 支持命令行格式，可以Windows任務(wù)計劃器配合，定期抽取目標網(wǎng)站
♦ 支持記錄唯一索引，避免相同信息重復(fù)入庫
♦ 支持智能替換功能，可以將內(nèi)容中嵌入的所有的無關(guān)部分如廣告去除
♦ 支持多頁面文章內(nèi)容自動抽取與合并
♦ 支持下一頁自動瀏覽功能 a33lcc樂a思aw
♦ 支持直接提交表單
♦ 支持模擬提交表單a33lcc樂a思aw
♦ 支持動作腳本
♦ 支持從一個頁面中抽取多個數(shù)據(jù)表
♦ 支持數(shù)據(jù)的多種后期處理方式
♦ 數(shù)據(jù)直接進入數(shù)據(jù)庫而不是文件中，因此與利用這些數(shù)據(jù)的網(wǎng)站程序或者桌面程序之間沒有任何耦合
♦ 支持數(shù)據(jù)庫表結(jié)構(gòu)完全自定義，充分利用現(xiàn)有系統(tǒng)26禁止9盜用0
♦ 支持多個欄目的信息采集可用同一配置一對多處理
♦ 保證信息的完整性與準確性，絕不會出現(xiàn)亂碼 26禁止9盜用0
♦ 支持所有主流數(shù)據(jù)庫：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase,
MS Access等
三、 運行環(huán)境
操作系統(tǒng)：Windows XP/NT/2000/2003/2008，建議采用Windows 2008 Server
CPU： 雙核或四核CPU，3.0 G Hz以上
內(nèi)存： 最低64M內(nèi)存，建議2G或以上（如8G/16G/32G/64G）
硬盤： 最少20M空余硬盤空間，建議300G或500G
四、 行業(yè)應(yīng)用
樂思網(wǎng)絡(luò)信息采集系統(tǒng)在各個注重外部信息獲取的行業(yè)都有著廣泛的應(yīng)用：
門戶網(wǎng)站
可以做到：
每天自動采集指定網(wǎng)站（可達幾百個，上千個）的最新內(nèi)容（可以做到每天自動從上千個網(wǎng)絡(luò)媒體采集上萬條新聞信息）
每天自動采集指定購物網(wǎng)站產(chǎn)品價格信息(產(chǎn)品名稱，說明，價格，圖片等)
利益:
大大節(jié)約工作人員采集因特網(wǎng)信息的時間與精力，讓他們有更多時間專注于業(yè)務(wù)問題
輕松實現(xiàn)行業(yè)信息整合
迅速提高本網(wǎng)站信息量與瀏覽量，同時提高Google排名與Alexa排名
輕松實現(xiàn)價格比較系統(tǒng)的前端采集子系統(tǒng)
新聞媒體
可以做到：
每天定時自動采集指定網(wǎng)站的新聞內(nèi)容，擴大內(nèi)容來源與數(shù)量
輕松整合不同地區(qū)與行業(yè)的新聞，形成專題
采集行業(yè)內(nèi)的專業(yè)文章，論壇帖子，并進行整合
利益:
節(jié)約采編人員大量的時間，從而讓他們可以有更多的精力來從事其他的事情
迅速提高本網(wǎng)站信息量與瀏覽量
輕松擁有海量信息輸入
企業(yè)
可以做到：
實時而準確地采集國內(nèi)外新聞，行業(yè)新聞，技術(shù)文章
實時而準確地采集競爭對手以及供應(yīng)商的新聞，人事，產(chǎn)品，價格等信息數(shù)據(jù)抓取
實時而準確地采集公共信源的商業(yè)情報（同行產(chǎn)品價格，競爭對手的用戶反饋，行業(yè)新聞）
實時而準確地采集本企業(yè)的品牌以及競爭對手的品牌在各大搜索引擎中的結(jié)果
實時而準確地采集各大行業(yè)論壇中的信息，從中了解消費者的需求與反饋，從而發(fā)現(xiàn)市場趨勢與商業(yè)機會
準確地從網(wǎng)絡(luò)公共信息中采集銷售線索，潛在客戶的資料
準確地從網(wǎng)絡(luò)公共信息中采集本行業(yè)上萬種產(chǎn)品的產(chǎn)品信息（描述，價格等），圖片，技術(shù)文檔。
利益:
快速而大量地獲取目標商業(yè)信息，立刻提高公司的市場營銷能力 數(shù)據(jù)挖掘
快速實現(xiàn)企業(yè)應(yīng)用(ERP,CRM等)及企業(yè)門戶網(wǎng)站對于因特網(wǎng)內(nèi)容的整合
快速建立大容量專業(yè)知識數(shù)據(jù)庫，立刻促進公司的知識管理水平
節(jié)約內(nèi)部員工到各網(wǎng)站查閱新聞的時間
政府機關(guān)與軍隊
可以做到：
實時跟蹤、采集與政府工作相關(guān)的國內(nèi)外及地方新聞，政策法規(guī)，經(jīng)濟，產(chǎn)業(yè)等信息
解決與因特網(wǎng)隔離的重要部門對于因特網(wǎng)的信息需求問題 WA樂_思L監(jiān)測SJ
解決政府主網(wǎng)站對各地級子網(wǎng)站的信息采集與整合問題
利益:
全面滿足內(nèi)部工作人員對外部因特網(wǎng)的實時信息的整合需求
迅速解決政務(wù)外網(wǎng)、政務(wù)內(nèi)網(wǎng)的信息量不足，更新不及時問題
通過擴大信息量(如新聞,供求信息等)提高政務(wù)網(wǎng)站的用戶滿意度
大大節(jié)約工作人員采集因特網(wǎng)信息的時間與精力
廣告與市場研究機構(gòu)
可以做到：
快速而大量地獲取公共信息中的商業(yè)名錄資料網(wǎng)頁抓取
快速而大量地獲取目標網(wǎng)站的各種原始信息(例如Blog與BBS中的信息)到數(shù)據(jù)庫中
利益:
快速形成特定群體的具有很高可信度的商業(yè)名錄數(shù)據(jù)庫 WA樂思采集SJ
快速形成用于分析統(tǒng)計與研究的用戶反饋基礎(chǔ)數(shù)據(jù)庫
為品牌客戶監(jiān)視Blog與BBS上的相關(guān)信息
科學(xué)與技術(shù)研究單位
可以做到：
實時跟蹤、采集相關(guān)的國內(nèi)外科技信息與新聞
整合分布在各個網(wǎng)站網(wǎng)頁上的科研數(shù)據(jù)，例如美國國家衛(wèi)生研究院的生物科技信息中心公布的的大量基因相關(guān)數(shù)據(jù)
本地文本數(shù)據(jù)抽取
利益:
全面滿足科研人員對于實時科技信息的整合瀏覽需求a網(wǎng)頁抓取
從因特網(wǎng)的公開的可信來源輕松獲取科學(xué)研究的相關(guān)數(shù)據(jù)WA樂_思L監(jiān)測SJ
節(jié)約科研人員的極其寶貴的時間與精力
五、 版本功能區(qū)別
| 功能 |
標準版 |
專業(yè)版 |
企業(yè)版 |
| 微博網(wǎng)站采集 |
 |
|
|
| 論壇網(wǎng)站采集 |
|
|
|
| 博客網(wǎng)站采集 |
|
|
|
| 新聞網(wǎng)站采集 |
|
|
|
文本文件采集 |
|
|
|
RSS/XML抽取 |
|
|
|
圖片網(wǎng)站采集 |
|
|
|
視頻網(wǎng)站采集 |
|
|
|
社交網(wǎng)站采集 |
|
|
|
在線數(shù)據(jù)庫網(wǎng)站采集 |
|
||
支持定時自動執(zhí)行 |
|
|
|
靜態(tài)URL列表抽取 |
|
|
|
動態(tài)URL列表抽取 |
|
|
|
網(wǎng)頁屏幕快照 |
|
|
|
直接POST查詢抽取 |
|
|
|
模擬填寫表單查詢抽取 |
|
||
高級數(shù)據(jù)處理 |
|
||
國外多語言信息采集 |
|
||
單項目表個數(shù)最大值 |
10 |
10 |
無限 |
字段個數(shù)最大值 |
60 |
100 |
無限 |
數(shù)據(jù)變形腳本最大行數(shù) |
100 |
200 |
無限 |
連續(xù)抽取最大記錄數(shù) |
100,000 |
500,000 |
無限 |
使用時間 |
無限 |
無限 |
無限 |
網(wǎng)站數(shù) |
無限 |
無限 |
無限 |
免費網(wǎng)站欄目配置個數(shù) |
2 |
4 |
4 |
六、 演示與下載
在線觀看各種類型的采集效果，更多詳細請撥打電話(0755) 8603-2826聯(lián)系我們。
欲獲取更多信息或解決方案，請提交您的需求給我們或者直接發(fā)電子郵件到web2db@knowlesys.com。