信息中心
樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)
樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)是基于全球領(lǐng)先的采集技術(shù)而研發(fā)，可以每天輔助網(wǎng)編系統(tǒng)地批量地快速地發(fā)現(xiàn)有新聞價(jià)值的實(shí)時(shí)信息。
一、 系統(tǒng)概述
樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)是針對(duì)的趨勢(shì)，通過對(duì)大量目標(biāo)網(wǎng)站（如新聞，論壇，博客，微博等）進(jìn)行實(shí)時(shí)自動(dòng)采集、匯總、識(shí)別其中的關(guān)鍵信息， 從而第一發(fā)現(xiàn)具有新聞價(jià)值的信息，并提供后續(xù)編輯審核功能的一套網(wǎng)編工作平臺(tái)。
其系統(tǒng)架構(gòu)如下圖所示： 樂思 軟件knowlesys.com
圖1. 樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)的系統(tǒng)架構(gòu)
相比目前的人工新聞轉(zhuǎn)載，其優(yōu)勢(shì)明顯：
比較指標(biāo) |
采用樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng) |
人工轉(zhuǎn)載 |
目標(biāo)網(wǎng)站 |
幾百個(gè)到幾千個(gè)幾萬個(gè) |
幾十個(gè) |
人力成本 |
網(wǎng)絡(luò)信息的獲取工作完全由軟件自動(dòng)進(jìn)行，少數(shù)網(wǎng)編人員只需在內(nèi)網(wǎng)集中進(jìn)行內(nèi)容的瀏覽與分析 |
大量網(wǎng)編需分別登錄各個(gè)網(wǎng)站，手工查閱，還要手工復(fù)制粘貼，疲于奔命 |
新聞線索識(shí)別 |
在自動(dòng)判別的基礎(chǔ)上再人工確認(rèn) |
需要逐條人工查看確認(rèn) |
信息保存 |
精確，全面，便于事后追蹤 |
零碎，不可避免會(huì)出錯(cuò) |
數(shù)據(jù)存儲(chǔ) |
統(tǒng)一存放在大型關(guān)系數(shù)據(jù)庫中，集中管理 |
隨時(shí)粘貼，很難管理 |
工作報(bào)告 |
基于自動(dòng)化的統(tǒng)計(jì)分析， |
模糊，不清楚，沒有數(shù)量統(tǒng)計(jì)： 樂思 軟件 |
轉(zhuǎn)載效果 |
系統(tǒng)、大量地轉(zhuǎn)載合作媒體或網(wǎng)友曝料，網(wǎng)站流量與排名迅速提升 |
不系統(tǒng)，少量 |
二、 實(shí)施后的利益
1. 各大新聞網(wǎng)站，紙質(zhì)媒體，論壇，博客，微博，視頻網(wǎng)站中的最新信息都自動(dòng)集中呈現(xiàn)
2. 系統(tǒng)快速地發(fā)現(xiàn)有價(jià)值信息，只需一點(diǎn)鼠標(biāo)即可選擇
3. 網(wǎng)編的更多時(shí)間可以放在深度編輯或原創(chuàng)上 樂思
4. 每日轉(zhuǎn)載量呈幾十倍幾百倍提升，網(wǎng)站流量與排名迅速提升
三、 系統(tǒng)組成
樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)由兩個(gè)子系統(tǒng)組成：自動(dòng)采集子系統(tǒng)與結(jié)果瀏覽子系統(tǒng)。其關(guān)系如下圖所示：
圖2. 系統(tǒng)組成
樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)如下圖所示，依據(jù)需要也可以分開在隔離的外網(wǎng)與內(nèi)網(wǎng)中實(shí)施。
圖3. 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)
四、 自動(dòng)采集子系統(tǒng)功能描述
自動(dòng)采集子系統(tǒng)可以對(duì)任意目標(biāo)網(wǎng)站進(jìn)行自動(dòng)采集。
例如：新華網(wǎng)、強(qiáng)國論壇、天涯社區(qū)、西祠社區(qū)、網(wǎng)易社區(qū)、新浪論壇、搜狐社區(qū)、鳳凰網(wǎng)、百度貼吧、以及用戶指定的其他動(dòng)態(tài)網(wǎng)站。可以抽取所有新聞文章或主題帖或者最新主題帖內(nèi)容，還可以抽取某個(gè)主題帖的所有回復(fù)帖或者最新回復(fù)帖的內(nèi)容。即可指定某個(gè)目標(biāo)網(wǎng)站進(jìn)行監(jiān)測(cè)，也可以不指定目標(biāo)網(wǎng)站對(duì)于全球范圍內(nèi)網(wǎng)站進(jìn)行監(jiān)測(cè)，或者進(jìn)行兩者混合監(jiān)測(cè)。既可以監(jiān)測(cè)國內(nèi)網(wǎng)站，也可以監(jiān)測(cè)國外網(wǎng)站如BBC，CNN。
后端數(shù)據(jù)庫支持任意的主流關(guān)系型數(shù)據(jù)庫，如Oracle、IBM DB2、 MS SQL Server、 MySQL、 Sybase以及文件型數(shù)據(jù)庫Access等。
樂 思 軟 件
自動(dòng)采集子系統(tǒng)的全方位監(jiān)測(cè)功能如下圖所示：
圖4. 自動(dòng)采集子系統(tǒng)全方位監(jiān)測(cè)
自動(dòng)采集子系統(tǒng)具有以下幾個(gè)顯著特點(diǎn)：
1. 全球領(lǐng)先的自動(dòng)采集功能
樂思軟件的網(wǎng)絡(luò)信息采集技術(shù)全球領(lǐng)先，支持對(duì)任意網(wǎng)頁內(nèi)任意數(shù)據(jù)的精確采集。樂思軟件每天都為國內(nèi)外用戶針對(duì)各種各樣的網(wǎng)站提供采集服務(wù)，沒有高效穩(wěn)定的采集平臺(tái)是無法做到的。
2. 支持各種監(jiān)測(cè)對(duì)象
可以實(shí)時(shí)監(jiān)測(cè)新聞，論壇，博客，公共聊天室，搜索引擎，留言板，應(yīng)用程序，報(bào)刊網(wǎng)站電子版等。
3. 無需配置直接監(jiān)測(cè)幾千個(gè)新聞網(wǎng)站
系統(tǒng)內(nèi)置對(duì)全球范圍內(nèi)網(wǎng)站的監(jiān)測(cè)配置，只需輸入關(guān)鍵詞，自動(dòng)采集出文章標(biāo)題與正文。
4. 強(qiáng)大的多語言統(tǒng)一處理功能
可自動(dòng)處理并保存中文，英文，法文，德文，日語，韓語等多國語言。 knowlesys.cn
5. 智能文章提取
對(duì)于文章類型網(wǎng)頁，可以無需配置，直接自動(dòng)提取文章正文與標(biāo)題，以及作者發(fā)布日期等，自動(dòng)去除廣告，欄目，版權(quán)等無關(guān)的垃圾內(nèi)容
6. 完美支持各種網(wǎng)頁情況
支持當(dāng)前流行的Web 2.0 AJAX動(dòng)態(tài)網(wǎng)站
支持用戶名與密碼自動(dòng)登錄
支持表單查詢新聞轉(zhuǎn)載
支持下一頁自動(dòng)瀏覽功能
支持多頁面文章內(nèi)容自動(dòng)抽取與合并 樂 思 軟 件
可以自動(dòng)下載正文內(nèi)圖片以及各類附件
可以選擇保存原文快照以備查
支持多種互聯(lián)網(wǎng)協(xié)議： HTTP、HTTPS、以及FTP
支持多種網(wǎng)絡(luò)文件格式：HTML/XML/CSV/TEXT/RSS/ATOM
…
7. 自動(dòng)去重功能
每次采集時(shí)，對(duì)于同一個(gè)URL，僅采集最新的沒有采集過的文章內(nèi)容或回復(fù)，對(duì)于已經(jīng)采集過的內(nèi)容，自動(dòng)忽略。對(duì)于轉(zhuǎn)載文章，可以選擇自動(dòng)去重。
8. 內(nèi)置各種后期數(shù)據(jù)處理功能
數(shù)據(jù)從網(wǎng)頁上獲取后，可進(jìn)一步精加工為各種更細(xì)粒度的字段數(shù)據(jù)或者合并整合，替換統(tǒng)計(jì)等. 例如關(guān)鍵詞抽取，街道地址抽取，省市名稱抽取，郵編抽取，電話號(hào)碼抽取，傳真號(hào)碼抽取，電子郵件地址抽取，QQ/MSN/Skype抽取，URL抽取等。 樂-思-軟-件
9. 可無人值守全天候自動(dòng)采集
可定時(shí)運(yùn)行，也可7×24小時(shí)運(yùn)行，可設(shè)置采集時(shí)間間隔最短為1分鐘。
10. 用戶可以自行添加目標(biāo)監(jiān)測(cè)網(wǎng)站
利用系統(tǒng)提供的采集平臺(tái)，用戶可以很容易地對(duì)目標(biāo)網(wǎng)站進(jìn)行可視化分析，配置出采集任務(wù)文件，加入調(diào)度過程，從而可以任意修改，增加，移除監(jiān)測(cè)目標(biāo)。
五、 結(jié)果瀏覽子系統(tǒng)功能描述
結(jié)果瀏覽子系統(tǒng)讓各個(gè)可能新聞來源網(wǎng)站的最新信息實(shí)時(shí)呈現(xiàn)在用戶的桌面瀏覽器中，其功能架構(gòu)如下。
圖5. 結(jié)果瀏覽子系統(tǒng)功能架構(gòu)
結(jié)果瀏覽子系統(tǒng)具有以下顯著特點(diǎn)：
1. 多人協(xié)同工作
不同用戶瀏覽不同內(nèi)容，執(zhí)行不同操作，完成不同職責(zé)
2. 文章要素顯示
對(duì)于新聞文章與博客文章，可采集標(biāo)題，正文，作者，發(fā)布時(shí)間，來源
對(duì)于關(guān)鍵詞用高亮背景彩色顯示 新聞轉(zhuǎn)載
更可以僅顯示標(biāo)題列表便于快速瀏覽
3. 帖子要素顯示
對(duì)于論壇帖子，可采集標(biāo)題，正文，作者，發(fā)貼時(shí)間，查看次數(shù)，回復(fù)貼數(shù)， 發(fā)貼人IP
對(duì)于關(guān)鍵詞用高亮背景彩色顯示
更可以僅顯示標(biāo)題列表便于快速瀏覽
4. 分類與編輯
對(duì)于采集后的信息內(nèi)容，可以進(jìn)行過濾，分類，備注，與編輯，便于后期管理與分析
5. 強(qiáng)大的搜索功能
既可以精確搜索也可以模糊搜索，既可以按分類搜索，也可按來源搜索
6. 支持人工添加
可以人工添加文章 新聞監(jiān)測(cè)論壇監(jiān)測(cè)博客監(jiān)測(cè)
7. 反網(wǎng)站限制功能
可采集被國內(nèi)屏蔽的國外網(wǎng)站，可采集限制了來源IP與訪問頻率的網(wǎng)站，可自動(dòng)獲取代理IP，無需設(shè)置
六、 系統(tǒng)實(shí)施
本系統(tǒng)主要應(yīng)用于各類門戶網(wǎng)站運(yùn)營商。
由于互聯(lián)網(wǎng)的復(fù)雜性，樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)實(shí)施起來需要與客戶的交流與配合。
針對(duì)客戶需求，我們提供如下系統(tǒng)實(shí)施服務(wù)：
編號(hào) |
名稱 |
內(nèi)容 |
1 |
交鑰匙工程 |
提供樂思網(wǎng)絡(luò)新聞轉(zhuǎn)載系統(tǒng)的整套軟件與文檔， |
2 |
培訓(xùn) |
提供遠(yuǎn)程培訓(xùn)或上門培訓(xùn)服務(wù) |
3 |
后續(xù)服務(wù) |
定期提供目標(biāo)網(wǎng)站更新后的配置參數(shù)文件 |
4 |
技術(shù)支持 |
通過電話、Email、QQ/MSN/Skype 回答用戶的問題，進(jìn)行技術(shù)支持 |