證券公司在經(jīng)營中面臨著很多風(fēng)險(xiǎn)，如內(nèi)幕交易、操縱市場(chǎng)、欺詐客戶等，這些欺詐和投機(jī)行為會(huì)給證券公司帶來很大損失和不良影響，因此，防范各類風(fēng)險(xiǎn)的發(fā)生、創(chuàng)造公平的交易環(huán)境成為所有證券公司的重要職責(zé)之一。
　　為了加強(qiáng)對(duì)證券公司風(fēng)險(xiǎn)的監(jiān)管，證券公司紛紛加大了IT技術(shù)的投入，通過集中各種交易數(shù)據(jù)進(jìn)行實(shí)時(shí)分析以監(jiān)控各種非正常交易行為。2008年，光大證券基于自己的高效數(shù)據(jù)平臺(tái)實(shí)現(xiàn)了數(shù)據(jù)的跨平臺(tái)采集，進(jìn)而成功地完成其風(fēng)險(xiǎn)控制項(xiàng)目的建設(shè)，還為多種其他應(yīng)用打下了堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。
　　面臨數(shù)據(jù)采集難題
　　創(chuàng)建于1996年的光大證券股份有限公司是由中國光大（集團(tuán)）總公司投資控股的全國性綜合類股份制證券公司，業(yè)務(wù)涉及證券的代理買賣、證券代保管、證券的自營買賣、客戶資產(chǎn)管理等，是中國證監(jiān)會(huì)批準(zhǔn)的首批三家創(chuàng)新試點(diǎn)證券公司之一和首批17家A類A級(jí)證券公司之一，其業(yè)務(wù)規(guī)模及主要營業(yè)指標(biāo)居國內(nèi)證券公司前列。
　　作為一家為客戶提供增值金融服務(wù)的上市證券公司，光大證券高度重視各種風(fēng)險(xiǎn)的防范工作，不僅建立健全了各種制度和規(guī)范，還于2008年初啟動(dòng)了新的風(fēng)險(xiǎn)控制項(xiàng)目: 把柜臺(tái)交易系統(tǒng)、財(cái)務(wù)系統(tǒng)、客戶服務(wù)系統(tǒng)等多個(gè)系統(tǒng)的數(shù)據(jù)采集出來，然后基于各種風(fēng)險(xiǎn)識(shí)別的規(guī)則進(jìn)行分析和判別，以最大程度地降低公司的經(jīng)營風(fēng)險(xiǎn)。不僅如此，光大證券還想以此為契機(jī)，對(duì)數(shù)據(jù)進(jìn)行再次利用，比如對(duì)數(shù)據(jù)進(jìn)行交叉分析，進(jìn)而針對(duì)性地推出產(chǎn)品或做出有針對(duì)性的決策。
　　所有這些工作的一個(gè)前提就是要完成數(shù)據(jù)的集中采集。以證券交易中常見的一種證券欺詐行為——“虛假申報(bào)”為例（虛假申報(bào)指行為人持有或者買賣證券時(shí)進(jìn)行不以成交為目的的頻繁申報(bào)和撤銷申報(bào),制造虛假買賣信息,誤導(dǎo)其他投資者,以從中漁利的行為），要識(shí)別出這種行為需要實(shí)時(shí)采集交易系統(tǒng)的數(shù)據(jù)，同時(shí)還要結(jié)合該交易人以前的交易習(xí)慣以及該交易人的個(gè)人信息等，這就意味著要采集多個(gè)業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)進(jìn)行綜合分析。
　　然而，在數(shù)據(jù)采集過程中項(xiàng)目組遇到了難題: 光大證券缺少一個(gè)統(tǒng)一的數(shù)據(jù)平臺(tái)來對(duì)大量的實(shí)時(shí)數(shù)據(jù)加以整合、分析，為公司的其他業(yè)務(wù)提供數(shù)據(jù)支持。
　　“數(shù)據(jù)采集的一個(gè)困難是，光大證券有多個(gè)業(yè)務(wù)系統(tǒng)，這些系統(tǒng)是不同時(shí)間建立的，數(shù)據(jù)格式并不統(tǒng)一; 另一個(gè)困難是需要實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)采集，包括從柜臺(tái)交易數(shù)據(jù)中實(shí)時(shí)采集證券交易數(shù)據(jù)。”光大證券軟件開發(fā)組項(xiàng)目經(jīng)理孫思維告訴記者，負(fù)責(zé)完成股票交易的柜臺(tái)交易系統(tǒng)，是證券公司最核心的業(yè)務(wù)系統(tǒng)，應(yīng)該盡量避免其他因素的干擾，因而對(duì)數(shù)據(jù)采集平臺(tái)的要求非常高，必須是高效而且可靠的。
　　以往光大證券的數(shù)據(jù)采集工作主要依托原數(shù)據(jù)中心及開發(fā)商的ETL平臺(tái)來完成，這種方式帶來的最大問題就是不靈活，無法及時(shí)獲取自己所需要的信息，而且成本高。因?yàn)槊總€(gè)新的數(shù)據(jù)采集需求都依靠第三方服務(wù)商用手工編碼的方式來實(shí)現(xiàn)，這就造成數(shù)據(jù)采集和處理項(xiàng)目需要很長時(shí)間才能完成，當(dāng)出現(xiàn)新需求和異常情況時(shí)無法快速響應(yīng)，而且，實(shí)時(shí)數(shù)據(jù)采集只限于幾個(gè)業(yè)務(wù)流水表，無法滿足光大證券的實(shí)際應(yīng)用要求。
　　全面、實(shí)時(shí)的數(shù)據(jù)采集
　　此前的數(shù)據(jù)采集方法在此時(shí)行不通了。光大證券開始尋找新的解決辦法。經(jīng)過廣泛的調(diào)研，光大證券將關(guān)注重點(diǎn)落到了數(shù)據(jù)采集平臺(tái)建設(shè)上，計(jì)劃通過建立一個(gè)統(tǒng)一的數(shù)據(jù)采集平臺(tái)實(shí)現(xiàn)跨平臺(tái)的數(shù)據(jù)采集工作。“更為重要的是，這個(gè)數(shù)據(jù)采集平臺(tái)不僅可以用于本項(xiàng)目，還可以用于公司其他應(yīng)用的數(shù)據(jù)采集工作。”孫思維說。
　　在確定開展數(shù)據(jù)平臺(tái)建設(shè)之后，光大證券找到了從事數(shù)據(jù)集成產(chǎn)品和服務(wù)的Informatica公司。Informatica根據(jù)光大證券的實(shí)際需求，提出了一個(gè)集PowerCenter8 Real-time Edition與PowerExchange為一體的實(shí)時(shí)數(shù)據(jù)采集方案，幫助光大證券成功地搭建了一個(gè)統(tǒng)一的數(shù)據(jù)采集平臺(tái)，使光大證券能夠根據(jù)需要隨時(shí)隨地訪問各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，并在整個(gè)企業(yè)內(nèi)傳遞數(shù)據(jù)，最后把不同來源、格式、特點(diǎn)、性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中，為企業(yè)各部門系統(tǒng)提供全面的數(shù)據(jù)共享。
　　方案采用了基于日志的實(shí)時(shí)采集方法，讓光大證券可以實(shí)現(xiàn)增量采集，在過程中不會(huì)對(duì)原數(shù)據(jù)表加鎖。該數(shù)據(jù)采集平臺(tái)通過調(diào)用數(shù)據(jù)庫提供的API函數(shù)實(shí)現(xiàn)日志采集，從而避免對(duì)其他業(yè)務(wù)操作造成干擾，以盡量減少對(duì)光大證券各業(yè)務(wù)系統(tǒng)性能的影響。
　　實(shí)時(shí)數(shù)據(jù)采集是光大證券最為關(guān)心的問題之一。該平臺(tái)讓客戶端可以記錄當(dāng)前采集的位置，在必要的時(shí)候可通過系統(tǒng)的調(diào)度記錄恢復(fù)到歷史采集點(diǎn)重新采集，并可人工設(shè)定下次采集的起始點(diǎn)，從而提高實(shí)時(shí)數(shù)據(jù)采集的可恢復(fù)性。
　　在整個(gè)解決方案中，PowerCenter充分承擔(dān)起數(shù)據(jù)ETL平臺(tái)的作用，不僅可以實(shí)時(shí)地采集到各種關(guān)鍵數(shù)據(jù)，還能將這些數(shù)據(jù)進(jìn)行復(fù)雜規(guī)則的轉(zhuǎn)換，并輸出到不同的平臺(tái)、系統(tǒng)中加以分析，從而做到對(duì)這些實(shí)時(shí)數(shù)據(jù)的充分利用。
　　應(yīng)對(duì)未來的需求
　　經(jīng)過一段時(shí)間的上線運(yùn)行，光大證券的數(shù)據(jù)集中采集平臺(tái)的數(shù)據(jù)整合能力得以顯示出來，不僅解決了數(shù)據(jù)采集效率低下的問題，使分布在不同系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)得到了有效整合，還構(gòu)建了完整的全公司數(shù)據(jù)環(huán)境，提升了運(yùn)營管理及決策的效率。數(shù)據(jù)的管理與維護(hù)也得到了加強(qiáng)，響應(yīng)與部署的速度得以加快，數(shù)據(jù)質(zhì)量也得到了提高，為分析系統(tǒng)提供了全面的支撐。
　　孫思維表示：“以往采取手工編碼進(jìn)行數(shù)據(jù)整合時(shí)，采集出來的數(shù)據(jù)經(jīng)常會(huì)出現(xiàn)各種問題，甚至導(dǎo)致下游的一些數(shù)據(jù)應(yīng)用根本無法進(jìn)行。而采用新的數(shù)據(jù)平臺(tái)后就不會(huì)出現(xiàn)這樣的問題了。”
　　而在實(shí)時(shí)數(shù)據(jù)采集方面，光大證券的應(yīng)用效果就更為明顯。包括客戶的交易流水、客戶信息、資金、股份等信息以及柜員的操作記錄、交易所的行情源、成交回報(bào)庫等實(shí)時(shí)數(shù)據(jù)都能通過數(shù)據(jù)平臺(tái)迅速加以整合，用于監(jiān)控客戶異常交易行為以及柜員的特殊操作的風(fēng)險(xiǎn)監(jiān)控系統(tǒng)，也可以為客戶服務(wù)系統(tǒng)進(jìn)行成交回報(bào)與策略交易分析，大大加快了光大證券的業(yè)務(wù)反應(yīng)速度。
　　如今，光大證券不僅在風(fēng)險(xiǎn)控制系統(tǒng)中使用了這個(gè)數(shù)據(jù)采集平臺(tái)，還在該平臺(tái)的支持下，通過對(duì)數(shù)據(jù)進(jìn)行快速、準(zhǔn)確的分析，加快其產(chǎn)品與服務(wù)的推出速度，進(jìn)而提高了企業(yè)管理水平與競(jìng)爭(zhēng)力。