客戶簡(jiǎn)介

吉林石油集團(tuán)有限責(zé)任公司是中國(guó)石油天然氣集團(tuán)公司（CNPC）的全資子公司，也是中國(guó)石油四大上產(chǎn)油田之一。

作為傳統(tǒng)能源行業(yè)，如今，油田企業(yè)正加速進(jìn)行數(shù)字化、智能化建設(shè)，通過(guò)將繁瑣復(fù)雜，分散各處的數(shù)據(jù)進(jìn)行采集、集成、共享，從而優(yōu)化策略，降本增效。

然而，在油氣行業(yè)信息化建設(shè)過(guò)程中，從油田勘探、開(kāi)采、集輸?shù)雀鳝h(huán)節(jié)產(chǎn)生大量的數(shù)據(jù)源。這些數(shù)據(jù)往往孤立分散，且由于數(shù)據(jù)采集沒(méi)有正常化、缺少有效的數(shù)據(jù)處理工具等，存在如數(shù)據(jù)錯(cuò)誤、質(zhì)量差、標(biāo)準(zhǔn)不統(tǒng)一等問(wèn)題。
 
眾所周知，原油經(jīng)過(guò)處理變成石油以后才可使用，數(shù)據(jù)同樣如此，其質(zhì)量決定著企業(yè)數(shù)字化的能力、深度及廣度。

那么，在數(shù)字油田、智慧油田的建設(shè)中，如何讓數(shù)據(jù)有效利用？吉林石油集團(tuán)開(kāi)啟了一場(chǎng)從“數(shù)據(jù)原油”到 “數(shù)據(jù)石油”的提純加工之路。

需求分析

自2006年，吉林油田陸續(xù)開(kāi)展了勘探開(kāi)發(fā)主庫(kù)建設(shè)、歷史數(shù)據(jù)建設(shè)及新數(shù)據(jù)正?；?xiàng)重點(diǎn)工作：集中開(kāi)展了科研成果文檔、分析化驗(yàn)、錄井圖、測(cè)井圖、開(kāi)發(fā)地質(zhì)、物探、油氣生產(chǎn)、試井等11類17期科研生產(chǎn)急需的歷史數(shù)據(jù)資源建設(shè)工作，目前勘探開(kāi)發(fā)歷史數(shù)據(jù)入庫(kù)率近70%。

勘探開(kāi)發(fā)主庫(kù)的數(shù)據(jù)來(lái)源于數(shù)據(jù)同步、專業(yè)庫(kù)集成和歷史數(shù)據(jù)建設(shè)批量加載，這一過(guò)程存在錯(cuò)誤數(shù)據(jù)或數(shù)據(jù)不一致等問(wèn)題，需要按照一定的規(guī)則針對(duì)問(wèn)題數(shù)據(jù)開(kāi)展數(shù)據(jù)清洗工作。

具體如下：

? 需借助ETL工具等技術(shù)手段對(duì)勘探開(kāi)發(fā)主庫(kù)及鉆錄測(cè)試等專業(yè)庫(kù)進(jìn)行數(shù)據(jù)綜合分析；

? 對(duì)關(guān)鍵值缺失、異常值和重復(fù)數(shù)據(jù)及其它關(guān)鍵問(wèn)題數(shù)據(jù)進(jìn)行處理，提升主庫(kù)和專業(yè)庫(kù)內(nèi)數(shù)據(jù)規(guī)范性、可用性和數(shù)據(jù)質(zhì)量。

解決方案

針對(duì)吉林油田上述實(shí)際需求，美創(chuàng)科技通過(guò)自主研發(fā)的數(shù)據(jù)支撐平臺(tái)實(shí)現(xiàn)數(shù)據(jù)清洗、轉(zhuǎn)換、同步和加載工作。該平臺(tái)通過(guò)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，向數(shù)據(jù)倉(cāng)庫(kù)或大數(shù)據(jù)平臺(tái)提供高質(zhì)量數(shù)據(jù)，支持異構(gòu)數(shù)據(jù)遷移、基于數(shù)據(jù)庫(kù)日志的數(shù)據(jù)實(shí)時(shí)復(fù)制、ETL開(kāi)發(fā)、分布式處理等功能。具體如下：

圖片
 
數(shù)據(jù)清洗人物配置管理模塊
清洗模塊是整個(gè)清洗工具的控制中心，實(shí)現(xiàn)清洗數(shù)據(jù)源的連接信息、清洗表的設(shè)置，并且記錄清洗信息；

清洗規(guī)則管理模塊
包含各類清洗算法的運(yùn)行參數(shù)、數(shù)據(jù)質(zhì)量指標(biāo)等，如重復(fù)記錄清洗算法的閾值、異常值檢測(cè)的標(biāo)準(zhǔn)、基于業(yè)務(wù)規(guī)則的清洗算法的業(yè)務(wù)邏輯等；

清洗算法管理模塊
對(duì)重復(fù)數(shù)據(jù)檢測(cè)算法、不完整數(shù)據(jù)檢測(cè)算法和字段匹配算法、異常值檢測(cè)算法等進(jìn)行靈活定義和配置；

擴(kuò)展模塊管理
通過(guò)擴(kuò)展模塊允許向數(shù)據(jù)清洗工具中加入完全定制化的清洗方法和流程，負(fù)責(zé)將編譯好的擴(kuò)展清洗方法及描述信息保存到擴(kuò)展模塊配置中，清洗任務(wù)可以靈活的選擇相應(yīng)的擴(kuò)展清洗方法；

清洗日志管理
實(shí)現(xiàn)清洗動(dòng)作的可追溯性，清洗任務(wù)會(huì)自動(dòng)保存到清洗日志表中，不能自動(dòng)清洗的為異常。通過(guò)清洗日志管理模塊可以對(duì)清洗任務(wù)進(jìn)行查詢，并對(duì)異常數(shù)據(jù)進(jìn)行手工處理；

算法和規(guī)則配置管理
通過(guò)選擇不同的清洗方法和規(guī)則實(shí)現(xiàn)數(shù)據(jù)清洗的需求。算法庫(kù)管理：通過(guò)配置管理界面，將已實(shí)現(xiàn)算法編譯后的類加載到算法庫(kù)，并在算法庫(kù)中維護(hù)算法的描述信息便于以后的配置管理；規(guī)則庫(kù)管理：工具中的清洗規(guī)則都維護(hù)在系統(tǒng)規(guī)則表中，將規(guī)則代碼和規(guī)則相對(duì)應(yīng)管理。

擴(kuò)展清洗模塊
增強(qiáng)數(shù)據(jù)清洗工具和數(shù)據(jù)類型的靈活性，在滿足擴(kuò)展模塊接口的前提下，定制數(shù)據(jù)清洗流程進(jìn)行數(shù)據(jù)清洗工作。

安全測(cè)評(píng)

系統(tǒng)上線前開(kāi)展代碼安全測(cè)評(píng)，并出具第三方測(cè)評(píng)機(jī)構(gòu)出具評(píng)測(cè)報(bào)告。

客戶收益

? 實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)模型管理規(guī)范化、數(shù)據(jù)采集上傳規(guī)范化、數(shù)據(jù)采集流程、數(shù)據(jù)整理流程規(guī)范化、數(shù)據(jù)質(zhì)量控制、完整性控制的流程與規(guī)范化。

? 進(jìn)一步整合了吉林油田不同系統(tǒng)業(yè)務(wù)數(shù)據(jù)，挖掘信息所能帶來(lái)的價(jià)值以及對(duì)業(yè)務(wù)提供更好的決策支持。

? 支持多種數(shù)據(jù)交換應(yīng)用場(chǎng)景，平臺(tái)支持?jǐn)?shù)據(jù)復(fù)制、數(shù)據(jù)同步、數(shù)據(jù)備份/恢復(fù)、數(shù)據(jù)遷移、應(yīng)用系統(tǒng)數(shù)據(jù)卸載、ETL、數(shù)據(jù)匯聚整合、數(shù)據(jù)分發(fā)、數(shù)據(jù)服務(wù)等應(yīng)用場(chǎng)景，并滿足各種不同應(yīng)用場(chǎng)景的統(tǒng)一使用和監(jiān)控管理需求。