企業(yè)應用集成平臺CloudEIP
一、概述
隨著企業(yè)規(guī)模的擴大,ERP系統(tǒng)、生產(chǎn)系統(tǒng)、HR系統(tǒng)、OA系統(tǒng)等獨立系統(tǒng)的不斷增加,企業(yè)的各分子公司、各部門之間以及企業(yè)與合作伙伴之間需要相互協(xié)調,密切合作,企業(yè)內部原有的孤立應用已經(jīng)無法滿足這一要求,以數(shù)據(jù)和服務集成為核心的應用集成統(tǒng)一IT架構的價值和必要性日趨明顯。
傳統(tǒng)集成方式大量無序的后端集成必然形成復雜的網(wǎng)狀結構調用,復雜的網(wǎng)狀結構必然導致數(shù)據(jù)、業(yè)務感知差,通過總線形式整合數(shù)據(jù)采集處理ETL數(shù)據(jù)總線和ESB企業(yè)服務總線,構成基于消息通訊的數(shù)據(jù)交換服務總線,使得系統(tǒng)之間的關系更加清晰可控,提高企業(yè)IT的服務質量,更直接的為企業(yè)的業(yè)務擴展、業(yè)務創(chuàng)新、客戶維護和卓越運營提供了有力的保障。
二、關聯(lián)技術
ETL是實現(xiàn)數(shù)據(jù)集成的主要技術,ETL是Extract(抽?。ransform(轉換)、Load(加載)首字母的縮寫,主要提供數(shù)據(jù)抽取、數(shù)據(jù)轉換、數(shù)據(jù)加載功能。數(shù)據(jù)抽取即從源系統(tǒng)抽取目的系統(tǒng)需要的數(shù)據(jù);數(shù)據(jù)轉換即將從源系統(tǒng)獲取的數(shù)據(jù)按照業(yè)務需求,轉換成目的系統(tǒng)要求的形式,并對錯誤、不一致的數(shù)據(jù)進行清洗和加工;數(shù)據(jù)加載即將轉換后的數(shù)據(jù)裝載到目的系統(tǒng)中,供商業(yè)智能(Business Intelligent,BI)等應用使用。
ESB即企業(yè)服務總線,它是傳統(tǒng)中間件技術與XML、Web服務等技術結合的產(chǎn)物。ESB提供了網(wǎng)絡中最基本的連接中樞,是構筑企業(yè)神經(jīng)系統(tǒng)的必要元素。ESB的出現(xiàn)改變了傳統(tǒng)的軟件架構,消除不同應用之間的技術差異,讓不同的應用服務器協(xié)調運作,實現(xiàn)了不同服務之間的通信與整合。從功能上看,ESB提供了事件驅動和文檔導向的處理模式,以及分布式的運行管理機制,它支持基于內容的路由和過濾,具備了復雜數(shù)據(jù)的傳輸能力,并可以提供一系列的標準接口。ESB提供了一種開放的、基于標準的消息機制,通過簡單的標準適配器和接口,來完成粗粒度應用(服務)和其他組件之間的互操作,能夠滿足大型異構企業(yè)環(huán)境的集成需求。它可以在不改變現(xiàn)有基礎結構的情況下讓幾代技術實現(xiàn)互操作。通過使用ESB,可以在幾乎不更改代碼的情況下,以一種無縫的非侵入方式使企業(yè)已有的系統(tǒng)具有全新的服務接口,并能夠在部署環(huán)境中支持任何標準。
三、前鵬CloudEIP
企業(yè)應用的集成最核心的是服務和數(shù)據(jù)的集成,現(xiàn)市場上存在一些服務總線和數(shù)據(jù)交換平臺產(chǎn)品,但大多此類產(chǎn)品都比較龐大,部署和使用復雜,可定制及開放性有很大局限,在項目實際應用中如需滿足項目需求,需要投入較大的人力財力,同時項目實施周期較長,實施難度較大,實施風險較大,信息化規(guī)劃落地困難。另外,現(xiàn)存產(chǎn)品基本只具備數(shù)據(jù)交換平臺或服務總線中的一項職能。
CloudEIP(Cloud Enterprise Integration Platform)企業(yè)應用集成平臺是一套輕量、可定制性強、高度開放、可分布式部署,并具備服務集成和數(shù)據(jù)交換總線功能的軟件平臺,符合EIP(Enterprise Integration Patterns)企業(yè)集成模式規(guī)范,可滿足企業(yè)現(xiàn)存或將來構建的系統(tǒng)集成的需要,作為企業(yè)服務和數(shù)據(jù)集成、共享、交互的中樞,幫助企業(yè)構建統(tǒng)一規(guī)劃、統(tǒng)一標準、統(tǒng)一架構、統(tǒng)一管控的IT統(tǒng)一架構。
1、運行架構
(1)平臺支持分布式應用及部署,可以分開部署到多臺服務器,實現(xiàn)分布式運行和應用負載均衡,并支持分布式網(wǎng)絡的可靠、安全及高效通訊和消息傳輸,這可以根據(jù)實際運行使用環(huán)境的需要降低集中式部署帶來的總線性能瓶頸。
(2)整體運行基于消息總線管控,節(jié)點分為:管理節(jié)點、服務節(jié)點、任務節(jié)點。
(3)管理節(jié)點:主要用于管理整體運行,端點設置、作業(yè)設計發(fā)布、任務配置、運行監(jiān)控等。
(4)服務節(jié)點:受管理節(jié)點管控,運行代理服務或實體服務,上報運行日志。
(5)任務節(jié)點:受管理節(jié)點管控,運行自動任務,上報運行日志。
(6)管理節(jié)點、服務節(jié)點、任務節(jié)點根據(jù)需要可以部署在同一臺服務器,也可以分開或混合部署。
(7)管理節(jié)點、服務節(jié)點、任務節(jié)點運行環(huán)境相互隔離,可以單獨暫?;騿⒂媚硞€節(jié)點,甚至包括管理節(jié)點,即管理節(jié)點臨時的暫停使用不影響其它節(jié)點工作。
2、技術機制
CloudEIP企業(yè)應用集成平臺以企業(yè)服務總線(ESB)為服務基礎,整合規(guī)則路由(Route)引擎,通過各類適配器(包括:數(shù)據(jù)庫、Restful/WebService、Http、文件、Mail、FTP等)、服務代理、服務承載等方式接入共享的服務或數(shù)據(jù)端點(Endpoint),接入形式可通過第三方推送(推)和主動獲?。ɡ﹥煞N方式;經(jīng)過自定義處理組件(Component)進行業(yè)務過程(Processor)處理,最后輸出到服務、數(shù)據(jù)端點(Endpoint)或落地為主數(shù)據(jù),最終完成服務或數(shù)據(jù)的集成和交互。
3、功能特點
CloudEIP企業(yè)應用集成平臺通過適配器接口、消息、ETL組件、任務調度、資源目錄、服務管理、作業(yè)設計、運行監(jiān)控等核心功能模塊完成整體運行。
(1)集中、分類、共享、開放的資源服務管理
- 提供對數(shù)據(jù)或服務進行統(tǒng)一集中管理,包括資源管理、服務管理、元數(shù)據(jù)管理等。
- 提供元數(shù)據(jù)管理,源頭和目的資源進行分類和描述。
- 提供服務資源注冊和發(fā)布功能,包括數(shù)據(jù)庫表、文件資源、服務資源的注冊和發(fā)布。
- 提供作業(yè)設計,支持路由流程定義,并采用自定義腳本方式以滿足實際應用場景中的各種個性化的需要,腳本可支持聲明式DSL及動態(tài)Groovy腳本,并提供腳本開發(fā)環(huán)境。
(2)大規(guī)模多模式數(shù)據(jù)交換及服務承載
- 支持Oracle、SQLServer、DB2、MySql等多種數(shù)據(jù)庫的適配器接入。
- 支持數(shù)據(jù)庫表適配器接入、Mail郵件適配接入、FTP適配器接入、文件適配器接入、Restful/WebService服務適配器接入等多種組件。
- 支持多自動任務調度模式,支持標準的Corn表達式(0 0 10,14,16 * * ? 每天上午10點,下午2點,4點),可靈活調度自動任務的執(zhí)行。
- 支持一對一、一對多、多對一、多對多等多種方式的交換,出入站交換方向上支持單向交換、支持推拉雙向交換。
- 支持接入數(shù)據(jù)處理完成后存放在本地,以服務的方式在資源目錄中發(fā)布給訂閱方使用。
- 支持接入數(shù)據(jù)處理完成后直接存入目的方的數(shù)據(jù)庫或傳遞給目的方的服務。
(3)全過程的運行管理
- 提供從服務接入、處理到服務發(fā)布的全過程處理流程監(jiān)控。
- 提供全過程日志記錄,對服務提供方、處理過程、目標系統(tǒng)或數(shù)據(jù)庫落地全過程日志記錄。
- 支持擴展異常運行情況監(jiān)控報警,報警方式可擴展支持Mail、短信、微信等。
- 提供對平臺使用用戶及權限進行管理。
- 提供對資源目錄服務的接入和訂閱的使用權限進行管理,并可提供訪問鑒權key認證。
- 提供服務器硬件資源監(jiān)控,實時查看服務器運行。
4、應用場景
CloudEIP(Cloud Enterprise Integration Platform)企業(yè)應用集成平臺符合EIP(Enterprise Integration Patterns)企業(yè)集成模式規(guī)范,可滿足企業(yè)現(xiàn)存或將來構建的系統(tǒng)集成的需要,可滿足一切企業(yè)異構系統(tǒng)之間的服務共享和數(shù)據(jù)交換,作為企業(yè)服務和數(shù)據(jù)集成、共享、交互的中樞。
(1)可滿足企業(yè)所有異構系統(tǒng)的數(shù)據(jù)和服務的集成、共享、交互。
(2)可滿足數(shù)據(jù)庫到數(shù)據(jù)庫的大數(shù)據(jù)量的數(shù)據(jù)轉換和交換。
(3)對可提供服務共享的子系統(tǒng)可通過在本平臺進行服務代理從而達到服務共享的需要。
(4)對無法提供服務共享的子系統(tǒng)(老舊系統(tǒng)或不提供二次開發(fā)的產(chǎn)品)可通過在本平臺構建實體服務從而達到服務共享的需要。
(5)可對單個或多個系統(tǒng)數(shù)據(jù)進行抽取并共享給單個或多個其它系統(tǒng),以滿足多對多的數(shù)據(jù)共享需要。
(6)滿足對企業(yè)主數(shù)據(jù)集中落地企業(yè)數(shù)據(jù)中心,并進行集中分發(fā)、訂閱使用的管理。
(7)滿足企業(yè)各個子系統(tǒng)業(yè)務、財務、生產(chǎn)等綜合分析數(shù)據(jù)落地企業(yè)數(shù)據(jù)中心,形成專題數(shù)據(jù)庫,滿足企業(yè)構建BI分析平臺的需要。
(8)可對企業(yè)數(shù)據(jù)中心按分析報表需要進行定時分析加裝,按企業(yè)數(shù)據(jù)分析模型形成企業(yè)核心數(shù)據(jù)分析報表。
(9)… …
5、應用實例
中策橡膠集團有限公司成立于1958年,是目前國內最大的輪胎生產(chǎn)企業(yè),位列中國制造業(yè)500強及世界輪胎企業(yè)前10強。
集團2005年正式啟用ERP平臺全面管理集團業(yè)務,2012年啟動ERP平臺及相關系統(tǒng)全面升級工作,2014年完成升級并投入正式運行。
2015年啟動企業(yè)應用集成平臺部署并改造各大系統(tǒng)間交互模式工作,并于2016年初正式上線運行。
(1)部署改造前: