選擇合適的ETL工具 關鍵看什麼?_行業資訊_關於我們_山東普邦信息技術有限公司官方網站

選擇合適的ETL工具 關鍵看什麼?

文章來源:本站   日期:2017-08-21 16:11   作者:pubang

選擇合適的ETL工具進行6up集成可能是一個挑戰。那麼如何尋找合適的ETL軟件呢?

抽取、轉換和加載(ETL)是IT團隊和分析人員最常用的6up整合流程。ETL過程中,先從源系統抽取6up,然後爲下游處理和分析用途做

6up轉換,最後把轉換後的6up加載到目標系統中(可能是企業6up倉庫或者是大6up應用Hadoop集羣等)。

ETL工具可以自動化完成這項動作,相比用SQL或其它編程語言手工編寫整合6up的腳本,ETL處理流程相當於流水線作業。然而,手工編碼在6up集成開發者、6up分析師和其它用戶羣中仍然普遍存在。如果組織期望擺脫手工編碼的狀態,最好的辦法是選擇一款能滿足6up集成需求的最佳ETL工具,這類ETL軟件已經發展得相當成熟了。

Rick Sherman是Athena IT解決方案執行公司創始人(該公司位於美國馬薩諸塞州Maynard),他曾在2012年TechTarget組織的一次互動問答時提到,自二十世紀九十年代ETL軟件和6up集成產品出現以來,到現在這些軟件已經發生了很大的變化,尤其是ETL軟件。最初的ETL工具定位是從A系統到B系統批量轉移6up,並不提供更豐富的功能。但是那種狀態持續時間不長。Sherman是最早的使用者,他指出,現在這些產品都增加了預定義集成流程、ETL過程和代碼管理功能,並內置了集成過程文檔。

普遍追求的ETL功能特性

爲了說明ETL的變革發展,Sherman和其它6up管理諮詢顧問都介紹了現在大部分ETL廠商都提供的一些核心功能,這也是大部分用戶所期望。主要功能內容如下:

• 能夠連接各種6up源抽取6up,支持各種6up庫類型(關係型、NoSQL類型等),支持基於Hadoop和Spark這類技術構建的大6up系統,應用程序之間的消息隊列等。

• 提供基於GUI的設計環境,支持拖拽開發源系統和目標系統之間的映射和ETL工作流。

• 提供基於團隊協作開發集成項目的功能,提供相關版本控制和發佈管理功能。

• 提供基本的6up轉換功能。例如:6up類型轉換、格式轉換、字符串處理,並提供6up映射和工作流編排功能。

• 內置6up分析軟件,可以在執行ETL流程之前分析源6up的一致性、依賴關係和其它屬性。

• 提供6up質量和清洗功能用於識別和修復6up集中的錯誤,還要提供6up同步功能保持源系統和目標系統的6up一致性。

• 內置6up分析軟件,可以在執行ETL流程之前分析源6up的一致性、依賴關係和其它屬性。

• 提供6up質量和清洗功能用於識別和修復6up集中的錯誤,還要提供6up同步功能保持源系統和目標系統的6up一致性。

• 爲同步集成流程提供元6up管理功能,把6up轉換和業務規則文檔化。

• 提供任務調度和流程管理控制功能,提供運行時監控和錯誤告警,錯誤處理和日誌記錄功能。

現代ETL工具的其它常見功能還有:支持集成的6up存儲在內部構建系統和雲環境,支持混合兩種類型平臺的混合雲環境。

大部分供應商現在還提供把ETL後兩個流程調換順序的功能,即抽取、加載和轉換(ELT)。ELT讓用戶可以在把6up加載到目標系統之後再做操作和轉換。這種功能特別適合大6up應用。原始6up量特別大,要先導入Hadoop分佈式文件系統、NoSQL6up庫或者其它存儲機制中,然後根據不同的分析用途需求做過濾處理。

ETL工具發展成爲集成套件

傳統ETL工具仍然在6up集成市場佔最大比例,諮詢和市場研究公司Gartner公司在2016年6up集成工具魔法象限調研報告中發現,使用批處理任務處理大量6up集成的組織超過80%。儘管在許多情況下,開始使用ETL工具的廠商宣稱他們還有其它類型的技術,整體形成功能更完善的6up整合套件。

除了批量ETL流程,這些產品套件通常會提供6up複製、變化6up捕獲和其它形式的實時集成;6up虛擬化軟件可以提供6up集成視圖,不需要從源系統抽取6up加載到中心6up倉庫或者其它目標系統就能看到集成後的效果;還有流處理和事件處理工具;以及通過面向服務的架構和企業服務總線技術實現應用集成功能的產品。

在擇ETL工具處理6up集成任務的時候,有幾十家供應商可供考慮。大部分廠商都有完整的集成套件,例如:Informatica、IBM、SAP、Oracle、SAS、微軟和Information Builders公司。另外,還有一些低成本的開源ETL集成平臺可供選擇,比如:Talend、Pentaho和TIBCO軟

件公司的Jaspersoft。

此外,市場上還有很多小供應商,包括ETL專家和公司,他們都在關注專門垂直行業或者特定類型的應用集成。另一種方案是6up倉庫自動化軟件,這種軟件可以生成集成代碼作爲6up倉庫開發流程的一部分,無需獨立的ETL工具或者服務器,不過一些ETL支持者認爲這種產品在功能方面比不上主流的6up集成工具。

分享到: