GE數(shù)字集團系統(tǒng)架構師 余思源

Historian 8.1已經(jīng)在今年五月正式發(fā)布，該版本的一個重要更新就是新發(fā)布的ETL工具。

ETL是Extract, Transform, Load的縮寫，中文翻譯是：提取-傳輸-加載，實際上ETL是一套面向文件的高性能數(shù)據(jù)傳輸解決工具。

功能簡介

眾所周知，Historian已經(jīng)提供了Server to Server (S2S)采集器，用于在兩臺Historian服務器之間傳遞數(shù)據(jù)。S2S采集器可以高效實時地傳遞數(shù)據(jù)，同時還支持本地緩存功能，在網(wǎng)絡中斷時可保障數(shù)據(jù)不丟失。

但是S2S采集器也有局限性，若兩臺Historian服務器之間無網(wǎng)絡連接（兩臺服務器位于不同的城市，或者一臺在控制網(wǎng)而另一臺在辦公網(wǎng)），或者網(wǎng)絡連接的成本太高（一臺服務器部署在輪船上而另一臺在陸上的數(shù)據(jù)中心）時，S2S采集器則不太適用了。

Historian ETL正是為了應對這些場景而生，它包含一整套面向文件的數(shù)據(jù)提取，傳輸和加載工具。

首先，ETL配置哪些標簽需要發(fā)送，它們在現(xiàn)場和目標Historian上的名稱（可以不相同）,是否啟用采集器壓縮，死區(qū)范圍，超時時間等信息；然后將現(xiàn)場Historian服務器上選中的數(shù)據(jù)提取并保存為文本文件，若干文本文件合并壓縮再后發(fā)送到一臺BITS或FTP文件服務器上；目標Historian服務器上開啟相應服務來監(jiān)控文件服務器，一旦發(fā)現(xiàn)了新的壓縮文件，則將其內(nèi)容解析后導入目標Historian中。

ETL傳輸方式類似于“數(shù)據(jù)二極管”的模式，數(shù)據(jù)是單方向的傳輸，現(xiàn)場Historian服務器不知道也無需知道目標Historian服務器是否收到數(shù)據(jù)，從而避免了一切通過狀態(tài)反饋信息來試探甚至破壞現(xiàn)場Historian服務器。此外，壓縮文件可以暫存在目標服務器上，這也降低了對現(xiàn)場Historian服務器的磁盤和性能的要求。

前期準備

在前期準備時，用戶需要創(chuàng)建一個XML文件，指定現(xiàn)場Proficy Historian或PI Server中哪些標簽及其屬性需要提取，該文件格式如下：

為了方便用戶維護該XML文件，系統(tǒng)提供一個Excel模板，用戶可方便地在Excel中整理需要提取的標簽列表，然后輸出到XML文件中。

提取

提取組件可以將數(shù)據(jù)從三種數(shù)據(jù)源中導出，它們是Historian時序數(shù)據(jù)，Historian A&E數(shù)據(jù)和OSI PI數(shù)據(jù)。

對于Historian時序數(shù)據(jù)，還可以提取警報和事件數(shù)據(jù)，執(zhí)行數(shù)據(jù)縮放和絕對值死區(qū)壓縮。

將導出的文本文件進行壓縮，以實現(xiàn)高效傳輸。

用戶需要通過Historian ETL Extract Configuration工具對提取組件進行配置，其界面如下：

配置完成后，點擊配置工具中的“Start Service” 按鈕即可開始提取工作。

以Historian時序數(shù)據(jù)為例，提取組件的工作流程如下：

將與標簽相關的數(shù)據(jù)提取到文本文件中，該文件以以下格式命名：YYYYDDMMHHRR_ <現(xiàn)場historian計算機名稱> .txt。這些文件存儲在以下文件夾中：/ Historian ETL Extract / HistFiles。

提取了指定數(shù)量的文本文件（默認為6個）后，將這些文本文件打包壓縮為.zip文件，該文件以以下格式命名：YYYYDDMMHHRR_ <現(xiàn)場historian計算機名稱> .zip。這些文件存儲在以下文件夾中：/ Historian ETL Extract / ZipFiles。

文件被壓縮后，刪除/ Historian ETL Extract / HistFiles文件夾中的文本文件。

傳輸

在目標Historian服務器上安裝文件共享傳輸協(xié)議（例如FTP，BITS等），將數(shù)據(jù)從現(xiàn)場Historian服務器傳輸?shù)侥繕薍istorian服務器。

若選擇使用BITS，需要在Windows Features中安裝BITS相關服務，如下圖所示。

BITS站點配置完成后，用戶可執(zhí)行/Historian ETL Transform/BITS 目錄下的

OSM_LBW_Transfer.cmd程序來啟動文件傳輸，相關配置信息請參見OSM_LBW_Transfer.vbs文件。

若選擇使用FTP，需要在Windows Server Roles中安裝FTP相關服務，如下圖所示。

FTP站點配置完成后，用戶可執(zhí)行/Historian ETL Transform/ FTP File Transfer/ 目錄下的. FTPFileTransfer程序，配置FTP站點信息，需要監(jiān)控的ZIP文件目錄等，點擊 “Start“按鈕即可開始傳輸文件。

加載

加載是提取的逆向操作，它負責監(jiān)視文件目錄，解壓縮文件并處理它們，將數(shù)據(jù)加載到Proficy Historian中。

用戶需要通過Historian ETL Load Configuration工具對加載組件進行配置，其界面如下：

配置完成后，點擊配置工具中的“Start Service” 按鈕即可開始加載工作。

加載組件的工作流程如下：

提取/ Historian ETL Load / ZipImportFiles文件夾中的.zip文件，解壓縮后的文本文件存儲在目標Historian服務器的/ Historian ETL Load / ImportFiles文件夾中。

將數(shù)據(jù)導入到目標Historian服務器。

刪除/ Historian ETL Load / ZipImportFiles文件夾中的.zip文件。

刪除/ Historian ETL Load / ImportFiles文件夾中的文本文件。

總結(jié)

ETL工具是Server to Server采集器的有效補充，它可以為眾多的應用場景提供服務，如下文所示：

通過無線電或低帶寬蜂窩連接進行數(shù)據(jù)傳輸

沒有連接的數(shù)據(jù)傳輸（使用移動媒介進行讀寫）

用于定期連接應用程序的數(shù)據(jù)傳輸（例如，船舶可以在到達港口時傳輸數(shù)據(jù)）

通過單向安全連接（例如數(shù)據(jù)二極管）進行數(shù)據(jù)傳輸

從OSI PI Server到Proficy Historian的數(shù)據(jù)遷移

提取Historian數(shù)據(jù)以導入到其它應用程序中

從其它應用程序?qū)霐?shù)據(jù)到Historian中

ETL包含數(shù)據(jù)提取，傳輸和加載三個組件，它們可以單獨使用，也可以組合成一套完整的面向文件的數(shù)據(jù)傳輸解決方案。

如果大家對ETL工具和新發(fā)布的Historian 8.1感興趣，歡迎隨時與GE Digital聯(lián)系。