操作場景

該任務指導用戶使用Loader將數(shù)據(jù)從FTP服務器導入到HBase。

前提條件

• 創(chuàng)建或獲取該任務中創(chuàng)建Loader作業(yè)的業(yè)務用戶和密碼。
• 獲取FTP服務器使用的用戶和密碼，且該用戶具備FTP服務器上源文件的讀取權限。若源文件在導入后文件名要增加后綴，則該用戶還需具備源文件的寫入權限。
• 檢查磁盤空間，確保沒有出現(xiàn)告警且余量滿足導入、導出數(shù)據(jù)的大小。
• 使用Loader從FTP服務器導入數(shù)據(jù)時，確保FTP服務器輸入路徑目錄名、輸入路徑的子目錄名及子文件名不能包含特殊字符/\"':;,中的任意字符。
• 如果設置的作業(yè)需要使用指定YARN隊列功能，該用戶需要已授權有相關YARN隊列的權限。
• 設置任務的用戶需要獲取該任務的執(zhí)行權限，并獲取該任務對應的連接的使用權限。

操作步驟

設置作業(yè)基本信息

1. 登錄“Loader WebUI”界面。
   1. 登錄 FusionInsight Manager系統(tǒng)，具體請參見訪問FusionInsight Manager（ MRS 3.x及之后版本）。
   2. 選擇“集群 > 待操作集群名稱 > 服務 > Loader”。
   3. 單擊“LoaderServer(節(jié)點名稱，主)”打開“Loader WebUI”界面。
      圖1 Loader WebUI界面
      

2. 單擊“新建作業(yè)”，進入“基本信息”界面，創(chuàng)建作業(yè)基本信息。
   圖2 “基本信息”界面
   
   1. 在“名稱”中輸入作業(yè)的名稱。
   2. 在“類型”中選擇“導入”。
   3. 在“組”中設置作業(yè)所屬組，默認沒有已創(chuàng)建的組，單擊“添加”創(chuàng)建一個新的組，輸入組的名稱，單擊“確定”保存。
   4. 在“隊列”中選擇執(zhí)行該作業(yè)的YARN隊列。默認值“root.default”。
   5. 在“優(yōu)先級”中選擇執(zhí)行該作業(yè)的YARN隊列優(yōu)先級。默認值為“NORMAL”?？蛇x值為“VERY_LOW”、“LOW”、“NORMAL”、“HIGH”和“VERY_HIGH”。

3. 在“連接”區(qū)域，單擊“添加”新建一個連接，在“連接器”中選擇“ftp-connector”，單擊“添加”，輸入配置連接參數(shù)，單擊“測試”驗證連接是否可用，待提示“測試成功”后單擊“確定”。Loader支持配置多個FTP服務器操作數(shù)據(jù)，單擊“添加”可增加多行FTP服務器的配置信息。

   表1 連接參數(shù)

   參數(shù)名	說明	示例
   FTP服務器的IP	FTP服務器的IP地址。	ftpName
   FTP服務器端口	FTP服務器的端口號。	22
   FTP用戶名	訪問FTP服務器的用戶名。	root
   FTP密碼	訪問FTP服務器的密碼。	xxxx
   FTP模式	設置FTP訪問模式，“ACTIVE”表示主動模式，“P AS SIVE”表示被動模式。不指定參數(shù)值，默認為被動模式。	PASSIVE
   FTP協(xié)議	設置FTP傳輸協(xié)議： “FTP”：FTP協(xié)議。 “SSL_EXPLICIT”：顯式SSL協(xié)議。 “SSL_IMPLICIT”：隱式SSL協(xié)議。 “TLS_EXPLICIT”：顯式TLS協(xié)議。 “TLS_IMPLICIT”：隱式TLS協(xié)議。 不指定參數(shù)值，默認為FTP協(xié)議。	FTP
   文件名編碼類型	填寫FTP服務器支持的文件名、文件路徑編碼格式，不填寫時使用系統(tǒng)默認格式UTF-8。	UTF-8

   

   配置多個FTP服務器，多個服務器指定目錄的數(shù)據(jù)將導入到HBase。

   設置數(shù)據(jù)源信息

4. 單擊“下一步”，進入“輸入設置”界面，設置數(shù)據(jù)源信息。

   表2 輸入設置參數(shù)

   參數(shù)名	說明	示例
   輸入路徑	FTP服務器中源文件的輸入路徑，如果連接器配置多個地址此處可對應使用“;”分隔多個輸入路徑，數(shù)量需要與連接器中服務器的數(shù)量一致。 說明： 路徑參數(shù)可以使用宏定義，具體請參考配置項中使用宏定義。	/opt/tempfile;/opt
   文件分割方式	選擇按文件或大小分割源文件，作為數(shù)據(jù)導入的MapReduce任務中各個map的輸入文件。 選擇“FILE”，表示按文件分割源文件，即每個map處理一個或多個完整的源文件，同一個源文件不可分配至不同map，完成數(shù)據(jù)導入后保持源文件的目錄結構。 選擇“SIZE”，表示按大小分割源文件，即每個map處理一定大小的輸入文件，同一個源文件可分割至多個map，數(shù)據(jù)保存至輸出目錄時保存的文件數(shù)與map數(shù)量相同，文件名格式為“import_part_xxxx”，“xxxx”為系統(tǒng)生成的隨機數(shù)，具有唯一性。	FILE
   過濾類型	選擇文件過濾的條件，與“路徑過濾器”、“文件過濾器”配合使用。 選擇“WILDCARD”，表示使用通配符過濾。 選擇“REGEX”，表示使用正則表達式匹配。 不選擇，則默認為通配符過濾。	WILDCARD
   路徑過濾器	與“過濾類型”配合使用，配置通配符或正則表達式對源文件的輸入路徑包含的目錄進行過濾。“輸入路徑”不參與過濾。使用分號“;”分隔多個服務器上的路徑過濾器，每個服務器的多個過濾條件使用逗號“,”隔開。配置為空時表示不過濾目錄。 “?”匹配單個字符。 “*”配置多個字符。 在匹配條件前加“^”表示取反，即文件過濾。 例如，當“過濾類型”選擇“WILDCARD”時，將該參數(shù)設置為“*”；當“過濾類型”選擇“REGEX”時，將該參數(shù)設置為“\\.*”。	1*,2*;1*
   文件過濾器	與“過濾類型”配合使用，配置通配符或正則表達式對源文件的輸入文件名進行過濾。使用分號“;”分隔多個服務器上的文件過濾器，每個服務器的多個過濾條件使用逗號“,”隔開。該參數(shù)不能配置為空。 “?”匹配單個字符。 “*”配置多個字符。 在匹配條件前加“^”表示取反，即文件過濾。 例如，當“過濾類型”選擇“WILDCARD”時，將該參數(shù)設置為“*”；當“過濾類型”選擇“REGEX”時，將該參數(shù)設置為“\\.*”。	*.txt,*.csv;*.txt
   編碼類型	源文件的編碼格式，如UTF-8、GBK。導入文本文件時才能配置。	UTF-8
   后綴名	源文件導入成功后對輸入文件增加的后綴值。該值為空，則表示不加后綴。數(shù)據(jù)源為文件系統(tǒng)，該參數(shù)才有效。用戶若需增量導入數(shù)據(jù)建議設置該參數(shù)。 例如設置為“.txt”，源文件為“test-loader.csv”，則導出后源文件名為“test-loader.csv.txt”。	.log
   壓縮	使用FTP協(xié)議導入數(shù)據(jù)時，是否開啟壓縮傳輸功能以減小帶寬使用。 選擇“true”，表示開啟壓縮。 選擇“false”，表示關閉壓縮。	true

   設置數(shù)據(jù)轉換

5. 單擊“下一步”，進入“轉換”界面，設置數(shù)據(jù)傳輸過程中的轉換操作。算子的選擇和參數(shù)設置具體請參考算子幫助及表3。

   表3 算子輸入、輸出參數(shù)設置

   輸入類型	輸出類型
   CS V文件輸入	HBase輸出
   HTML輸入	HBase輸出
   固定寬度文件輸入	HBase輸出

   圖3 算子操作方法示意
   

   設置數(shù)據(jù)保存信息并運行作業(yè)

6. 單擊“下一步”，進入“輸出設置”界面，根據(jù)實際場景在“存儲類型”選擇“HBASE_BULKLOAD”或“HBASE_PUTLIST”，設置數(shù)據(jù)保存方式。

   表4 輸出設置參數(shù)

   存儲類型	適用場景	參數(shù)名	說明	示例
   HBASE_BULKLOAD	數(shù)據(jù)量大	HBase實例	在HBase作業(yè)中，Loader支持從集群可添加的所有HBase服務實例中選擇任意一個。如果選定的HBase服務實例在集群中未添加，則此作業(yè)無法正常運行。	HBase
   		導入前清理數(shù)據(jù)	導入前清空原表的數(shù)據(jù)。“True”為執(zhí)行清空，“False”為不執(zhí)行。不配置此參數(shù)則默認不執(zhí)行清空。	true
   		Map數(shù)	配置數(shù)據(jù)操作的MapReduce任務中同時啟動的map數(shù)量。參數(shù)值必須小于或等于3000，建議以FTP服務器當前最大連接數(shù)作為其取值。	20
   		Map數(shù)據(jù)塊大小	HBase不支持此參數(shù)，請配置“Map數(shù)”。	-
   HBASE_PUTLIST	數(shù)據(jù)量小	HBase實例	在HBase作業(yè)中，Loader支持從集群可添加的所有HBase服務實例中選擇任意一個。如果選定的HBase服務實例在集群中未添加，則此作業(yè)無法正常運行。	HBase
   		Map數(shù)	配置數(shù)據(jù)操作的MapReduce任務中同時啟動的map數(shù)量。參數(shù)值必須小于或等于3000。	20
   		Map數(shù)據(jù)塊大小	HBase不支持此參數(shù)，請配置“Map數(shù)”。	-

7. 單擊“保存并運行”，開始保存并運行作業(yè)。

   查看作業(yè)完成情況

8. 進入“Loader WebUI”界面，待“狀態(tài)”顯示“成功”則說明作業(yè)完成。
   圖4 查看作業(yè)