HDFS基本原理
HDFS針對(duì)的使用場(chǎng)景是數(shù)據(jù)讀寫具有“一次寫，多次讀”的特征。HDFS保證一個(gè)文件在一個(gè)時(shí)刻只被一個(gè)調(diào)用者執(zhí)行寫操作，而可以被多個(gè)調(diào)用者執(zhí)行讀操作。
HDFS結(jié)構(gòu)
HDFS是一個(gè)Master/Slave的架構(gòu)，在Master上運(yùn)行NameNode，而在每一個(gè)Slave上運(yùn)行DataNode，ZKFC需要和NameNode一起運(yùn)行。
- 各模塊的功能說明如下所示：
NameNode
用于管理文件系統(tǒng)的命名空間、目錄結(jié)構(gòu)、元數(shù)據(jù)信息以及提供備份機(jī)制等，分為
Active NameNode、Standby NameNode、Observer NameNode。
DataNode
用于存儲(chǔ)每個(gè)文件的“數(shù)據(jù)塊”數(shù)據(jù)，并且會(huì)周期性地向NameNode報(bào)告該DataNode的數(shù)據(jù)存放情況。
JournalNode
HA集群下，用于同步主備NameNode之間的元數(shù)據(jù)信息。
ZKFC
ZKFC是需要和NameNode一一對(duì)應(yīng)的服務(wù)，即每個(gè)NameNode都需要部署ZKFC。它負(fù)責(zé)監(jiān)控NameNode的狀態(tài)，并及時(shí)把狀態(tài)寫入ZooKeeper。ZKFC也有選擇誰作為Active NameNode的權(quán)利。
ZK Cluster
ZooKeeper是一個(gè)協(xié)調(diào)服務(wù)，幫助ZKFC執(zhí)行主NameNode的選舉。
HttpFS gateway
HttpFS是個(gè)單獨(dú)無狀態(tài)的gateway進(jìn)程，對(duì)外提供webHDFS接口，對(duì)HDFS使用FileSystem接口對(duì)接?？捎糜诓煌琀adoop版本間的數(shù)據(jù)傳輸，及用于訪問在防火墻后的HDFS（HttpFS用作gateway）。
HDFS HA架構(gòu)
HA即為High Availability，用于解決NameNode單點(diǎn)故障問題，該特性通過主備的方式為主NameNode提供一個(gè)備用者，一旦主NameNode出現(xiàn)故障，可以迅速切換至備NameNode，從而不間斷對(duì)外提供服務(wù)。
- HA架構(gòu)介紹
在一個(gè)典型HDFS HA場(chǎng)景中，通常由兩個(gè)NameNode組成，一個(gè)處于Active狀態(tài)，另一個(gè)處于Standby狀態(tài)。
為了能實(shí)現(xiàn)Active和Standby兩個(gè)NameNode的元數(shù)據(jù)信息同步，需提供一個(gè)共享存儲(chǔ)系統(tǒng)。本版本提供基于QJM（Quorum Journal Manager）的HA解決方案，如圖2所示。主備NameNode之間通過一組JournalNode同步元數(shù)據(jù)信息。
通常配置奇數(shù)個(gè)（2N+1個(gè)）JournalNode，且最少要運(yùn)行3個(gè)JournalNode。這樣，一條元數(shù)據(jù)更新消息只要有N+1個(gè)JournalNode寫入成功就認(rèn)為數(shù)據(jù)寫入成功，此時(shí)最多容忍N(yùn)個(gè)JournalNode寫入失敗。比如，3個(gè)JournalNode時(shí)，最多允許1個(gè)JournalNode寫入失敗，5個(gè)JournalNode時(shí)，最多允許2個(gè)JournalNode寫入失敗。
由于JournalNode是一個(gè)輕量級(jí)的守護(hù)進(jìn)程，可以與Hadoop其它服務(wù)共用機(jī)器。建議將JournalNode部署在控制節(jié)點(diǎn)上，以避免數(shù)據(jù)節(jié)點(diǎn)在進(jìn)行大數(shù)據(jù)量傳輸時(shí)引起JournalNode寫入失敗。
HDFS原理
MRS使用HDFS的副本機(jī)制來保證數(shù)據(jù)的可靠性，HDFS中每保存一個(gè)文件則自動(dòng)生成1個(gè)備份文件，即共2個(gè)副本。HDFS副本數(shù)可通過“dfs.replication”參數(shù)查詢。
- Core節(jié)點(diǎn)與HDFS默認(rèn)副本的關(guān)系：
當(dāng)MRS集群中Core節(jié)點(diǎn)規(guī)格選擇為非本地盤（hdd）時(shí)，若集群中只有一個(gè)Core節(jié)點(diǎn)，則HDFS默認(rèn)副本數(shù)為1。若集群中Core節(jié)點(diǎn)數(shù)大于等于2，則HDFS默認(rèn)副本數(shù)為2。
當(dāng)MRS集群中Core節(jié)點(diǎn)規(guī)格選擇為本地盤（hdd）時(shí)，若集群中只有一個(gè)Core節(jié)點(diǎn)，則HDFS默認(rèn)副本數(shù)為1。若集群中有兩個(gè)Core節(jié)點(diǎn)，則HDFS默認(rèn)副本數(shù)為2。若集群中Core節(jié)點(diǎn)數(shù)大于等于3，則HDFS默認(rèn)副本數(shù)為3。
- MRS服務(wù)的HDFS組件支持以下部分特性：
HDFS組件支持糾刪碼，使得數(shù)據(jù)冗余減少到50%，且可靠性更高，并引入條帶化的塊存儲(chǔ)結(jié)構(gòu)，最大化的利用現(xiàn)有集群?jiǎn)喂?jié)點(diǎn)多磁盤的能力，使得數(shù)據(jù)寫入性能在引入編碼過程后，仍和原來多副本冗余的性能接近。
支持HDFS組件上節(jié)點(diǎn)均衡調(diào)度和單節(jié)點(diǎn)內(nèi)的磁盤均衡調(diào)度，有助于擴(kuò)容節(jié)點(diǎn)或擴(kuò)容磁盤后的HDFS存儲(chǔ)性能提升。
HDFS與其他組件的關(guān)系
-
HDFS和HBase的關(guān)系
HDFS是Apache的Hadoop項(xiàng)目的子項(xiàng)目，HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)。HBase位于結(jié)構(gòu)化存儲(chǔ)層，Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持。除了HBase產(chǎn)生的一些日志文件，HBase中的所有數(shù)據(jù)文件都可以存儲(chǔ)在Hadoop HDFS文件系統(tǒng)上。
HDFS是Apache的Hadoop項(xiàng)目的子項(xiàng)目，HBase利用Hadoop HDFS作為其文件存儲(chǔ)系統(tǒng)。HBase位于結(jié)構(gòu)化存儲(chǔ)層，Hadoop HDFS為HBase提供了高可靠性的底層存儲(chǔ)支持。除了HBase產(chǎn)生的一些日志文件，HBase中的所有數(shù)據(jù)文件都可以存儲(chǔ)在Hadoop HDFS文件系統(tǒng)上。
-
HDFS和MapReduce的關(guān)系
HDFS是Hadoop分布式文件系統(tǒng)，具有高容錯(cuò)和高吞吐量的特性，可以部署在價(jià)格低廉的硬件上，存儲(chǔ)應(yīng)用程序的數(shù)據(jù)，適合有超大數(shù)據(jù)集的應(yīng)用程序。
而MapReduce是一種編程模型，用于大數(shù)據(jù)集（大于1TB）的并行運(yùn)算。在MapReduce程序中計(jì)算的數(shù)據(jù)可以來自多個(gè)數(shù)據(jù)源，如Local FileSystem、HDFS、數(shù)據(jù)庫等。最常用的是HDFS，可以利用HDFS的高吞吐性能讀取大規(guī)模的數(shù)據(jù)進(jìn)行計(jì)算。同時(shí)在計(jì)算完成后，也可以將數(shù)據(jù)存儲(chǔ)到HDFS。
HDFS是Hadoop分布式文件系統(tǒng)，具有高容錯(cuò)和高吞吐量的特性，可以部署在價(jià)格低廉的硬件上，存儲(chǔ)應(yīng)用程序的數(shù)據(jù)，適合有超大數(shù)據(jù)集的應(yīng)用程序。
而MapReduce是一種編程模型，用于大數(shù)據(jù)集（大于1TB）的并行運(yùn)算。在MapReduce程序中計(jì)算的數(shù)據(jù)可以來自多個(gè)數(shù)據(jù)源，如Local FileSystem、HDFS、數(shù)據(jù)庫等。最常用的是HDFS，可以利用HDFS的高吞吐性能讀取大規(guī)模的數(shù)據(jù)進(jìn)行計(jì)算。同時(shí)在計(jì)算完成后，也可以將數(shù)據(jù)存儲(chǔ)到HDFS。
-
HDFS和Spark的關(guān)系
通常，Spark中計(jì)算的數(shù)據(jù)可以來自多個(gè)數(shù)據(jù)源，如Local File、HDFS等。最常用的是HDFS，用戶可以一次讀取大規(guī)模的數(shù)據(jù)進(jìn)行并行計(jì)算。在計(jì)算完成后，也可以將數(shù)據(jù)存儲(chǔ)到HDFS。
分解來看，Spark分成控制端（Driver）和執(zhí)行端（Executor）?？刂贫素?fù)責(zé)任務(wù)調(diào)度，執(zhí)行端負(fù)責(zé)任務(wù)執(zhí)行。
通常，Spark中計(jì)算的數(shù)據(jù)可以來自多個(gè)數(shù)據(jù)源，如Local File、HDFS等。最常用的是HDFS，用戶可以一次讀取大規(guī)模的數(shù)據(jù)進(jìn)行并行計(jì)算。在計(jì)算完成后，也可以將數(shù)據(jù)存儲(chǔ)到HDFS。
分解來看，Spark分成控制端（Driver）和執(zhí)行端（Executor）?？刂贫素?fù)責(zé)任務(wù)調(diào)度，執(zhí)行端負(fù)責(zé)任務(wù)執(zhí)行。
-
HDFS和ZooKeeper的關(guān)系
ZKFC（ZKFailoverController）作為一個(gè)ZooKeeper集群的客戶端，用來監(jiān)控NameNode的狀態(tài)信息。ZKFC進(jìn)程僅在部署了NameNode的節(jié)點(diǎn)中存在。HDFS NameNode的Active和Standby節(jié)點(diǎn)均部署有zkfc進(jìn)程。
1.HDFS NameNode的ZKFC連接到ZooKeeper，把主機(jī)名等信息保存到ZooKeeper中，即“/hadoop-ha”下的znode目錄里。先創(chuàng)建znode目錄的NameNode節(jié)點(diǎn)為主節(jié)點(diǎn)，另一個(gè)為備節(jié)點(diǎn)。HDFS NameNode Standby通過ZooKeeper定時(shí)讀取NameNode信息。
2.當(dāng)主節(jié)點(diǎn)進(jìn)程異常結(jié)束時(shí)，HDFS NameNode Standby通過ZooKeeper感知“/hadoop-ha”目錄下發(fā)生了變化，NameNode會(huì)進(jìn)行主備切換。
ZKFC（ZKFailoverController）作為一個(gè)ZooKeeper集群的客戶端，用來監(jiān)控NameNode的狀態(tài)信息。ZKFC進(jìn)程僅在部署了NameNode的節(jié)點(diǎn)中存在。HDFS NameNode的Active和Standby節(jié)點(diǎn)均部署有zkfc進(jìn)程。
1.HDFS NameNode的ZKFC連接到ZooKeeper，把主機(jī)名等信息保存到ZooKeeper中，即“/hadoop-ha”下的znode目錄里。先創(chuàng)建znode目錄的NameNode節(jié)點(diǎn)為主節(jié)點(diǎn)，另一個(gè)為備節(jié)點(diǎn)。HDFS NameNode Standby通過ZooKeeper定時(shí)讀取NameNode信息。
2.當(dāng)主節(jié)點(diǎn)進(jìn)程異常結(jié)束時(shí)，HDFS NameNode Standby通過ZooKeeper感知“/hadoop-ha”目錄下發(fā)生了變化，NameNode會(huì)進(jìn)行主備切換。
華為云MRS基于開源HDFS做了哪些特性增強(qiáng)？
華為云MRS基于開源HDFS做了哪些特性增強(qiáng)？
-
文件塊同分布（Colocation）
離線數(shù)據(jù)匯總統(tǒng)計(jì)場(chǎng)景中，Join是一個(gè)經(jīng)常用到的計(jì)算功能，在MapReduce中的實(shí)現(xiàn)方式大體如下：
- Map任務(wù)分別將兩表文件的記錄處理成（Join Key，Value），然后按照J(rèn)oin Key做Hash分區(qū)后，送到不同的Reduce任務(wù)里去處理。
- Reduce任務(wù)一般使用Nested Loop方式遞歸左表的數(shù)據(jù)，并遍歷右表的每一行，對(duì)于相等的Join Key，處理Join結(jié)果并輸出。
- 以上方式的最大問題在于，由于數(shù)據(jù)分散在各節(jié)點(diǎn)上，所以在Map到Reduce過程中，需要大量的網(wǎng)絡(luò)數(shù)據(jù)傳輸，使得Join計(jì)算的性能大大降低，該過程如圖1所示：
圖1 無同分布數(shù)據(jù)傳輸流程
由于數(shù)據(jù)表文件是以HDFS Block方式存放在物理文件系統(tǒng)中，如果能把兩個(gè)需要Join的文件數(shù)據(jù)塊按Join Key分區(qū)后，一一對(duì)應(yīng)地放在同一臺(tái)機(jī)器上，則在Join計(jì)算的Reduce過程中無需傳遞數(shù)據(jù)，直接在節(jié)點(diǎn)本地做Map Join后就能得到結(jié)果，性能顯著提升。
HDFS數(shù)據(jù)同分布特性，使得需要做關(guān)聯(lián)和匯總計(jì)算的兩個(gè)文件FileA和FileB，通過指定同一個(gè)分布ID，使其所有的Block分布在一起，不再需要跨節(jié)點(diǎn)讀取數(shù)據(jù)就能完成計(jì)算，極大提高M(jìn)apReduce Join性能。
-
硬盤壞卷設(shè)置
在開源版本中，如果為DataNode配置多個(gè)數(shù)據(jù)存放卷，默認(rèn)情況下其中一個(gè)卷損壞，則DataNode將不再提供服務(wù)。配置項(xiàng)“dfs.datanode.failed.volumes.tolerated”可以指定失敗的個(gè)數(shù)，小于該個(gè)數(shù)，DataNode可以繼續(xù)提供服務(wù)。
“dfs.datanode.failed.volumes.tolerated”取值范圍為-1~DataNode上配置的磁盤卷數(shù)，默認(rèn)值為-1，效果如圖2所示。
圖2 選項(xiàng)設(shè)置為0
-
HDFS啟動(dòng)加速
在HDFS中，NameNode啟動(dòng)需要加載元數(shù)據(jù)文件fsimage，然后等待DataNode完成啟動(dòng)并上報(bào)數(shù)據(jù)塊信息。當(dāng)DataNode上報(bào)的數(shù)據(jù)塊信息達(dá)到設(shè)定百分比時(shí)，NameNode退出Safemode，完成啟動(dòng)過程。當(dāng)HDFS上保存的文件數(shù)量達(dá)到千萬甚至億級(jí)以后，以上兩個(gè)過程都要耗費(fèi)大量的時(shí)間，致使NameNode的啟動(dòng)過程變得非常漫長。該版本對(duì)加載元數(shù)據(jù)fsimage這一過程進(jìn)行了優(yōu)化。
在開源HDFS中，fsimage里保存了所有類型的元數(shù)據(jù)信息，每一類元數(shù)據(jù)信息（如文件元數(shù)據(jù)信息和文件夾元數(shù)據(jù)信息）分別保存在一個(gè)section塊里，這些section塊在啟動(dòng)時(shí)是串行加載的。當(dāng)HDFS上存儲(chǔ)了大量的文件和文件夾時(shí)，這兩個(gè)section的加載就會(huì)非常耗時(shí)，影響HDFS文件系統(tǒng)的啟動(dòng)時(shí)間。HDFS NameNode在生成fsimage時(shí)可以將同一類型的元數(shù)據(jù)信息分段保存在多個(gè)section里，當(dāng)NameNode啟動(dòng)時(shí)并行加載fsimage中的section以加快加載速度。
-
基于標(biāo)簽的數(shù)據(jù)塊擺放策略（HDFS Nodelabel）
用戶需要通過數(shù)據(jù)特征靈活配置HDFS文件數(shù)據(jù)塊的存儲(chǔ)節(jié)點(diǎn)。通過設(shè)置HDFS目錄/文件對(duì)應(yīng)一個(gè)標(biāo)簽表達(dá)式，同時(shí)設(shè)置每個(gè)DataNode對(duì)應(yīng)一個(gè)或多個(gè)標(biāo)簽，從而給文件的數(shù)據(jù)塊存儲(chǔ)指定了特定范圍的DataNode。當(dāng)使用基于標(biāo)簽的數(shù)據(jù)塊擺放策略，為指定的文件選擇DataNode節(jié)點(diǎn)進(jìn)行存放時(shí)，會(huì)根據(jù)文件的標(biāo)簽表達(dá)式選擇出將要存放的Datanode節(jié)點(diǎn)范圍，然后在這些Datanode節(jié)點(diǎn)范圍內(nèi)，選擇出合適的存放節(jié)點(diǎn)。
- 支持用戶將數(shù)據(jù)塊的各個(gè)副本存放在指定具有不同標(biāo)簽的節(jié)點(diǎn)，如某個(gè)文件的數(shù)據(jù)塊的2個(gè)副本放置在標(biāo)簽L1對(duì)應(yīng)節(jié)點(diǎn)中，該數(shù)據(jù)塊的其他副本放置在標(biāo)簽L2對(duì)應(yīng)的節(jié)點(diǎn)中。
- 支持選擇節(jié)點(diǎn)失敗情況下的策略，如隨機(jī)從全部節(jié)點(diǎn)中選一個(gè)。
如圖3所示。
- /HBase下的數(shù)據(jù)存儲(chǔ)在A，B，D
- /Spark下的數(shù)據(jù)存儲(chǔ)在A，B，D，E，F(xiàn)
- /user下的數(shù)據(jù)存儲(chǔ)在C，D，F(xiàn)
- /user/shl下的數(shù)據(jù)存儲(chǔ)在A，E，F(xiàn)
圖3 基于標(biāo)簽的數(shù)據(jù)塊擺放策略樣例
-
HDFS Load Balance
HDFS的現(xiàn)有讀寫策略主要以數(shù)據(jù)本地性優(yōu)先為主，并未考慮節(jié)點(diǎn)或磁盤的實(shí)際負(fù)載情況。HDFS Load Balance功能是基于不同節(jié)點(diǎn)的I/O負(fù)載情況，在HDFS客戶端進(jìn)行讀寫操作時(shí)，盡可能地選擇I/O負(fù)載較低的節(jié)點(diǎn)進(jìn)行讀寫，以此達(dá)到I/O負(fù)載均衡，以及充分利用集群整體吞吐能力。
寫文件時(shí)，如果開啟寫文件的HDFS Load Balance功能，NameNode仍然是根據(jù)正常順序（本地節(jié)點(diǎn)—本機(jī)架—遠(yuǎn)端機(jī)架）進(jìn)行DataNode節(jié)點(diǎn)的選取，只是在每次選擇節(jié)點(diǎn)后，如果該節(jié)點(diǎn)I/O負(fù)載較高，會(huì)舍棄并從其他節(jié)點(diǎn)中重新選取。
讀文件時(shí)，Client會(huì)向NameNode請(qǐng)求所讀Block所在的DataNode列表。NameNode會(huì)返回根據(jù)網(wǎng)絡(luò)拓?fù)渚嚯x進(jìn)行排序的DataNode列表。開啟讀取的HDFS Load Balance功能時(shí)，NameNode會(huì)在原先網(wǎng)絡(luò)拓?fù)渚嚯x排序的基礎(chǔ)上，根據(jù)每個(gè)節(jié)點(diǎn)的平均I/O負(fù)載情況進(jìn)行順序調(diào)整，把高I/O負(fù)載的節(jié)點(diǎn)順序調(diào)整至后面。
-
HDFS冷熱數(shù)據(jù)遷移
Hadoop歷來主要被用于批量處理大規(guī)模的數(shù)據(jù)。相比處理低時(shí)延，批處理應(yīng)用更關(guān)注原始數(shù)據(jù)處理的吞吐量，因此，目前已有的HDFS模型都運(yùn)作良好。
然而，隨著技術(shù)的發(fā)展，Hadoop逐漸被用于以隨機(jī)I/O訪問模式的操作為主的上層應(yīng)用上，如Hive、HBase等，而這種時(shí)延要求較高的場(chǎng)景中，低時(shí)延的高速磁盤（如SSD磁盤）可以得到廣泛的應(yīng)用。為了支持這種特性，HDFS現(xiàn)在支持了異構(gòu)存儲(chǔ)類型，這樣用戶就可以根據(jù)自己不同的業(yè)務(wù)需求場(chǎng)景來選擇不同的數(shù)據(jù)存儲(chǔ)類型。
因此，HDFS可以根據(jù)數(shù)據(jù)的熱度，選擇不同的存儲(chǔ)策略。如將HDFS上頻繁訪問多次的數(shù)據(jù)被標(biāo)識(shí)為ALL_SSD或HOT，被訪問幾次的可以標(biāo)識(shí)為WARM，而只有訪問1～2次甚至更少的可以被標(biāo)識(shí)為COLD等，如下圖為不同的數(shù)據(jù)熱度，可以選擇不同的數(shù)據(jù)存儲(chǔ)策略。
但是，這些高速低時(shí)延磁盤，例如SSD磁盤，通常比機(jī)械磁盤貴很多。大部分用戶希望只有那些經(jīng)常被訪問的熱數(shù)據(jù)才能一直被存儲(chǔ)在昂貴的高速磁盤上，而隨著數(shù)據(jù)的訪問熱度下降以及時(shí)間的老化，這些數(shù)據(jù)應(yīng)該被遷移到價(jià)格低廉的存儲(chǔ)介質(zhì)上。
以詳單查詢場(chǎng)景作為典型的用例場(chǎng)景，進(jìn)行說明：當(dāng)最新詳單數(shù)據(jù)剛剛被導(dǎo)入HDFS上時(shí)，會(huì)被上層業(yè)務(wù)人員頻繁查詢，所以為了提高查詢性能，可以將這些詳單數(shù)據(jù)最先導(dǎo)入到SSD磁盤中；但是隨著時(shí)間的遷移，這些數(shù)據(jù)逐漸被老化，訪問頻度越來越低，這時(shí)便不適合繼續(xù)存儲(chǔ)在高速硬盤上，需要遷移到廉價(jià)的存儲(chǔ)介質(zhì)，節(jié)省成本。
因此，能夠基于數(shù)據(jù)的age自動(dòng)識(shí)別出老化的數(shù)據(jù)，并將它們遷移到價(jià)格低廉的存儲(chǔ)介質(zhì)（如Disk/Archive）上，會(huì)給用戶節(jié)省很高的存儲(chǔ)成本，提高數(shù)據(jù)管理效率。
HDFS Auto Data Movement工具是HDFS冷熱數(shù)據(jù)遷移的核心，根據(jù)數(shù)據(jù)的使用頻率自動(dòng)識(shí)別數(shù)據(jù)冷熱設(shè)定不同的存儲(chǔ)策略。該工具主要支持以下功能：
根據(jù)數(shù)據(jù)的age，access time和手動(dòng)遷移規(guī)則，將數(shù)據(jù)存儲(chǔ)策略標(biāo)識(shí)為All_SSD/One_SSD/Hot/Warm/Cold。
根據(jù)數(shù)據(jù)age，access time和手動(dòng)遷移規(guī)則，定義區(qū)分冷熱數(shù)據(jù)的規(guī)則。
定義基于age的規(guī)則匹配時(shí)要采取的行為操作。
MARK，表示只會(huì)基于age規(guī)則標(biāo)識(shí)出數(shù)據(jù)的冷熱度，并標(biāo)記出對(duì)應(yīng)的存儲(chǔ)策略。MOVE表示基于age規(guī)則識(shí)別出相應(yīng)的數(shù)據(jù)冷熱度，并標(biāo)記出對(duì)應(yīng)的存儲(chǔ)策略后，并觸發(fā)HDFS Auto Data Movement工具進(jìn)行數(shù)據(jù)搬遷。
MARK：識(shí)別數(shù)據(jù)是否頻繁或很少使用的行為操作，并設(shè)置數(shù)據(jù)存儲(chǔ)策略。
MOVE：調(diào)用HDFS冷熱數(shù)據(jù)遷移工具并跨層遷移數(shù)據(jù)的行為操作。
SET_REPL：為文件設(shè)置新的副本數(shù)的行為操作。
MOVE_TO_FOLDER：將文件移動(dòng)到目標(biāo)文件夾的行為操作。
DELETE：刪除文件/目錄的行為操作。
SET_NODE_LABEL：設(shè)置文件節(jié)點(diǎn)標(biāo)簽（NodeLabel）的操作。
使用HDFS冷熱數(shù)據(jù)遷移功能，只需要定義age，基于access time的規(guī)則。由HDFS冷熱數(shù)據(jù)遷移工具來匹配基于age的規(guī)則的數(shù)據(jù)，設(shè)置存儲(chǔ)策略和遷移數(shù)據(jù)。以這種方式，提高了數(shù)據(jù)管理效率和集群資源效率。