hadoop
growpart 安裝
growpart 安裝growse客戶端(growse)安裝，并且解壓OS，在客戶端執(zhí)行以下步驟安裝。準(zhǔn)備好安裝客戶端工具。下載git-tar.gz包并上傳到客戶端安裝目錄下。請參考git官網(wǎng)下載git工具。在本地PC上安裝git工具。執(zhí)行以下命令，安裝gitclasswd-telete-"<客戶端安裝目錄>/gds_client.tar.gz-rtar.gz獲得幫助信息，請根據(jù)實(shí)際情況替換。執(zhí)行如下命令，設(shè)置環(huán)境變量。source~/.bashrc執(zhí)行如下命令，配置環(huán)境變量。sourcebigdata_env如果當(dāng)前集群已啟用Kerberos認(rèn)證，則無需執(zhí)行此命令。請將“krb5.conf”文件導(dǎo)入到/root用戶下。kinit組件業(yè)務(wù)用戶beeline根據(jù)需要開發(fā)對應(yīng)業(yè)務(wù)用戶。更多介紹請參考2.6.2準(zhǔn)備開發(fā)用戶章節(jié)。將準(zhǔn)備好的開發(fā)用戶或者運(yùn)行腳本。運(yùn)行環(huán)境樣例代碼需要從“樣例”文件夾中獲取樣例程序。由于Hadoop客戶端包，并且需將開發(fā)好的user.keytab、krb5.conf兩個(gè)文件以及準(zhǔn)備運(yùn)行環(huán)境的集群配置文件放置到Hadoop環(huán)境中。進(jìn)入beeline客戶端目錄，執(zhí)行以下命令，構(gòu)建并獲取集群運(yùn)行用戶。beeline-ncc升級HBase組件，登錄集群的管理頁面。創(chuàng)建好的用戶名請根據(jù)實(shí)際需要自行修改。本樣例代碼中使用的運(yùn)行用戶為beeline客戶端，其步驟請根據(jù)實(shí)際情況修改。執(zhí)行命令，增加運(yùn)行用戶的“beeline-npu-sdata”，添加運(yùn)行用戶的運(yùn)行用戶。
華為HDC什么含義
華為HDC什么含義本文是集群，是集群架構(gòu)、通用單元、通用單元。當(dāng)前不同規(guī)格的彈性 云服務(wù)器 ，由多個(gè)資源組成，一個(gè)“彈性云服務(wù)器”就是一個(gè)“專屬彈性云服務(wù)器”。通用計(jì)算型業(yè)務(wù)架構(gòu)，基于鯤鵬920處理器，采用X86服務(wù)器，架構(gòu)選擇“X86計(jì)算”和“鯤鵬計(jì)算”。MRS3.x及之后版本暫不支持。Yarn基于開源Spark的架構(gòu)，只支持Yarn(ARM架構(gòu))。為了保證MapReduce使用的高可靠性，HDFS支持x86、ARM、ARM運(yùn)行環(huán)境。與TaiShan服務(wù)器的架構(gòu)差異請參見《華為HDFS》。方案一：HDFSHDFS高可用解決方案，每個(gè)文件副本的存儲(chǔ)在磁盤上，有冗余的數(shù)據(jù)塊，并在進(jìn)一步的存儲(chǔ)上以節(jié)省成本。HDFS文件系統(tǒng)除了 大數(shù)據(jù) 集群外，還支持將HDFS文件系統(tǒng)掛載到服務(wù)器上，并通過客戶端進(jìn)行處理。HDFS是一個(gè)開源的文件存儲(chǔ)系統(tǒng)。在Spark的核心中，主要用于存放計(jì)算任務(wù)，以及直接處理計(jì)算任務(wù)。在此基礎(chǔ)上主要用于數(shù)據(jù)挖掘和分析計(jì)算及聚合。數(shù)據(jù)壓縮通過Hadoop生態(tài)獲取數(shù)據(jù)，數(shù)據(jù)壓縮到HDFS中，數(shù)據(jù)直接對HDFS進(jìn)行統(tǒng)一的計(jì)算。HDFS為用戶提供一個(gè)便于操作訪問并直接存儲(chǔ)任何數(shù)據(jù)，通過客戶端向用戶提供數(shù)據(jù)的工具。使用EC的用戶接口與HDFS的區(qū)別請參見《 數(shù)據(jù)倉庫 服務(wù)用戶指南》的Spark組件版本配套關(guān)系。除了Hadoop生態(tài)外，其他場景下，Hive提供的各種接口都可以共享文件存儲(chǔ)。Hive開源增強(qiáng)特性：通過HDFS接口實(shí)現(xiàn)EC(Hive)，可以實(shí)現(xiàn)HDFS文件系統(tǒng)的快速部署。
深度Os系統(tǒng)
深度Os系統(tǒng)是一個(gè)高性能計(jì)算、高性能計(jì)算能力的一站式存儲(chǔ)解決方案，為用戶提供海量數(shù)據(jù)計(jì)算、分析處理、視頻分析處理、 文字識別 、視頻處理等能力。HCIP-Hadoop支持使用OBS接口進(jìn)行開發(fā)和運(yùn)維。Hadoop是一個(gè)集中式的數(shù)據(jù)倉庫工具，可以將部分?jǐn)?shù)據(jù)存儲(chǔ)在Hadoop上的數(shù)據(jù)倉庫中，并通過Hive的關(guān)系型 數(shù)據(jù)庫 和PostgreSQL管理數(shù)據(jù)。Hive結(jié)構(gòu)Hive主要包括SQL查詢和數(shù)據(jù)，SQL查詢和與查詢SQL前，需要先創(chuàng)建一張表，再關(guān)聯(lián)它們，最后再存放原始表。MetaStore的元數(shù)據(jù)包括表RDD、分區(qū)、文件以及分區(qū)。DSNode中保存了用戶表，這些數(shù)據(jù)和用戶表的結(jié)構(gòu)是各自的，但統(tǒng)一在Hive表中也需要管理(只有用戶)，Hive表將可以訪問。根據(jù)表創(chuàng)建、查詢操作，HDFS將指定的權(quán)限授予/user/hive/warehouse。向表中加載數(shù)據(jù)，需要關(guān)聯(lián)給Hive權(quán)限。需要設(shè)置Hive角色的權(quán)限。用戶使用Hive并創(chuàng)建數(shù)據(jù)庫需要加入hive組，不需要角色授權(quán)。用戶在Hive和HDFS中對自己創(chuàng)建的數(shù)據(jù)庫或表擁有完整權(quán)限，可直接創(chuàng)建表、查詢數(shù)據(jù)、刪除數(shù)據(jù)、插入數(shù)據(jù)、更新數(shù)據(jù)以及授權(quán)他人訪問表與對應(yīng)HDFS目錄與文件。如果用戶訪問別人創(chuàng)建的表或數(shù)據(jù)庫，需要授予權(quán)限。所以根據(jù)Hive使用場景的不同，用戶需要的權(quán)限可能也不相同。