檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
lib=/usr/local/lib -Dbundle.zstd=true參數(shù)zstd.lib指向本地庫(kù)中zstd依賴(lài)，使用bundle.zstd表示開(kāi)啟編譯zstd,如果本地zstd庫(kù)找不到，編譯會(huì)失敗。3. Hive orc格式設(shè)置ZSTD為默認(rèn)壓縮算法。ORC-363(https://jira
Hive支持ZSTD壓縮格式 ZSTD（全稱(chēng)為Zstandard）是一種開(kāi)源的無(wú)損數(shù)據(jù)壓縮算法，其壓縮性能和壓縮比均優(yōu)于當(dāng)前Hadoop支持的其他壓縮格式，本特性使得Hive支持ZSTD壓縮格式的表。Hive支持基于ZSTD壓縮的存儲(chǔ)格式有常見(jiàn)的ORC，RCFile，TextFi
檢查源路徑（文件）或目標(biāo)路徑（文件）是否存在。 檢查文件類(lèi)型是否正確，確保文件以正確的壓縮格式結(jié)尾。 啟用sudo權(quán)限或修改目錄文件權(quán)限屬性。 父主題： 解壓文件
解壓文件 沒(méi)有找到解壓文件 原生命令Compress-Archive打包時(shí)包含反斜杠“\” 執(zhí)行“解壓文件”步驟，關(guān)于部署應(yīng)用中斷問(wèn)題 執(zhí)行“解壓文件”步驟，關(guān)于權(quán)限不夠問(wèn)題 執(zhí)行“解壓文件”步驟，關(guān)于參數(shù)含反斜杠“\”（特例）問(wèn)題 執(zhí)行“解壓文件”步驟，日志提示“環(huán)境下沒(méi)有主機(jī)”怎樣處理？
創(chuàng)建ZSTD壓縮格式的Hive表 操作場(chǎng)景 文件壓縮可以減少儲(chǔ)存文件的空間，并且提高數(shù)據(jù)從磁盤(pán)讀取和網(wǎng)絡(luò)傳輸?shù)乃俣?，Hive支持創(chuàng)建表時(shí)配置SNAPPY、ZLIB、Gzip、Bzip2、ZSTD等壓縮格式。 ZSTD（全稱(chēng)為Zstandard）是一種開(kāi)源的無(wú)損數(shù)據(jù)壓縮算法，其壓縮
zstd壓縮算法有什么優(yōu)勢(shì)？ 問(wèn)： zstd壓縮算法有什么優(yōu)勢(shì)？ 答： ZSTD（全稱(chēng)為Zstandard）是一種開(kāi)源的無(wú)損數(shù)據(jù)壓縮算法，其壓縮性能和壓縮比均優(yōu)于當(dāng)前Hadoop支持的其他壓縮格式。 具體詳細(xì)請(qǐng)參考https://github.com/L-Angel/compress-demo。
使用ZSTD_JNI壓縮算法壓縮Hive ORC表 操作場(chǎng)景 ZSTD_JNI是ZSTD壓縮算法的native實(shí)現(xiàn)，相較于ZSTD而言，壓縮讀寫(xiě)效率和壓縮率更優(yōu)，并允許用戶(hù)設(shè)置壓縮級(jí)別，以及對(duì)特定格式的數(shù)據(jù)列指定壓縮方式。 目前僅ORC格式的表支持ZSTD_JNI壓縮方式，而普通
-128。 環(huán)境 選擇當(dāng)前資源類(lèi)型為主機(jī)集群的環(huán)境，作為部署對(duì)象。 解壓文件 指定待解壓文件的路徑和解壓目錄。 控制選項(xiàng) 配置是否啟用以下操作。 失敗后繼續(xù)運(yùn)行：當(dāng)前步驟部署失敗后，應(yīng)用繼續(xù)部署后續(xù)的步驟。 使用sudo權(quán)限執(zhí)行：配置使用sudo權(quán)限部署該步驟。 若在部署過(guò)程中遇
com/blogs/168931）已經(jīng)介紹了zstd算法，以及從源碼開(kāi)始安裝zstd庫(kù)方式；這里介紹一種使用EulerOS 2.x/centos7運(yùn)行hadoop3/hbase2時(shí)，快速安裝zstd庫(kù)的方法。安裝直接從下面地址下載zstd庫(kù)的rpm文件https://download-ib01
使用LZC壓縮算法存儲(chǔ)HDFS文件 配置場(chǎng)景 文件壓縮可以減少存儲(chǔ)文件的空間，并且提高數(shù)據(jù)從磁盤(pán)讀取和網(wǎng)絡(luò)傳輸?shù)乃俣?。HDFS有Gzip和Snappy這兩種默認(rèn)壓縮格式。本章節(jié)為HDFS新增加的壓縮格式LZC（Lempel-Ziv Compression）提供配置方法。
使用LZC壓縮算法存儲(chǔ)HDFS文件 配置場(chǎng)景 文件壓縮可以減少存儲(chǔ)文件的空間，并且提高數(shù)據(jù)從磁盤(pán)讀取和網(wǎng)絡(luò)傳輸?shù)乃俣?。HDFS有Gzip和Snappy這兩種默認(rèn)壓縮格式。本章節(jié)為HDFS新增加的壓縮格式LZC（Lempel-Ziv Compression）提供配置方法。
文章目錄 簡(jiǎn)介1. 文件的下載2. 將下載到文件保存到本地3. 文件壓縮4. 文件解壓5. 遞歸刪除文件6. 最終的測(cè)試 總結(jié) 簡(jiǎn)介 文件的讀寫(xiě)是日常開(kāi)發(fā)中經(jīng)常碰到的需求，熟練掌握文件的讀寫(xiě)是每個(gè)Java開(kāi)發(fā)者的基本功。本文將主要介紹常見(jiàn)的文件讀寫(xiě)操作。 之前寫(xiě)過(guò)一篇Java
執(zhí)行“解壓文件”步驟，關(guān)于參數(shù)含反斜杠“\”（特例）問(wèn)題 問(wèn)題現(xiàn)象 當(dāng)部署主機(jī)相關(guān)的應(yīng)用時(shí)，出現(xiàn)如下日志： 以路徑為例，有以下幾種常見(jiàn)現(xiàn)象： 輸入的路徑參數(shù)有“\b”特殊字符導(dǎo)致部署報(bào)錯(cuò)，如下圖所示。 圖1 日志信息 輸入的路徑參數(shù)有“\f”特殊字符導(dǎo)致部署報(bào)錯(cuò)，如下圖所示。 圖2
執(zhí)行“解壓文件”步驟，關(guān)于權(quán)限不夠問(wèn)題 問(wèn)題現(xiàn)象 部署主機(jī)相關(guān)的應(yīng)用時(shí)，出現(xiàn)“權(quán)限不夠”日志提示時(shí)，說(shuō)明當(dāng)前用戶(hù)對(duì)當(dāng)前文件或文件夾沒(méi)有操作權(quán)限。 原因分析 當(dāng)前用戶(hù)對(duì)當(dāng)前文件或文件夾沒(méi)有操作權(quán)限。 處理方法 采用對(duì)當(dāng)前用戶(hù)可以訪問(wèn)的文件。 使用權(quán)限更高的用戶(hù)，如：root。 給當(dāng)
HiLens Studio中如何解壓縮文件？ HiLens Studio基于Linux系統(tǒng)，使用Linux解壓縮命令即可實(shí)現(xiàn)解壓縮文件。 父主題： HiLens Studio使用
執(zhí)行“解壓文件”步驟，路徑不合法問(wèn)題 問(wèn)題現(xiàn)象 日志信息提示非法路徑。 原因分析 輸入的路徑有誤。 處理方法 檢查輸入的路徑是否正確，路徑中不能出現(xiàn)“\”。 父主題： 解壓文件
執(zhí)行“解壓文件”步驟，關(guān)于使用sudo權(quán)限執(zhí)行報(bào)錯(cuò)問(wèn)題 問(wèn)題現(xiàn)象 部署主機(jī)相關(guān)應(yīng)用時(shí)，選擇“使用sudo權(quán)限執(zhí)行”，出現(xiàn)“需要密碼”報(bào)錯(cuò)。 原因分析 當(dāng)前用戶(hù)選擇了“使用sudo權(quán)限執(zhí)行”選項(xiàng)，但是在Linux系統(tǒng)的/etc/sudoers文件中并未對(duì)當(dāng)前用戶(hù)設(shè)置免密配置。 處理方法
執(zhí)行“解壓文件”步驟，日志提示“找不到環(huán)境”怎樣處理？ 問(wèn)題現(xiàn)象 日志信息提示獲取環(huán)境失敗，找不到環(huán)境。 原因分析 引用的環(huán)境不存在或者被刪除。 處理方法 選擇目標(biāo)應(yīng)用，單擊圖標(biāo)，單擊“編輯”，進(jìn)入“部署步驟”頁(yè)面。 單擊“環(huán)境管理”，切換到“環(huán)境管理”頁(yè)面。 單擊“新建環(huán)境”，
執(zhí)行“解壓文件”步驟，關(guān)于windows主機(jī)部署應(yīng)用失敗問(wèn)題 問(wèn)題現(xiàn)象 日志信息提示如下圖所示。 圖1 日志信息 原因分析 由于windows主機(jī)連通性驗(yàn)證時(shí)，缺失指定補(bǔ)丁包導(dǎo)致。 處理方法 按照windows配置文檔重新進(jìn)行連通性驗(yàn)證 。 父主題： 解壓文件
執(zhí)行“解壓文件”步驟，日志提示“環(huán)境下沒(méi)有主機(jī)”怎樣處理？ 問(wèn)題現(xiàn)象 日志信息提示獲取主機(jī)失敗，環(huán)境下沒(méi)有主機(jī)。 原因分析 環(huán)境里面沒(méi)有主機(jī)導(dǎo)致的錯(cuò)誤。 處理方法 選擇目標(biāo)應(yīng)用，單擊圖標(biāo)，單擊“編輯”，進(jìn)入“部署步驟”頁(yè)面。 單擊“環(huán)境管理”，切換到“環(huán)境管理”頁(yè)面。 單擊目標(biāo)環(huán)
執(zhí)行“解壓文件”步驟，關(guān)于部署應(yīng)用中斷問(wèn)題 問(wèn)題現(xiàn)象 當(dāng)部署主機(jī)相關(guān)的應(yīng)用時(shí)，出現(xiàn)如下日志： 問(wèn)題分析 由于主機(jī)中 /etc/ssh/sshd_config 配置文件中對(duì)服務(wù)器與客戶(hù)端交互的活動(dòng)心跳時(shí)間做出了限制，所以在一個(gè)Ansible應(yīng)用中如果在“規(guī)定時(shí)間”中主機(jī)沒(méi)有任何響應(yīng)
上傳文件或文件夾 上傳文件操作可將本地文件或文件夾存儲(chǔ)至OBS，對(duì)象的存儲(chǔ)類(lèi)別默認(rèn)與桶的存儲(chǔ)類(lèi)別一致。 背景信息 OBS Browser+使用分段上傳功能上傳文件。通過(guò)分段上傳功能，OBS Browser+支持上傳最大為48.8TB的單個(gè)文件。 文件或文件夾名稱(chēng)長(zhǎng)度不能超過(guò)102
