檢測(cè)到您已登錄華為云國(guó)際站賬號(hào),為了您更好的體驗(yàn),建議您訪問(wèn)國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
的數(shù)據(jù)地址的情況下完成數(shù)據(jù)訪問(wèn),可參考配置HDFS映射方式對(duì)接OBS文件系統(tǒng)配置HDFS映射方式對(duì)接OBS文件系統(tǒng)實(shí)現(xiàn)。 使用存算分離集群。詳細(xì)操作,請(qǐng)參見(jiàn)使用存算分離集群使用存算分離集群。
“客戶申請(qǐng)使用某個(gè)S云服務(wù)資源的流程”的步驟2和步驟5。但無(wú)論是“中央”還是“地方”都需要使用統(tǒng)一的身份證系統(tǒng)(IAM用戶管理體系),即OBS自身的權(quán)限控制也需要使用IAM賬戶ID和IAM用戶ID。一個(gè)用戶使用OBS服務(wù)的資源,必須要先后依次通過(guò)IAM控制關(guān)卡和OBS自身控制關(guān)卡
thon2即可。問(wèn)題4 查看Profiling結(jié)果時(shí)無(wú)法查看OME/AICORE數(shù)據(jù)在查看profiling結(jié)果時(shí)出現(xiàn)如下錯(cuò)誤,無(wú)法查看OME/AICORE的數(shù)據(jù)。錯(cuò)誤原因及解決方案:類似于問(wèn)題2,往往是由于模型推理失敗導(dǎo)致無(wú)法出現(xiàn)此錯(cuò)誤,解決方案同問(wèn)題2.問(wèn)題5 模型轉(zhuǎn)換報(bào)錯(cuò)
CDN加速場(chǎng)景下訪問(wèn)OBS桶內(nèi)對(duì)象變成強(qiáng)制下載 問(wèn)題現(xiàn)象 在OBS控制臺(tái)配置自定義域名開啟CDN加速后,或在CDN控制臺(tái)配置“源站類型”為“OBS桶域名”的加速域名后,訪問(wèn)OBS桶中對(duì)象無(wú)法在線預(yù)覽,變成強(qiáng)制下載。 解決方案 該問(wèn)題有以下兩種解決方案。 方案一: 登錄CDN控制臺(tái)
OBS是否支持?jǐn)帱c(diǎn)續(xù)傳功能? OBS管理工具斷點(diǎn)續(xù)傳功能的支持情況: 表1 OBS管理工具斷點(diǎn)續(xù)傳功能 OBS管理工具 斷點(diǎn)續(xù)傳功能 管理控制臺(tái) 不支持 OBS Browser+ 支持 obsutil 支持 參考文檔:利用obsutil進(jìn)行斷點(diǎn)續(xù)傳 SDK 支持 使用SDK的斷點(diǎn)
存儲(chǔ)在OBS中的海量數(shù)據(jù),有些數(shù)據(jù)是經(jīng)常訪問(wèn)的,但是還有些數(shù)據(jù)存進(jìn)OBS存儲(chǔ),后面不經(jīng)常訪問(wèn),因此生命周期管理,可以有效的管理您桶中的數(shù)據(jù),按照指定的規(guī)則進(jìn)行類型轉(zhuǎn)換,或者超過(guò)規(guī)則設(shè)置的時(shí)間進(jìn)行自動(dòng)刪除,從而節(jié)約用戶的存儲(chǔ)費(fèi)用。生命周期管理可適用于以下典型場(chǎng)景:(1)周期性上傳的
文件夾(不包括src1文件夾本身)至bucket-test桶的根目錄下,且上傳過(guò)程中不進(jìn)行詢問(wèn)操作,命令如下: ./obsutil cp /src1 obs://bucket-test -r -f -flat 主要是參數(shù)-flat 更多上傳示例及 參數(shù)請(qǐng)查看
cket”桶為例,幫助您快速通過(guò)OBS Browser+使用OBS的基礎(chǔ)功能,包括創(chuàng)建桶、上傳對(duì)象、下載對(duì)象、分享對(duì)象。 準(zhǔn)備工作 使用OBS Browser+圖形化工具之前,您需要擁有一個(gè)華為賬號(hào)并實(shí)名認(rèn)證、為賬號(hào)充值,然后下載并安裝OBS Browser+圖形化工具,并獲取訪問(wèn)密鑰。
OBS轉(zhuǎn)儲(chǔ)時(shí)區(qū)表 International Date Line West Etc/GMT+12 UTC-12:00
塊級(jí)訪問(wèn),高IOPS、低延遲。 - 用于云服務(wù)器磁盤、數(shù)據(jù)庫(kù)。 阿里云OSS、AWS S3、華為云OBS的比較 這三者均為對(duì)象存儲(chǔ),高度相似(OBS/OSS兼容S3 API,便于遷移),但在定價(jià)、區(qū)域、集成上有差異。 選S3(全球/生態(tài)); 選OSS(性價(jià)比/中國(guó)); 選OBS(華為生態(tài)/企業(yè))。遷
OBS存儲(chǔ)資源包使用超量后是否會(huì)限制對(duì)桶的寫入 不會(huì)限制。 OBS桶具有“無(wú)限容量”,超出存儲(chǔ)資源包部分會(huì)自動(dòng)轉(zhuǎn)為按需計(jì)費(fèi),或者您可以升配資源包、繼續(xù)疊加購(gòu)買資源包。疊加購(gòu)買資源包的方法,請(qǐng)參考資源包疊加購(gòu)買。 升配資源包的方法,請(qǐng)參考資源包升配。 父主題: 計(jì)費(fèi)相關(guān)
大數(shù)據(jù)場(chǎng)景下使用OBS實(shí)現(xiàn)存算分離 大數(shù)據(jù)場(chǎng)景下使用OBS實(shí)現(xiàn)存算分離方案概述 操作流程 對(duì)接大數(shù)據(jù)平臺(tái) 對(duì)接大數(shù)據(jù)組件 遷移HDFS數(shù)據(jù)至OBS
使用pycharm modelarts 上傳training jobupload training code時(shí)生成了壓縮包,而后無(wú)法讀取此壓縮包以下是我的事件日志
比如他剛做完的一個(gè)開源項(xiàng)目obs-datax-plugins,DataX是一個(gè)開源異步數(shù)據(jù)同步工具,但它并不適配管雷鳴在用的華為云對(duì)象存儲(chǔ)服務(wù)OBS。 DataX對(duì)接數(shù)據(jù)源示例 于是,他決定自己動(dòng)手,最終他和他的同事劉曉騰兩人花了一周多的時(shí)間,成功完成了obs-datax-plug
可能的原因如下: 您選擇了服務(wù)端加密的桶對(duì)象; 解決辦法:當(dāng)前暫不支持推送服務(wù)端加密的桶對(duì)象,建議您換一個(gè)未做服務(wù)端加密的桶對(duì)象創(chuàng)建OBS轉(zhuǎn)儲(chǔ)任務(wù)。 頁(yè)面提示“OBS桶名不存在,請(qǐng)檢查后重試” 可能原因如下: OBS桶被刪除; 解決辦法:您可以在OBS管理控制臺(tái)左側(cè)導(dǎo)航欄選擇“桶
obsutil上傳下載速度慢 OBS不限速,obsutil也不會(huì)對(duì)客戶數(shù)據(jù)傳輸進(jìn)行限流。 采用obsutil進(jìn)行文件上傳下載,如果通過(guò)公網(wǎng),受公網(wǎng)帶寬限制;如果通過(guò)內(nèi)網(wǎng),受網(wǎng)卡、磁盤IO及是否有其它進(jìn)程搶占資源的限制。 如果出現(xiàn)上傳下載速度慢的問(wèn)題,可參考以下方法排查處理: 檢查網(wǎng)絡(luò)。
使用前需知 開發(fā)過(guò)程中,您有任何問(wèn)題可以在github上提交issue,或者在華為云對(duì)象存儲(chǔ)服務(wù)論壇中發(fā)帖求助。接口參考文檔詳細(xì)介紹了每個(gè)接口的參數(shù)和使用方法。 請(qǐng)確認(rèn)您已經(jīng)熟悉OBS的基本概念,如桶(Bucket)、對(duì)象(Object)、訪問(wèn)密鑰(AK和SK)等。 您可以先參考OBS客戶端通用示例,了解OBS
報(bào)錯(cuò)信息如下endpoint is not set245
在使用訪問(wèn)密鑰AK和SK訪問(wèn)OBS過(guò)程中,AK和SK是否可以更換或多個(gè)用戶共享? 可以。 在使用過(guò)程中,訪問(wèn)密鑰AK和SK可以隨時(shí)更換。 不同的用戶使用相同的一對(duì)AK和SK可以同時(shí)訪問(wèn)OBS中的資源,且訪問(wèn)到的資源相同。 父主題: 數(shù)據(jù)安全、遷移和備份