檢測(cè)到您已登錄華為云國際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
檢測(cè)到您已登錄華為云國際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
在“創(chuàng)建發(fā)布任務(wù)”頁面，篩選數(shù)據(jù)集模態(tài)，如“文本”類型的數(shù)據(jù)集。 圖2 篩選“文本”類數(shù)據(jù)集 選擇數(shù)據(jù)集，單擊“下一步”。 在“基本配置”中選擇數(shù)據(jù)用途、數(shù)據(jù)集可見性和格式配置，如圖3。 由于數(shù)據(jù)工程需要支持對(duì)接盤古大模型或三方大模型，為了使這些數(shù)據(jù)集能夠被這些大模型正常訓(xùn)練，平臺(tái)支持發(fā)布不同格式的數(shù)據(jù)集。
加工視頻類數(shù)據(jù)集 加工視頻類數(shù)據(jù)集 標(biāo)注視頻類數(shù)據(jù)集 配比視頻類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
加工音頻類數(shù)據(jù)集 加工音頻類數(shù)據(jù)集 標(biāo)注音頻類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
在完成數(shù)據(jù)標(biāo)注后，如果無需進(jìn)行標(biāo)注審核，可直接在“數(shù)據(jù)標(biāo)注 > 任務(wù)管理”頁面單擊“生成”，生成加工數(shù)據(jù)集。 生成的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 AI預(yù)標(biāo)注功能介紹 標(biāo)注任務(wù)開始前，系統(tǒng)對(duì)當(dāng)前任務(wù)中的所有數(shù)據(jù)批量智能生成標(biāo)注數(shù)據(jù)，具體操作如下。
在完成數(shù)據(jù)標(biāo)注審核后，需在“數(shù)據(jù)標(biāo)注 > 任務(wù)管理”頁面單擊“生成”，生成加工數(shù)據(jù)集。 生成的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 管理標(biāo)注后的音頻類數(shù)據(jù)集 平臺(tái)支持超級(jí)管理員、管理員、標(biāo)注管理員對(duì)標(biāo)注的數(shù)據(jù)集進(jìn)行如下操作： 生成：在完成數(shù)
加工文本類數(shù)據(jù)集 加工文本類數(shù)據(jù)集 合成文本類數(shù)據(jù)集 標(biāo)注文本類數(shù)據(jù)集 配比文本類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
發(fā)布文本類數(shù)據(jù)集 評(píng)估文本類數(shù)據(jù)集 發(fā)布文本類數(shù)據(jù)集 父主題： 發(fā)布數(shù)據(jù)集
發(fā)布視頻類數(shù)據(jù)集 評(píng)估視頻類數(shù)據(jù)集 發(fā)布視頻類數(shù)據(jù)集 父主題： 發(fā)布數(shù)據(jù)集
加工預(yù)測(cè)類數(shù)據(jù)集 加工預(yù)測(cè)類數(shù)據(jù)集 配比預(yù)測(cè)類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
手動(dòng)生成加工數(shù)據(jù)集。 圖3 自動(dòng)生成加工數(shù)據(jù)集 擴(kuò)展信息（可選） 可選擇行業(yè)、語言信息，或自定義數(shù)據(jù)集屬性。 圖4 擴(kuò)展信息 單擊“啟動(dòng)加工”。當(dāng)數(shù)據(jù)加工任務(wù)運(yùn)行成功后，狀態(tài)將從“運(yùn)行中”變?yōu)?ldquo;運(yùn)行成功”，表示數(shù)據(jù)已經(jīng)完成加工。 加工后的數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集
加工音頻類數(shù)據(jù)集 加工音頻類數(shù)據(jù)集任務(wù)前，請(qǐng)先完成數(shù)據(jù)導(dǎo)入操作，具體步驟請(qǐng)參見導(dǎo)入數(shù)據(jù)至盤古平臺(tái)。 創(chuàng)建音頻類數(shù)據(jù)集加工任務(wù) 登錄ModelArts Studio大模型開發(fā)平臺(tái)，在“我的空間”模塊，單擊進(jìn)入所需空間。 圖1 我的空間 在左側(cè)導(dǎo)航欄中選擇“數(shù)據(jù)工程 > 數(shù)據(jù)加工 >
在完成數(shù)據(jù)標(biāo)注審核后，需在“數(shù)據(jù)工程 > 標(biāo)注任務(wù)”頁面單擊“生成”，生成加工數(shù)據(jù)集。 生成后的加工數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集 > 加工數(shù)據(jù)集”中查看。 管理標(biāo)注后的文本類數(shù)據(jù)集 平臺(tái)支持超級(jí)管理員、管理員、標(biāo)注管理員對(duì)標(biāo)注的數(shù)據(jù)集進(jìn)行如下操作： 生成：在完成
數(shù)據(jù)集管理 獲取字段隱私詳情 - getSchemaInfo 數(shù)據(jù)集列表 - queryAvailableDatasets 父主題： 計(jì)算節(jié)點(diǎn)API
論。IMDB數(shù)據(jù)集是由斯坦福大學(xué)研究院整理的一套用于情感分析的IMDB電影評(píng)論二分類數(shù)據(jù)集，包含25000個(gè)訓(xùn)練樣本和25000個(gè)測(cè)試樣本，所有影評(píng)都被標(biāo)記為正面或負(fù)面兩種評(píng)價(jià)。IMDB數(shù)據(jù)集在TF中的讀取方法與MNIST等數(shù)據(jù)集較為類似。WikiText英語詞庫數(shù)據(jù)(The WikiText
配比多模態(tài)類數(shù)據(jù)集 數(shù)據(jù)配比是將多個(gè)數(shù)據(jù)集按照特定比例關(guān)系組合并發(fā)布為“發(fā)布數(shù)據(jù)集”的過程，確保數(shù)據(jù)的多樣性、平衡性和代表性。 如果單個(gè)數(shù)據(jù)集已滿足您的需求，可跳過此章節(jié)至 4.6.9 發(fā)布多模態(tài)類數(shù)據(jù)集。 創(chuàng)建多模態(tài)類數(shù)據(jù)集配比任務(wù) 創(chuàng)建多模態(tài)類數(shù)據(jù)集配比任務(wù)步驟如下： 登錄ModelArts
手動(dòng)生成加工數(shù)據(jù)集。 圖3 自動(dòng)生成加工數(shù)據(jù)集 擴(kuò)展信息（可選） 可選擇行業(yè)、語言信息，或自定義數(shù)據(jù)集屬性。 圖4 擴(kuò)展信息 單擊“啟動(dòng)加工”。當(dāng)數(shù)據(jù)加工任務(wù)運(yùn)行成功后，狀態(tài)將從“運(yùn)行中”變?yōu)?ldquo;運(yùn)行成功”，表示數(shù)據(jù)已經(jīng)完成加工。 加工后的數(shù)據(jù)集可在“數(shù)據(jù)工程 > 數(shù)據(jù)管理 > 數(shù)據(jù)集
在主菜單中，選擇“數(shù)據(jù)中心”。 在左側(cè)導(dǎo)航欄中，選擇“數(shù)據(jù)集 > 全部”。 在數(shù)據(jù)集管理頁面，單擊“新建數(shù)據(jù)集”。 在新增數(shù)據(jù)集頁面，設(shè)置數(shù)據(jù)集名稱、選擇數(shù)據(jù)類型、數(shù)據(jù)源和目錄，單擊“保存”。 圖1 新建DWS數(shù)據(jù)集 數(shù)據(jù)集名稱：新建數(shù)據(jù)集的名稱，用于標(biāo)識(shí)該數(shù)據(jù)集。長度為1~60個(gè)字符，可包括中文、字母、數(shù)字及下劃線。
加工多模態(tài)類數(shù)據(jù)集 加工多模態(tài)類數(shù)據(jù)集 配比多模態(tài)類數(shù)據(jù)集 父主題： 加工數(shù)據(jù)集
選擇企業(yè)項(xiàng)目。 在控制臺(tái)上方單擊“項(xiàng)目”后，單擊項(xiàng)目名稱，進(jìn)入項(xiàng)目頁面。 單擊“數(shù)據(jù)管理 > 數(shù)據(jù)集”，進(jìn)入數(shù)據(jù)集頁面。 單擊數(shù)據(jù)集名稱，進(jìn)入數(shù)據(jù)集編輯頁面。 由自定義SQL創(chuàng)建的數(shù)據(jù)集，數(shù)據(jù)集名稱后會(huì)有“SQL”字樣。 單擊“SQL編輯”，進(jìn)入SQL編輯頁面，對(duì)SQL語句進(jìn)行編輯修改。
請(qǐng)問明天使用新數(shù)據(jù)集以后，練習(xí)賽的數(shù)據(jù)集可以發(fā)布嗎
