在訓(xùn)練模型后，用戶往往需要通過(guò)測(cè)試 數(shù)據(jù)集 來(lái)評(píng)估新模型的泛化能力。通過(guò)驗(yàn)證測(cè)試數(shù)據(jù)集上的平均損失，可以評(píng)估模型對(duì)未知數(shù)據(jù)的預(yù)測(cè)能力。模型評(píng)價(jià)指標(biāo)是評(píng)估模型泛化能力的標(biāo)準(zhǔn)，不同的指標(biāo)往往會(huì)導(dǎo)致不同的評(píng)判結(jié)果。
ModelArts模型評(píng)估/診斷功能針對(duì)不同類型模型的評(píng)估任務(wù)，提供相應(yīng)的評(píng)估指標(biāo)。在展示評(píng)估結(jié)果的同時(shí)，會(huì)根據(jù)不同的數(shù)據(jù)特征對(duì)模型進(jìn)行詳細(xì)的評(píng)估，獲得每個(gè)數(shù)據(jù)特征對(duì)評(píng)估指標(biāo)的敏感度，并給出優(yōu)化建議。模型評(píng)估/診斷功能幫助用戶可以全面了解模型對(duì)不同數(shù)據(jù)特征的適應(yīng)性，使得模型調(diào)優(yōu)可以做到有的放矢。
當(dāng)前模型評(píng)估功能覆蓋圖像分類、物體檢測(cè)和圖像語(yǔ)義分割三大場(chǎng)景，快來(lái)看看如何使用模型評(píng)估功能吧~
圖像分類
|
指標(biāo)名稱 |
子參數(shù) |
說(shuō)明 |
| 精度評(píng)估 | 圖像類別分布 | 不同類別圖片數(shù)量的統(tǒng)計(jì)值。 |
| 混淆矩陣 | 混淆矩陣可幫助您了解分類錯(cuò)誤的出現(xiàn)位置 | |
| 召回率 | 召回率，正確預(yù)測(cè)的正例數(shù)和實(shí)際正例總數(shù)的比值，這個(gè)值越大代表漏檢的概率越小。計(jì)算公式R=TP/(TP+FN)，即混淆矩陣中某一列預(yù)測(cè)正確的個(gè)數(shù)除以該列的樣本和。 | |
| 精確率 | 精確率，正確預(yù)測(cè)的正例數(shù)和預(yù)測(cè)正例總數(shù)的比值，這個(gè)值越大代表誤檢的概率越小。計(jì)算公式P=TP/(TP+FP)，即混淆矩陣中某一行預(yù)測(cè)正確的個(gè)數(shù)除以該行的樣本和。 | |
| F1值 | 精確率與召回率的調(diào)和均值。計(jì)算公式F1=2*P*R/(P+R)，其中R為召回率，P為精確率。 | |
| ROC 曲線 | ROC 曲線用于繪制采用不同分類閾值時(shí)的 TPR （真正例率，縱坐標(biāo)）與 FPR（假正例率，橫坐標(biāo)），ROC曲線越接近左上角，該分類器的性能越好。 | |
| 敏感度分析 | 不同特征范圍下的準(zhǔn)確率 | 將圖片根據(jù)特征值，如亮度、模糊度等劃分為幾個(gè)部分，分別測(cè)試幾個(gè)部分的精度然后繪圖。 |
| 特征分布 | 圖片特征值的分布圖。 | |
| 值敏感度 | 展示不同類別數(shù)據(jù)在不同特征值范圍內(nèi)的F1值 ，用于判別模型對(duì)哪個(gè)特征范圍內(nèi)的圖片效果較好。 |
物體檢測(cè)
|
指標(biāo)名稱 |
子參數(shù) |
說(shuō)明 |
| 精度評(píng)估 | 圖像類別分布 | 數(shù)據(jù)集中不同類別的圖像框個(gè)數(shù)統(tǒng)計(jì)。 |
| P-R曲線 | 根據(jù)每種分類的置信度對(duì)樣例進(jìn)行排序，逐個(gè)把樣例加入正例進(jìn)行預(yù)測(cè)，算出此時(shí)的精準(zhǔn)率和召回率。使用這一系列的精準(zhǔn)率和召回率繪制的曲線，即是一個(gè)類別的P-R曲線。 | |
| 不同目標(biāo)框交并比閾值下的mAP | 計(jì)算不同目標(biāo)框交并比閾值下的mAP值，并繪制曲線，反饋mAP值最高的閾值。其中交并比閾值是用于NMS時(shí)過(guò)濾可能預(yù)測(cè)為同一物體的重疊框的閾值。
|
|
| 不同置信度閾值下的F1值 | 計(jì)算不同置信度閾值下的平均F1值，并繪制曲線，反饋F1值最高的閾值。 | |
| 誤檢分析 |
從預(yù)測(cè)結(jié)果角度統(tǒng)計(jì)錯(cuò)誤檢測(cè)的結(jié)果，包含準(zhǔn)確檢測(cè)、類別誤檢、背景誤檢、位置偏差四種誤檢的錯(cuò)誤類型，繪制成餅圖，統(tǒng)計(jì)各類錯(cuò)誤占錯(cuò)誤檢測(cè)的比例。 |
|
| 漏檢分析 | 從實(shí)際標(biāo)簽角度統(tǒng)計(jì)遺漏檢測(cè)的結(jié)果，包含準(zhǔn)確檢測(cè)、類別誤檢、背景誤檢、位置偏差四種漏檢的結(jié)果類型，繪制成餅圖，統(tǒng)計(jì)各類錯(cuò)誤占漏檢錯(cuò)誤的比例。
|
|
| 敏感度分析 | 不同特征范圍下的準(zhǔn)確率 | 與圖像分類相似，但可選更多和目標(biāo)框相關(guān)的特征，如目標(biāo)框的交疊程度，目標(biāo)框的個(gè)數(shù)。 |
| 特征分布 | 與圖像分類相似，但可選更多和目標(biāo)框相關(guān)的特征，如目標(biāo)框的交疊程度，目標(biāo)框的個(gè)數(shù)。 |
圖像語(yǔ)義分割
|
指標(biāo)名稱 |
子參數(shù) |
說(shuō)明 |
| 精度評(píng)估 | 圖像類別分布 | 數(shù)據(jù)集中不同類別的像素個(gè)數(shù)統(tǒng)計(jì)。 |
| 交并比 | 簡(jiǎn)稱IoU，計(jì)算每一類預(yù)測(cè)結(jié)果與標(biāo)簽的交并比，表達(dá)了預(yù)測(cè)集合與標(biāo)簽集合的交并比，對(duì)各類別的值求平均獲得的就是平均交并比。交并比計(jì)算公式如下所示。
|
|
|
Dice系數(shù) |
取值范圍為0-1，越接近1說(shuō)明模型越好。Dice系數(shù)計(jì)算公式如下所示。
|
調(diào)用模型評(píng)估接口了解評(píng)估結(jié)果
ModelArts提供了“analyse”接口，用于模型評(píng)估。用戶在推理結(jié)束后，傳入指定參數(shù)調(diào)用該接口即可獲取評(píng)估結(jié)果。
analyse(task_type='',pred_list=[]，label_list=[],name_list=[],custom_metric='',label_map_dict='')
