檢測到您已登錄華為云國際站賬號,為了您更好的體驗(yàn),建議您訪問國際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
機(jī)器學(xué)習(xí)算法是一種可以從數(shù)據(jù)中學(xué)習(xí)的算法。然而,我們所謂的 ‘‘學(xué)習(xí)’’ 是什么意思呢?Mitchell (1997) 提供了一個(gè)簡潔的定義:‘‘對于某類任務(wù) T 和性能度量P,一個(gè)計(jì)算機(jī)程序被認(rèn)為可以從經(jīng)驗(yàn) E 中學(xué)習(xí)是指,通過經(jīng)驗(yàn) E 改進(jìn)后,它在任務(wù) T 上由性能度量 P 衡量的性能有所提升。”
件不僅展示了人工智能的演進(jìn),也體現(xiàn)了其在系統(tǒng)性思維上的挑戰(zhàn)。在機(jī)器學(xué)習(xí)領(lǐng)域,我學(xué)習(xí)了有監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等概念。特別是強(qiáng)化學(xué)習(xí),它通過獎(jiǎng)勵(lì)和懲罰機(jī)制進(jìn)行學(xué)習(xí),非常適合棋類游戲。而無監(jiān)督學(xué)習(xí)中的聚類算法,讓我意識到它在日常生活中的廣泛應(yīng)用,比如超市貨架的商品
深度學(xué)習(xí)區(qū)別于傳統(tǒng)的淺層學(xué)習(xí),深度學(xué)習(xí)的不同在于: (1)強(qiáng)調(diào)了模型結(jié)構(gòu)的深度,通常有5層、6層,甚至10多層的隱層節(jié)點(diǎn);(2)明確了特征學(xué)習(xí)的重要性。也就是說,通過逐層特征變換,將樣本在原空間的特征表示變換到一個(gè)新特征空間,從而使分類或預(yù)測更容易。與人工規(guī)則構(gòu)造特征的方法相比,
Sigmoid 函數(shù)的圖像看起來像一個(gè) S 形曲線。
化算法是基于梯度下降的,但是很多有用的損失函數(shù),如 0 − 1 損失,沒有有效的導(dǎo)數(shù)(導(dǎo)數(shù)要么為零,要么處處未定義)。這兩個(gè)問題說明,在深度學(xué)習(xí)中我們很少使用經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。反之,我們會使用一個(gè)稍有不同的方法,我們真正優(yōu)化的目標(biāo)會更加不同于我們希望優(yōu)化的目標(biāo)。
就是在識別出來的圖片中,True positives所占的比率。也就是本假設(shè)中,所有被識別出來的飛機(jī)中,真正的飛機(jī)所占的比例?! ecall 是測試集中所有正樣本樣例中,被正確識別為正樣本的比例。也就是本假設(shè)中,被正確識別出來的飛機(jī)個(gè)數(shù)與測試集中所有真實(shí)飛機(jī)的個(gè)數(shù)的比值?! recision-recall
深度學(xué)習(xí)中常用的backbone有resnet系列(resnet的各種變體)、NAS網(wǎng)絡(luò)系列(RegNet)、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNeXt。Backbone結(jié)構(gòu)分類主要分成三類:CNNs結(jié)構(gòu), Trans
Dropout(Dropout)(Srivastava et al., 2014) 提供了正則化一大類模型的方法,計(jì)算方便但功能強(qiáng)大。在第一種近似下,Dropout可以被認(rèn)為是集成大量深層神經(jīng)網(wǎng)絡(luò)的實(shí)用Bagging方法。Bagging涉及訓(xùn)練多個(gè)模型,并在每個(gè)測試樣本上評估多個(gè)
在Bagging的情況下,每一個(gè)模型在其相應(yīng)訓(xùn)練集上訓(xùn)練到收斂。在Dropout的情況下,通常大部分模型都沒有顯式地被訓(xùn)練,因?yàn)橥ǔ8干窠?jīng)網(wǎng)絡(luò)會很大,以致于到宇宙毀滅都不可能采樣完所有的子網(wǎng)絡(luò)。取而代之的是,在單個(gè)步驟中我們訓(xùn)練一小部分的子網(wǎng)絡(luò),參數(shù)共享會使得剩余的子網(wǎng)絡(luò)也能有好
基本概念深度學(xué)習(xí)是為了解決表示學(xué)習(xí)難題而被提出的。通過學(xué)習(xí),簡單說一下這些深度學(xué)習(xí)相關(guān)的基本概念。表示學(xué)習(xí)(representation learning) 機(jī)器學(xué)習(xí)旨在自動(dòng)地學(xué)到從數(shù)據(jù)的表示(representation)到數(shù)據(jù)的標(biāo)記(label)的映射。隨著機(jī)器學(xué)習(xí)算法的日趨
者目標(biāo)等),再到更高層的目標(biāo)、目標(biāo)的行為等,即底層特征組合成了高層特征,由低到高的特征表示越來越抽象。深度學(xué)習(xí)借鑒的這個(gè)過程就是建模的過程。 深度神經(jīng)網(wǎng)絡(luò)可以分為3類,前饋深度網(wǎng)絡(luò)(feed-forwarddeep networks, FFDN),由多個(gè)編碼器層疊加而成,如多層感知機(jī)(multi-layer
語言有著層級結(jié)構(gòu),大的結(jié)構(gòu)部件是由小部件遞歸構(gòu)成的。但是,當(dāng)前大多數(shù)基于深度學(xué)習(xí)的語言模型都將句子視為詞的序列。在遇到陌生的句子結(jié)構(gòu)時(shí),循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)無法系統(tǒng)地展示、擴(kuò)展句子的遞歸結(jié)構(gòu),深度學(xué)習(xí)學(xué)到的各組特征之間的關(guān)聯(lián)是平面的,沒有層級關(guān)系,那么請問層級關(guān)系是重要嗎,在哪些方面能夠體現(xiàn)
深度神經(jīng)網(wǎng)絡(luò):深度學(xué)習(xí)的模型有很多,目前開發(fā)者最常用的深度學(xué)習(xí)模型與架構(gòu)包括卷積神經(jīng)網(wǎng)絡(luò) (CNN)、深度置信網(wǎng)絡(luò) (DBN)、受限玻爾茲曼機(jī) (RBM)、遞歸神經(jīng)網(wǎng)絡(luò) (RNN & LSTM & GRU)、遞歸張量神經(jīng)網(wǎng)絡(luò) (RNTN)、自動(dòng)編碼器 (AutoEncoder)、生成對抗網(wǎng)絡(luò)
上,在過去的兩年時(shí)間里,谷歌已經(jīng)完全將深度學(xué)習(xí)嵌入進(jìn)了谷歌翻譯中。事實(shí)上,這些對語言翻譯知之甚少的深度學(xué)習(xí)研究人員正提出相對簡單的機(jī)器學(xué)習(xí)解決方案,來打敗世界上最好的專家語言翻譯系統(tǒng)。文本翻譯可以在沒有序列預(yù)處理的情況下進(jìn)行,它允許算法學(xué)習(xí)文字與指向語言之間的關(guān)系。谷歌翻譯利用的
消費(fèi)無處不在,但每一次消費(fèi)行為帶給人們的感受卻或好或壞。在時(shí)間成本高昂的背景下,消費(fèi)者不希望花太多時(shí)間就能找到自己喜歡的事物。而快速、準(zhǔn)確的消費(fèi)品推薦,可顯著降低消費(fèi)者尋找的時(shí)間成本,不僅提升用戶消費(fèi)感受,也能提高商家的銷售量。 您可以使用ModelArts平臺上的Spark MLlib
隨著信息技術(shù)和互聯(lián)網(wǎng)行業(yè)的發(fā)展,信息過載成了人們處理信息的挑戰(zhàn)。為了解決這一問題,推薦系統(tǒng)誕生了并且應(yīng)用廣泛。推薦系統(tǒng)的任務(wù)就是聯(lián)系用戶和信息,了解推薦算法的原理,搭建有效的推薦系統(tǒng)意義深遠(yuǎn)。
發(fā)揮作用的一個(gè)簡單例子說起:學(xué)習(xí) XOR 函數(shù)。 XOR 函數(shù)(“異或” 邏輯)是兩個(gè)二進(jìn)制值 x1 和 x2 的運(yùn)算。當(dāng)這些二進(jìn)制值中恰好有一個(gè)為 1 時(shí),XOR 函數(shù)返回值為 1。其余情況下返回值為 0。XOR 函數(shù)提供了我們想要學(xué)習(xí)的目標(biāo)函數(shù) y = f∗(x)。我們的模型給出了一個(gè)函數(shù)
回想一下Bagging學(xué)習(xí),我們定義 k 個(gè)不同的模型,從訓(xùn)練集有替換采樣構(gòu)造k 個(gè)不同的數(shù)據(jù)集,然后在訓(xùn)練集 i 上訓(xùn)練模型 i。Dropout的目標(biāo)是在指數(shù)級數(shù)量的神經(jīng)網(wǎng)絡(luò)上近似這個(gè)過程。具體來說,在訓(xùn)練中使用Dropout時(shí),我們會使用基于小批量的學(xué)習(xí)算法和較小的步長,如梯
? 的整流線性隱藏單元可以簡單地學(xué)會使 hi 變得很大(使增加的噪聲 ? 變得不顯著)。乘性噪聲不允許這樣病態(tài)地解決噪聲魯棒性問題。另一種深度學(xué)習(xí)算法——批標(biāo)準(zhǔn)化,在訓(xùn)練時(shí)向隱藏單元引入加性和乘性噪聲重新參數(shù)化模型。批標(biāo)準(zhǔn)化的主要目的是改善優(yōu)化,但噪聲具有正則化的效果,有時(shí)沒必要再使用Dropout。