檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
中國(guó)站
中國(guó)站
International
Europe
檢測(cè)到您已登錄華為云國(guó)際站賬號(hào)，為了您更好的體驗(yàn)，建議您訪問國(guó)際站服務(wù)網(wǎng)站 http://www.cqfng.cn/intl/zh-cn
不再顯示此消息
用**GPU**訓(xùn)練還是**CPU**，**GPU**和**CPU**的具體配置以及其他諸多因素。 目前為止，我覺得，對(duì)于很多應(yīng)用系統(tǒng)，即使是經(jīng)驗(yàn)豐富的深度學(xué)習(xí)行家也不太可能一開始就預(yù)設(shè)出最匹配的超級(jí)參數(shù)，所以說，應(yīng)用深度學(xué)習(xí)是一個(gè)典型的迭代過程，需要多次循環(huán)往復(fù)，才能為應(yīng)用程序
Function、Cost Function 和 Objective Function 的區(qū)別和聯(lián)系。在機(jī)器學(xué)習(xí)的語境下這三個(gè)術(shù)語經(jīng)常被交叉使用。- 損失函數(shù) Loss Function 通常是針對(duì)單個(gè)訓(xùn)練樣本而言，給定一個(gè)模型輸出 和一個(gè)真實(shí) ，損失函數(shù)輸出一個(gè)實(shí)值損失 - 代價(jià)函數(shù)
因?yàn)檫@個(gè)求和包含多達(dá)指數(shù)級(jí)的項(xiàng)，除非該模型的結(jié)構(gòu)允許某種形式的簡(jiǎn)化，否則是不可能計(jì)算的。目前為止，無法得知深度神經(jīng)網(wǎng)絡(luò)是否允許某種可行的簡(jiǎn)化。相反，我們可以通過采樣近似推斷，即平均許多掩碼的輸出。即使是 10 − 20 個(gè)掩碼就足以獲得不錯(cuò)的表現(xiàn)。然而，一個(gè)更好的方法能不錯(cuò)地近似
幾乎所有的深度學(xué)習(xí)算法都用到了一個(gè)非常重要的算法：隨機(jī)梯度下降 (stochastic gradient descent, SGD)。隨機(jī)梯度下降是第4.3節(jié)介紹的梯度下降算法的一個(gè)擴(kuò)展。機(jī)器學(xué)習(xí)中的一個(gè)循環(huán)問題是大的數(shù)據(jù)集是好的泛化所必要的，但大的訓(xùn)練集的計(jì)算代價(jià)也更大。機(jī)器學(xué)
取得絕對(duì)的最小值（相對(duì)所有其他值）的點(diǎn)是全局最小點(diǎn) (globalminimum)。函數(shù)可能只有一個(gè)全局最小點(diǎn)或存在多個(gè)全局最小點(diǎn)，還可能存在不是全局最優(yōu)的局部極小點(diǎn)。在深度學(xué)習(xí)的背景下，我們優(yōu)化的函數(shù)可能含有許多不是最優(yōu)的局部極小點(diǎn)，或許多被非常平坦的區(qū)域包圍的鞍點(diǎn)。尤其是當(dāng)輸入是多維的時(shí)候，所有這些都將使優(yōu)化變得困難。因此，我們通常尋找
深度學(xué)習(xí)是通向人工智能的途徑之一。具體來說，它是機(jī)器學(xué)習(xí)的一種，一種能夠使計(jì)算機(jī)系統(tǒng)從經(jīng)驗(yàn)和數(shù)據(jù)中得到提高的技術(shù)。我們堅(jiān)信機(jī)器學(xué)習(xí)可以構(gòu)建出在復(fù)雜實(shí)際環(huán)境下運(yùn)行的AI系統(tǒng)，并且是唯一切實(shí)可行的方法。深度學(xué)習(xí)是一種特定類型的機(jī)器學(xué)習(xí)，具有強(qiáng)大的能力和靈活性，它將大千
比的方法講的非常的簡(jiǎn)單易懂 有監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，半監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)說的非常厲害，適用于下棋和游戲這一類領(lǐng)域，基本邏輯是正確就獎(jiǎng)勵(lì)，錯(cuò)誤就懲罰來做一個(gè)學(xué)習(xí)。 那么無監(jiān)督學(xué)習(xí)的典型應(yīng)用模式是什么呢？說出來之后你就會(huì)覺得無監(jiān)督學(xué)習(xí)沒有那么神秘了，那就是聚類。一個(gè)比較典
過程，所以我們永遠(yuǎn)不知道被估計(jì)的模型族是否包括生成過程。然而，深度學(xué)習(xí)算法的大多數(shù)應(yīng)用都是針對(duì)這樣的情況，其中真實(shí)數(shù)據(jù)的生成過程幾乎肯定在模型族之外。深度學(xué)習(xí)算法通常應(yīng)用于極為復(fù)雜的領(lǐng)域，如圖像、音頻序列和文本，本質(zhì)上這些領(lǐng)域的真實(shí)生成過程涉及模擬整個(gè)宇宙。從某種程度上說，我們總
自動(dòng)微分是深度學(xué)習(xí)框架的靈魂。一般而言，自動(dòng)微分是指一種自動(dòng)求某個(gè)函數(shù)的導(dǎo)數(shù)的方法。在機(jī)器學(xué)習(xí)中，這些導(dǎo)數(shù)可以更新權(quán)重。在更廣泛的自然科學(xué)中，這些導(dǎo)數(shù)也能用于各種后續(xù)計(jì)算。自動(dòng)微分的發(fā)展歷程如圖在自動(dòng)微分的發(fā)展歷程中，有以下3種自動(dòng)微分技術(shù)。基于靜態(tài)計(jì)算圖的轉(zhuǎn)換：將網(wǎng)絡(luò)在編譯時(shí)轉(zhuǎn)
06723)一文中就是這樣實(shí)現(xiàn)的。更精妙的是，這樣的算法居然和生成對(duì)抗有異曲同工之妙，實(shí)際上，在這篇論文中，生成對(duì)抗的算法可以看作是深度壓縮感知的一個(gè)特例。最讓人意外的是，深度壓縮感知用了更少的訓(xùn)練時(shí)間，得到了超越 GAN 的性能。所以這對(duì)于深度學(xué)習(xí)來說，也是一個(gè)算法上的革命。實(shí)際上，仔細(xì)分析 GAN 算法，其
正則化在深度學(xué)習(xí)的出現(xiàn)前就已經(jīng)被使用了數(shù)十年。線性模型，如線性回歸和邏輯回歸可以使用簡(jiǎn)單、直接、有效的正則化策略。許多正則化方法通過對(duì)目標(biāo)函數(shù) J 添加一個(gè)參數(shù)范數(shù)懲罰 ?(θ)，限制模型（如神經(jīng)網(wǎng)絡(luò)、線性回歸或邏輯回歸）的學(xué)習(xí)能力。我們將正則化后的目標(biāo)函數(shù)記為˜(θ; X, y)
c8c8bf691f9235b05fc1摘要：大規(guī)模標(biāo)記數(shù)據(jù)集推動(dòng)深度學(xué)習(xí)獲得廣泛應(yīng)用，但在現(xiàn)實(shí)場(chǎng)景中收集足量的標(biāo)記數(shù)據(jù)往往耗時(shí)耗力。為了降低對(duì)標(biāo)記數(shù)據(jù)的需求，半監(jiān)督學(xué)習(xí)側(cè)重于同時(shí)探索標(biāo)記和未標(biāo)記數(shù)據(jù)，而遷移學(xué)習(xí)旨在將預(yù)訓(xùn)練模型微調(diào)到目標(biāo)數(shù)據(jù)中。然而，從頭訓(xùn)練的半監(jiān)督自訓(xùn)練模型容
5 其他除了前面提到的幾個(gè)深度學(xué)習(xí)框架之外，還有一些深度學(xué)習(xí)框架也非常受歡迎。Keras，一個(gè)基于TensorFlow和Theano且提供簡(jiǎn)潔的Python接口的深度學(xué)習(xí)框架，上手非常快，受歡迎程度非常高。Theano，老牌的深度學(xué)習(xí)框架之一，由蒙特利爾大學(xué)的機(jī)器學(xué)習(xí)團(tuán)隊(duì)開發(fā)，不過The
眾數(shù)：數(shù)據(jù)出現(xiàn)次數(shù)最多的書 0.2 離散程度衡量 方差 variance 標(biāo)準(zhǔn)差 standard deviation，方差的開二次方 1 回歸問題和分類問題區(qū)別： 回歸問題：Y變量是連續(xù)性數(shù)值，比如房?jī)r(jià)，人數(shù)， 分類問題：Y變量是類別型，如電腦品牌 2 簡(jiǎn)單線性回歸（simple linear
Smola） 人工智能機(jī)器學(xué)習(xí)深度學(xué)習(xí)領(lǐng)域重磅教程圖書Amazon科學(xué)家作品交互式實(shí)戰(zhàn)環(huán)境下動(dòng)手學(xué)深度學(xué)習(xí)的全新模式 原理與實(shí)戰(zhàn)緊密結(jié)合前市面上有關(guān)深度學(xué)習(xí)介紹的書籍大多可分兩類，一類側(cè)重方法介紹，另一類側(cè)重實(shí)踐和深度學(xué)習(xí)工具的介紹。本書同時(shí)覆蓋方法和實(shí)踐。本書不僅從數(shù)學(xué)的角度闡述深度學(xué)習(xí)的技術(shù)與
本課程由臺(tái)灣大學(xué)李宏毅教授2022年開發(fā)的課程，主要介紹深度學(xué)習(xí)是一個(gè)讓魚與熊掌可以兼得的方法。
密集層（Dense layers）。此外，深度神經(jīng)網(wǎng)絡(luò)可以包含多個(gè) 隱藏層（Hidden layer）。隱藏層基本上是神經(jīng)網(wǎng)絡(luò)輸入和輸出之間的點(diǎn)，激活函數(shù)在這里對(duì)輸入的信息進(jìn)行轉(zhuǎn)換。它之所以被稱為隱藏層，是因?yàn)樗荒苤苯訌南到y(tǒng)的輸入和輸出中觀察到。神經(jīng)網(wǎng)絡(luò)的深度越深，網(wǎng)絡(luò)能從數(shù)據(jù)中識(shí)別的信息
或是Hessian 矩陣。在實(shí)踐中，通常這些量會(huì)有噪聲，甚至是有偏的估計(jì)。幾乎每一個(gè)深度學(xué)習(xí)算法都需要基于采樣的估計(jì)，至少使用訓(xùn)練樣本的小批量來計(jì)算梯度。在其他情況，我們希望最小化的目標(biāo)函數(shù)實(shí)際上是難以處理的。當(dāng)目標(biāo)函數(shù)不可解時(shí)，通常其梯度也是難以處理的。在這種情況下，我們只能近
標(biāo)簽之間的域遷移假如使用狗和貓的數(shù)據(jù)集訓(xùn)練了一個(gè)teacher模型A，使用香蕉和蘋果訓(xùn)練了一個(gè)teacher模型B，那么就可以用這兩個(gè)模型同時(shí)蒸餾出一個(gè)可以識(shí)別狗、貓、香蕉以及蘋果的模型，將兩個(gè)不同域的數(shù)據(jù)集進(jìn)行集成和遷移。因此，在工業(yè)界中對(duì)知識(shí)蒸餾和遷移學(xué)習(xí)也有著非常強(qiáng)烈的需求。補(bǔ)充模型壓縮的知識(shí)模型壓縮大體上可以分為
當(dāng)輸入向量的每個(gè)度量不被保證的時(shí)候，分類問題將會(huì)變得有挑戰(zhàn)性。為了解決分類任務(wù)，學(xué)習(xí)算法只需要定義一個(gè)從輸入向量映射到輸出類別的函數(shù)。當(dāng)一些輸入可能丟失時(shí)，學(xué)習(xí)算法必須學(xué)習(xí)一組函數(shù)，而不是單個(gè)分類函數(shù)。每個(gè)函數(shù)對(duì)應(yīng)著分類具有不同缺失輸入子集的 x。這種情況在醫(yī)療診斷中經(jīng)常出現(xiàn)，因
