大觀數(shù)據(jù)深度學(xué)習(xí)資料的卷積神經(jīng)網(wǎng)絡(luò) 1 深度學(xué)習(xí)背景 深度學(xué)習(xí)是近十年來(lái)人工智能領(lǐng)域*重要的突破之一。通過(guò)建立類(lèi)似于人腦的分層模型結(jié)構(gòu)，從底層逐步提取輸入數(shù)據(jù)的高層特征，可以很好地建立從低層信號(hào)到高層語(yǔ)義的映射關(guān)系。近年來(lái)，谷歌、微軟、IBM、百度等擁有大數(shù)據(jù)的高科技公司在語(yǔ)音識(shí)別、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、圖像視頻分析、多媒體等諸多深度學(xué)習(xí)技術(shù)研發(fā)上投入了大量資源。領(lǐng)域取得了巨大的成功。從對(duì)實(shí)際應(yīng)用的貢獻(xiàn)來(lái)看，深度學(xué)習(xí)可能是近十年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域*成功的研究方向。卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一個(gè)重要發(fā)展分支。資料整理了相關(guān)信息并進(jìn)行了深入介紹。大觀數(shù)據(jù)付漢杰 2 深度學(xué)習(xí)基礎(chǔ)知識(shí) 神經(jīng)網(wǎng)絡(luò) 在了解深度學(xué)習(xí)的原理之前，首先要對(duì)神經(jīng)網(wǎng)絡(luò)有一定的了解。神經(jīng)網(wǎng)絡(luò)是生物大腦學(xué)習(xí)方法的建模。當(dāng)您嘗試執(zhí)行一項(xiàng)新任務(wù)時(shí)，會(huì)激活一組特定的神經(jīng)元。你觀察結(jié)果。然后使用反饋來(lái)調(diào)整應(yīng)該激活哪些神經(jīng)元來(lái)多次訓(xùn)練大腦。之后，一些神經(jīng)元之間的連接會(huì)發(fā)生變化。強(qiáng)，別人弱。這構(gòu)成了記憶的基礎(chǔ)。*簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)僅由一個(gè)神經(jīng)元組成。一個(gè)神經(jīng)元由輸入截取函數(shù)和激活函數(shù)組成。當(dāng)輸入進(jìn)入神經(jīng)元時(shí)卷積模板的翻譯，可以得到唯一的輸出 hwbxfwxbT 單個(gè)神經(jīng)元實(shí)際上是輸入的線(xiàn)性組合。許多問(wèn)題不能很好地解決。所謂的神經(jīng)網(wǎng)絡(luò)連接了許多神經(jīng)元。一個(gè)神經(jīng)元的輸出是另一個(gè)神經(jīng)元的輸入。元素的多個(gè)線(xiàn)性組合得到原始特征的非線(xiàn)性組合，從而獲得更好的泛化能力。一般的神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層、多個(gè)隱藏層和一個(gè)輸出層組成。隱藏層和輸出層可以通過(guò)前向傳播算法得到。它出現(xiàn)于2006年，加拿大多倫多大學(xué)機(jī)器學(xué)習(xí)領(lǐng)域教授Hinton和他的學(xué)生Salakhutdinov位居榜首。發(fā)表在學(xué)術(shù)期刊《科學(xué)》上的一篇文章開(kāi)啟了學(xué)術(shù)界和深度學(xué)習(xí)的浪潮。行業(yè)。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，深度學(xué)習(xí)具有更深的層次和更少的參數(shù)，并且網(wǎng)絡(luò)可以自成一體。

主要學(xué)習(xí)特征在圖像和視頻識(shí)別自然語(yǔ)言處理領(lǐng)域取得了不錯(cuò)的成績(jī)。卷積神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱(chēng)CNN，是比較有代表性的網(wǎng)絡(luò)之一。4 Convolutional Neural Networks Convolutional Neural Networks Convolutional Neural Networks CNNs是第一個(gè)真正成功訓(xùn)練多層網(wǎng)絡(luò)結(jié)構(gòu)的學(xué)習(xí)算法。它利用空間關(guān)系來(lái)減少需要學(xué)習(xí)的參數(shù)數(shù)量，以提高一般前向BackPropagationBP算法的訓(xùn)練性能。CNN 被提議作為一種深度學(xué)習(xí)架構(gòu)，以*小化數(shù)據(jù)的預(yù)處理要求。局部區(qū)域用作下一層的輸入。每一層都使用數(shù)字濾波器來(lái)提取圖像的局部顯著特征，可以對(duì)局部區(qū)域的重要信息進(jìn)行采樣和保留。41 卷積的概念。卷積神經(jīng)網(wǎng)絡(luò) ConvolutionalNeuralNetworks 的卷積操作是可訓(xùn)練的。filter對(duì)上一層的輸出進(jìn)行卷積求和，然后加上偏移量得到特征圖作為下一層的輸入卷積操作。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，主要有稀疏鏈接權(quán)重共享等。變量表達(dá)特征 411稀疏鏈接卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，一個(gè)特點(diǎn)是稀疏鏈接與神經(jīng)網(wǎng)絡(luò)的全鏈接相比大大減少了參數(shù)數(shù)量。承包建設(shè)工程承包，股權(quán)轉(zhuǎn)讓合同協(xié)議、租賃合同模板、購(gòu)房合同協(xié)議，計(jì)算效率也可以提高。具有 10×10 個(gè)元素的鏈接減少到原始數(shù)據(jù)的十分之一。復(fù)旦大學(xué)的付漢杰和陳韻文普遍認(rèn)為，人們對(duì)外部世界的感知是從局部到全球的。從圖像上看，空間連接是局部像素連接比較近。遠(yuǎn)處像素的連接較弱，所以神經(jīng)網(wǎng)絡(luò)中的權(quán)重環(huán)節(jié)只需要上層的局部感知就可以得到整幅圖像的全局感知。如上圖所示，只有神經(jīng)元g3和隱藏層h的3個(gè)神經(jīng)元直接連接但間接全鏈接到層x，所以層 g 具有層 x 412 權(quán)重共享的間接全局感知。當(dāng)所有參數(shù)選擇不同的值時(shí)，層與層之間的參數(shù)數(shù)量仍然非常巨大，權(quán)重共享之后，對(duì)每個(gè)神經(jīng)元的輸入使用相同的卷積操作，將參數(shù)數(shù)量減少到卷積核的大小。權(quán)重共享可以看作是不同位置的通用特征提取方法。這種有益的效果除了參數(shù)數(shù)量的減少之外，還具有一定的平移不變性。當(dāng)物體在圖像中有一定的平移時(shí)，仍然可以用相同的卷積核提取相應(yīng)的特征來(lái)實(shí)現(xiàn)視圖數(shù)據(jù)。上圖是利用卷積核提取原始圖像的特征。每個(gè)像素減去周?chē)h(huán)境?？梢钥闯鱿噜徬袼刂档挠绊懀崛√卣鞯玫皆瓐D的近似邊緣。413 等距表達(dá)。在卷積運(yùn)算中，函數(shù) fx 和函數(shù) gx 等價(jià)當(dāng)且僅當(dāng) fgxgfx 表示兩個(gè)相鄰的卷積。操作順序?qū)Y(jié)果沒(méi)有影響。414卷積lxljfxil1kijbljMj的前向傳播公式就是上一層的特征圖。圖為卷積運(yùn)算 k 為卷積函數(shù) iMj415 卷積 l 的反向傳播公式 函數(shù) fx 和函數(shù) gx 等價(jià)當(dāng)且僅當(dāng) fgxgfx 表示兩個(gè)相鄰的卷積。操作順序?qū)Y(jié)果沒(méi)有影響。414卷積lxljfxil1kijbljMj的前向傳播公式就是上一層的特征圖。圖為卷積運(yùn)算 k 為卷積函數(shù) iMj415 卷積 l 的反向傳播公式 函數(shù) fx 和函數(shù) gx 等價(jià)當(dāng)且僅當(dāng) fgxgfx 表示兩個(gè)相鄰的卷積。操作順序?qū)Y(jié)果沒(méi)有影響。414卷積lxljfxil1kijbljMj的前向傳播公式就是上一層的特征圖。圖為卷積運(yùn)算 k 為卷積函數(shù) iMj415 卷積 l 的反向傳播公式

jlj1f39uljuplj1 是錯(cuò)誤敏感項(xiàng) upxx1nnup 操作是上采樣 EljuvbjuvEll1puvjuvilkijuv42 什么是池化？通過(guò)卷積得到特征后，分類(lèi)仍然面臨著大量計(jì)算的挑戰(zhàn)。隨著時(shí)間的推移，一張 96×96 像素的圖片通過(guò) 400 個(gè) 8×8 的卷積核獲得特征。每個(gè)特征圖有96-81×96-817921維特征，共400×79213768400維特征向量。在此基礎(chǔ)上進(jìn)行分類(lèi)是一個(gè)計(jì)算量非常大的過(guò)程，這導(dǎo)致了卷積神經(jīng)網(wǎng)絡(luò)的池化操作。池化的一個(gè)重要步驟是將輸入劃分為不重疊的矩形。對(duì)每個(gè)矩形進(jìn)行池化函數(shù)操作，如取*大值取*小值、加權(quán)平均等。池化的好處是大大降低了輸入的分辨率。降低前一層的計(jì)算復(fù)雜度。2 具有一定的變換不變性。示例翻譯不變性。旋轉(zhuǎn)不變性。這有助于我們關(guān)注某些特征是什么，而不是特征的位置。上圖反映了pooling的旋轉(zhuǎn)不變性。輸入筆跡 5 具有三個(gè)過(guò)濾器來(lái)檢測(cè)和選擇不同角度的筆跡。5 當(dāng)過(guò)濾器匹配到對(duì)應(yīng)的筆跡5時(shí)，過(guò)濾器會(huì)得到一個(gè)較大的激活值，然后無(wú)論筆跡5是什么，池化都會(huì)選擇*大的激活值。旋轉(zhuǎn)后的421池化前向傳播公式xljfljdownxlj1bljdown是下采樣操作422池化后向傳播公式ljf39uljconv2lj1rot180klj139fullconv2是matlab中的反向卷積操作神經(jīng)網(wǎng)絡(luò)LeNet-5 LeNet-5有一個(gè)輸入，6個(gè)隱藏層和1個(gè)輸出。輸入圖像是 32×32 的圖像。C1層、C3層和C5層都是具有5個(gè)28×28特征的卷積層。圖 16 10×10 特征圖和 120 1×1 特征圖。例子中由于卷積核在卷積計(jì)算過(guò)程中的步長(zhǎng)為1，所以一般得到的特征圖的大小為L(zhǎng)-n1×R-m1L，R為特征圖的行列數(shù)上一層。n×m 是卷積核的大小。如圖所示，隨著層數(shù)的增加，卷積層的特征圖的數(shù)量取決于卷積核和特征的數(shù)量。圖的大小會(huì)逐漸變小。S2S4 是下采樣層，有 6 個(gè) 14×14 的特征圖和 16 個(gè) 5×5 的特征圖。在例子中，采樣窗口的大小為2×2并且采樣范圍不重疊，所以得到的特征圖的大小為L(zhǎng)2×R2。分辨率是原來(lái)的14下采樣層。特征圖的數(shù)量取決于前一層的數(shù)量?？梢钥闯觯c卷積層相比，下采樣層正在減小特征圖的大小。F6的能力更強(qiáng)，但丟失的信息更多。F6層由C5層組成。全鏈路類(lèi)似于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)。*終輸出層由歐洲徑向基函數(shù)單元組成。輸出與參數(shù)向量的距離 51 前向傳播 1 樣本集 取一個(gè)樣本 XYX 是圖像 Y 是圖像對(duì)應(yīng)的分類(lèi) 2 依次計(jì)算各層和輸出層的特征圖

輸出分類(lèi)是根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，通過(guò)卷積核從輸入層的信息中得到C1層的特征圖。對(duì)第一層進(jìn)行采樣計(jì)算得到S2層的特征圖。計(jì)算從輸出層到輸入層的每一層的錯(cuò)誤敏感項(xiàng)。2 通過(guò)每一層的誤差敏感項(xiàng)更新每一層的鏈路矩陣。訓(xùn)練需要多種經(jīng)驗(yàn)技巧，如網(wǎng)絡(luò)結(jié)構(gòu)選擇神經(jīng)元數(shù)量、設(shè)置參數(shù)、初始學(xué)習(xí)率調(diào)整等，因此為了便于模型的構(gòu)建，需要多次訓(xùn)練模型并調(diào)整模型的訓(xùn)練速度。需求，但目前，深度學(xué)習(xí)有以下特點(diǎn)：1 數(shù)據(jù)量大。在CNN圖像處理領(lǐng)域，圖像數(shù)量往往是數(shù)百萬(wàn)級(jí)。2 模型的深度比其他模型復(fù)雜，參數(shù)數(shù)量多。大量導(dǎo)致收斂緩慢。對(duì)于大規(guī)模訓(xùn)練數(shù)據(jù)，加速模型61 GPU加速矢量化編程提高算法速度主要有以下三個(gè)方面。在模型的計(jì)算過(guò)程中，對(duì)于特定的計(jì)算操作往往需要進(jìn)行大量的重復(fù)計(jì)算，向量線(xiàn)性規(guī)劃強(qiáng)調(diào)在單條指令上對(duì)相似數(shù)據(jù)進(jìn)行并行操作。但是，單個(gè) CPU 上的向量操作的本質(zhì)是串行執(zhí)行。GPU 圖形處理器包含數(shù)千個(gè)流處理器。向量運(yùn)算可以并行執(zhí)行。深度學(xué)習(xí)中的大量運(yùn)算都是層與層之間的矩陣運(yùn)算，使用GPU計(jì)算可以大大減少計(jì)算時(shí)間，充分發(fā)揮計(jì)算的高效并行性。下圖顯示了矩陣運(yùn)算次數(shù)的增加。GPU的運(yùn)行速度接近CPU的十倍。62 數(shù)據(jù)并行在模型的訓(xùn)練過(guò)程中?？梢詫?duì)訓(xùn)練數(shù)據(jù)進(jìn)行分割，使用多個(gè)模型來(lái)訓(xùn)練每個(gè)分片的數(shù)據(jù)。隨著數(shù)據(jù)分片數(shù)量的增加，每個(gè)分片的訓(xùn)練樣本大大減少。模型的訓(xùn)練速度可以線(xiàn)性提高。分片的模型訓(xùn)練是相互獨(dú)立的。培訓(xùn)結(jié)束后，需要交換模型參數(shù)。參數(shù)服務(wù)器需要更新模型參數(shù)。當(dāng)分片模型告訴參數(shù)服務(wù)器參數(shù)對(duì)的變化時(shí)，參數(shù)服務(wù)器更新*新的模型，然后將*新的模型返回給每個(gè)訓(xùn)練的Model 63模型并行CNN，除了特定層的全鏈接，其他鏈接關(guān)系可以作為模型的平行線(xiàn)。模型的并行可執(zhí)行部分可以拆分為多個(gè) GPU。多個(gè)GPU用于計(jì)算每個(gè)子模型，大大加快了模型的速度。前向傳播和反向傳播的時(shí)間，例如在多個(gè)卷積核中對(duì)上采樣層的特征圖進(jìn)行卷積運(yùn)算。每個(gè)卷積核共享相同的輸入但運(yùn)算不相互依賴(lài)，可以并行計(jì)算以提高計(jì)算速度?？偨Y(jié) 月度工作總結(jié)和計(jì)劃 工作總結(jié)和工作計(jì)劃 圖像識(shí)別的研究進(jìn)展突出體現(xiàn)在ImageNetILSVRC和人臉識(shí)別上，并且正在迅速推廣到與圖像識(shí)別相關(guān)的各種問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)CNN逐漸與RNN等深度學(xué)習(xí)模型結(jié)合，取得了不錯(cuò)的效果。在未來(lái)的深度學(xué)習(xí)中是可以預(yù)見(jiàn)的。算法的應(yīng)用將產(chǎn)生越來(lái)越深遠(yuǎn)的影響。大觀數(shù)據(jù)也將密切關(guān)注深度學(xué)習(xí)*新技術(shù)動(dòng)態(tài)大觀數(shù)據(jù)付漢杰 總結(jié) 月度工作總結(jié)和計(jì)劃 工作總結(jié)和工作計(jì)劃 圖像識(shí)別的研究進(jìn)展突出體現(xiàn)在ImageNetILSVRC和人臉識(shí)別上卷積模板的翻譯，并且正在迅速推廣到與圖像識(shí)別相關(guān)的各種問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)CNN逐漸與RNN等深度學(xué)習(xí)模型結(jié)合，取得了不錯(cuò)的效果。在未來(lái)的深度學(xué)習(xí)中是可以預(yù)見(jiàn)的。算法的應(yīng)用將產(chǎn)生越來(lái)越深遠(yuǎn)的影響。大觀數(shù)據(jù)也將密切關(guān)注深度學(xué)習(xí)*新技術(shù)動(dòng)態(tài)大觀數(shù)據(jù)付漢杰 總結(jié) 月度工作總結(jié)和計(jì)劃 工作總結(jié)和工作計(jì)劃 圖像識(shí)別的研究進(jìn)展突出體現(xiàn)在ImageNetILSVRC和人臉識(shí)別上，并且正在迅速推廣到與圖像識(shí)別相關(guān)的各種問(wèn)題。卷積神經(jīng)網(wǎng)絡(luò)CNN逐漸與RNN等深度學(xué)習(xí)模型結(jié)合，取得了不錯(cuò)的效果。在未來(lái)的深度學(xué)習(xí)中是可以預(yù)見(jiàn)的。算法的應(yīng)用將產(chǎn)生越來(lái)越深遠(yuǎn)的影響。大觀數(shù)據(jù)也將密切關(guān)注深度學(xué)習(xí)*新技術(shù)動(dòng)態(tài)大觀數(shù)據(jù)付漢杰 卷積神經(jīng)網(wǎng)絡(luò)CNN逐漸與RNN等深度學(xué)習(xí)模型結(jié)合，取得了不錯(cuò)的效果。在未來(lái)的深度學(xué)習(xí)中是可以預(yù)見(jiàn)的。算法的應(yīng)用將產(chǎn)生越來(lái)越深遠(yuǎn)的影響。大觀數(shù)據(jù)也將密切關(guān)注深度學(xué)習(xí)*新技術(shù)動(dòng)態(tài)大觀數(shù)據(jù)付漢杰 卷積神經(jīng)網(wǎng)絡(luò)CNN逐漸與RNN等深度學(xué)習(xí)模型結(jié)合，取得了不錯(cuò)的效果。在未來(lái)的深度學(xué)習(xí)中是可以預(yù)見(jiàn)的。算法的應(yīng)用將產(chǎn)生越來(lái)越深遠(yuǎn)的影響。大觀數(shù)據(jù)也將密切關(guān)注深度學(xué)習(xí)*新技術(shù)動(dòng)態(tài)大觀數(shù)據(jù)付漢杰