高效學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)——以具體的任務(wù)類型為切入點(diǎn) 原創(chuàng)
“ 學(xué)習(xí)技術(shù)要從解決實(shí)際問題出發(fā)，這樣才能更快更好的學(xué)習(xí)新技術(shù)，并不容易忘記；而如果單純的為了技術(shù)而學(xué)習(xí)技術(shù)，那么你將會(huì)一邊學(xué)一邊忘。”
這段時(shí)間一直在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)，包括神經(jīng)網(wǎng)絡(luò)模型架構(gòu)，神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)，數(shù)據(jù)集前置處理等；但這幾天突然發(fā)現(xiàn)一個(gè)問題，會(huì)看這段時(shí)間的學(xué)習(xí)，雖然不能說一點(diǎn)收獲都沒有，但卻覺得進(jìn)度很慢，而效果也不好。
比如說，到目前為止依然沒有理解怎么實(shí)現(xiàn)一個(gè)具體的神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)，以及獨(dú)立設(shè)計(jì)和實(shí)現(xiàn)一個(gè)數(shù)據(jù)集。
原因主要有兩點(diǎn)，一是學(xué)習(xí)的過程中全都是自己摸著石頭過河沒有人能指導(dǎo)；其次很重要的一點(diǎn)就是學(xué)習(xí)的方法不對(duì)，學(xué)習(xí)的過程中是把神經(jīng)網(wǎng)絡(luò)不同模塊分開來學(xué)的，但卻沒有認(rèn)識(shí)到神經(jīng)網(wǎng)絡(luò)技術(shù)是一個(gè)多環(huán)節(jié)的整體。
以具體任務(wù)為切入點(diǎn)
在學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)的過程中，又犯了一個(gè)常見的錯(cuò)誤；拋開了具體的任務(wù)需求，去嘗試學(xué)習(xí)一些所謂的“通用”技能；比如神經(jīng)網(wǎng)絡(luò)需要模型設(shè)計(jì)，數(shù)據(jù)集處理等。
但神經(jīng)網(wǎng)絡(luò)是一項(xiàng)復(fù)雜的技術(shù)，不同神經(jīng)網(wǎng)絡(luò)之間，以及不同數(shù)據(jù)集之間雖然有一些交集，但更多的是巨大的差異；雖然從更抽象的角度來看，神經(jīng)網(wǎng)絡(luò)技術(shù)都需要經(jīng)過固定的幾個(gè)步驟；比如模型設(shè)計(jì)，數(shù)據(jù)集整理，損失函數(shù)，優(yōu)化算法，訓(xùn)練等；但不同的神經(jīng)網(wǎng)絡(luò)，其每一步都是有差別的。
比如說在自然語(yǔ)言任務(wù)和圖像處理中，對(duì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)以及數(shù)據(jù)集的要求都是不一樣的；兩種任務(wù)類型存在著天然的技術(shù)差異。
因此，在學(xué)習(xí)的過程中，最好的方式是從具體的任務(wù)出發(fā)，去解決具體的問題；而不是把技術(shù)當(dāng)作空中樓閣，單純的去學(xué)習(xí)技術(shù)，而這也是技術(shù)人員在學(xué)技術(shù)的過程中會(huì)經(jīng)常犯的錯(cuò)誤和問題。
最直接的體現(xiàn)就是，我們?cè)趯W(xué)校或者在學(xué)習(xí)某一項(xiàng)新技術(shù)的時(shí)候，總是喜歡從理論和基礎(chǔ)出發(fā)；然后結(jié)果就是，一段時(shí)間花大力氣學(xué)的東西，沒幾天就忘得差不多了。
雖然說不懂技術(shù)和理論，很難去上手去做一件事情；但如果是從問題出發(fā)，比如為了解決某個(gè)問題，然后去學(xué)習(xí)某個(gè)技術(shù)，這時(shí)學(xué)東西就會(huì)特別快；然后因?yàn)橛芯唧w的應(yīng)用場(chǎng)景，因此就會(huì)記得更深刻，理解的也更深刻，也更難忘記。
技術(shù)的誕生是為了解決問題，而不是為了學(xué)技術(shù)而研究技術(shù)。
以作者自己學(xué)習(xí)數(shù)據(jù)集處理的過程來說，在自然語(yǔ)言(NLP)任務(wù)中，不同的NLP任務(wù)，需要不同形式的數(shù)據(jù)集；比如說分類任務(wù)，問答任務(wù)，聊天任務(wù)，需要的數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)模型都是不一樣的。
而在數(shù)據(jù)集處理的過程中，其要求和處理過程也是不一樣的；舉例來說，在比較嚴(yán)謹(jǐn)?shù)膽?yīng)用場(chǎng)景中，訓(xùn)練語(yǔ)料中需要的是嚴(yán)肅且嚴(yán)謹(jǐn)?shù)膬?nèi)容；而在一些感情領(lǐng)域，需要的不是邏輯性，而是有足夠的情緒表達(dá)。
而這兩種模式，即使模型是相同的；但語(yǔ)料絕對(duì)不會(huì)一樣，因此在具體的數(shù)據(jù)集收集和處理的過程中也不能一樣。前者需要把嘿嘿，哈哈等情感詞匯作為停用詞，但后者需要把嘿嘿，哈哈這種情感詞匯作為關(guān)鍵詞。
而去由于沒有經(jīng)歷過完善的神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)與訓(xùn)練流程，雖然感覺自己每個(gè)環(huán)節(jié)都學(xué)了，但結(jié)果卻是每個(gè)環(huán)節(jié)都不一樣，整體就更不行了。
本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires
