華為全場(chǎng)景 AI 計(jì)算框架MindSpore開(kāi)源！

作者：佚名 2020-03-30 10:50:17

華為Mindspore AI計(jì)算框架正式開(kāi)源，標(biāo)志著華為向自己的AI夢(mèng)想，邁出了新的一步，而深度學(xué)習(xí)開(kāi)源領(lǐng)域，又迎來(lái)了一位重量級(jí)的玩家。

華為Mindspore AI計(jì)算框架正式開(kāi)源，標(biāo)志著華為向自己的AI夢(mèng)想，邁出了新的一步，而深度學(xué)習(xí)開(kāi)源領(lǐng)域，又迎來(lái)了一位重量級(jí)的玩家。全場(chǎng)景適用、端云邊協(xié)同、低門(mén)檻開(kāi)發(fā)、高效分布式并行計(jì)算，MindSpore將為AI領(lǐng)域帶來(lái)一場(chǎng)怎樣的革命？

一家做硬件起家的公司，進(jìn)入AI領(lǐng)域后也是專(zhuān)撿硬骨頭啃。

起初，他們?cè)煨荆蛔鼍褪?0年，一投就是4000億，誕生了天罡、麒麟、昇騰等我們耳熟能詳?shù)男酒?/p>

如今，他們做AI框架，想要降低AI開(kāi)發(fā)門(mén)檻，讓開(kāi)發(fā)者可以輕松的移植代碼，并實(shí)現(xiàn)全場(chǎng)景按需協(xié)同。

這背后，只為了一個(gè)目的：萬(wàn)物互聯(lián)。

是的，這家公司就是華為。

距離2018年10月10日華為輪值董事長(zhǎng)徐直軍在華為全連接大會(huì)上公布MindSpore，已經(jīng)一年多了。

一年多前，華為讓大家知道，在AI框架江湖將出現(xiàn)一個(gè)后起之秀；一年多后的今天，華為MindSpore首席科學(xué)家陳雷宣布，國(guó)內(nèi)首個(gè)全場(chǎng)景AI計(jì)算框架MindSpore正式開(kāi)源！

如此好用的框架將于4月份正式開(kāi)始公測(cè)，到時(shí)開(kāi)發(fā)者就可以親身體驗(yàn)了。

MindSpore降世：為華為在2萬(wàn)億美元大藍(lán)海中保駕護(hù)航

華為副董事長(zhǎng)胡厚崑曾經(jīng)在華為全連接大會(huì)上表示：“我們面臨的是一個(gè)2萬(wàn)億美元的計(jì)算產(chǎn)業(yè)大藍(lán)海。”

目前華為已經(jīng)有了在這片巨大的藍(lán)海中遠(yuǎn)航的硬件基礎(chǔ)，那么接下來(lái)就要在軟件上跟進(jìn)。

然而，海上風(fēng)浪大。

第一股風(fēng)浪，就是技術(shù)戰(zhàn)和貿(mào)易戰(zhàn)，因此華為必須擁有自主可控的全場(chǎng)景計(jì)算框架來(lái)抵御這股足以掀翻整艘大船的風(fēng)浪。

第二股風(fēng)浪，是目前計(jì)算框架存在開(kāi)發(fā)門(mén)檻高、運(yùn)行成本高、部署難度大等等亟待解決的問(wèn)題。

作為華為支持端、邊、云全場(chǎng)景的開(kāi)源深度學(xué)習(xí)訓(xùn)練推理框架，MindSpore一出生就承擔(dān)著這個(gè)年紀(jì)不該有的重大使命。

åˆšåˆšï¼ŒåŽä¸ºå…¨åœºæ™¯ AI è®¡ç®—æ¡†æž¶MindSporeå¼€æºï¼

往小處說(shuō)，MindSpore當(dāng)前主要應(yīng)用于計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理等AI領(lǐng)域，能夠?yàn)閿?shù)據(jù)科學(xué)家和算法工程師提供設(shè)計(jì)友好、運(yùn)行高效的開(kāi)發(fā)體驗(yàn)，同時(shí)解決了昇騰AI處理器原生支持及軟硬件協(xié)同優(yōu)化的問(wèn)題。

往大處說(shuō)，它的戰(zhàn)略意義在于構(gòu)筑面向全球的人工智能開(kāi)源社區(qū)，推動(dòng)人工智能軟硬件應(yīng)用生態(tài)繁榮發(fā)展。

åˆšåˆšï¼ŒåŽä¸ºå…¨åœºæ™¯ AI è®¡ç®—æ¡†æž¶MindSporeå¼€æºï¼

強(qiáng)大的核心特性，助力高效實(shí)戰(zhàn)開(kāi)發(fā)

開(kāi)發(fā)者只需要掌握張量（Tensor）、算子（Operator）、單元（Cell）以及模型（Model）這4個(gè)基本概念及Python編程基礎(chǔ)，即可利用MindSpore提供的高級(jí)API進(jìn)行實(shí)戰(zhàn)開(kāi)發(fā)。

陳雷介紹了Mindspore的關(guān)鍵特性路標(biāo)的變化，并且承諾會(huì)不斷根據(jù)開(kāi)發(fā)者的需求，對(duì)Mindspore進(jìn)行改進(jìn)，力求滿(mǎn)足開(kāi)發(fā)者最關(guān)心、最核心的需求。

åˆšåˆšï¼ŒåŽä¸ºå…¨åœºæ™¯ AI è®¡ç®—æ¡†æž¶MindSporeå¼€æºï¼

接下來(lái)我們看下MindSpore的核心特性。

自動(dòng)微分

當(dāng)前主流的深度學(xué)習(xí)框架主要有三種自動(dòng)微分技術(shù)：網(wǎng)絡(luò)在編譯時(shí)轉(zhuǎn)換為靜態(tài)數(shù)據(jù)流圖（TensorFlow），在靜態(tài)圖上做自動(dòng)微分；以記錄操作符重載的方式，動(dòng)態(tài)生成數(shù)據(jù)流圖（PyTorch），在動(dòng)態(tài)圖上自動(dòng)微分。

而 MindSpore 采用基于源碼轉(zhuǎn)換的通用自動(dòng)微分：以即時(shí)編譯（JIT）的方式在中間表達(dá)（編譯過(guò)程中程序的表達(dá)形式）上做自動(dòng)微分變換，支持while/if/for等復(fù)雜的控制流結(jié)構(gòu)、支持高階函數(shù)和閉包等靈活的函數(shù)式編程方式。

自動(dòng)并行

MindSpore自動(dòng)并行能夠用串行算法代碼，自動(dòng)實(shí)現(xiàn)分布式并行訓(xùn)練，并且保持高性能。分布式并行訓(xùn)練的范式有數(shù)據(jù)并行和模型并行，以及由這兩種范式組合出來(lái)的混合并行。

MindSpore自動(dòng)并行采用了一種全新的分布式并行訓(xùn)練模式，融合了數(shù)據(jù)并行、模型并行和混合并行。

高效數(shù)據(jù)處理

MindSpore中的MindData負(fù)責(zé)完成訓(xùn)練過(guò)程中數(shù)據(jù)的pipeline處理，包括數(shù)據(jù)加載、數(shù)據(jù)增強(qiáng)、導(dǎo)入訓(xùn)練，并提供簡(jiǎn)單易用的編程接口和覆蓋CV/NLP等全場(chǎng)景的豐富數(shù)據(jù)處理能力。MindData提供c_transforms模塊和py_transforms模塊，來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)，用戶(hù)也可以自定義算子來(lái)做數(shù)據(jù)增強(qiáng)。

高效圖執(zhí)行引擎

MindSpore的圖處理操作，縱向看總共分為三層，分別是執(zhí)行控制層、業(yè)務(wù)功能層、數(shù)據(jù)管理層。橫向展開(kāi)分析，可細(xì)分為六大步驟，分別是圖準(zhǔn)備、圖拆分、圖優(yōu)化、圖編譯、圖加載和圖執(zhí)行。通過(guò)上述圖操作，MindSpore圖引擎可以將前端下發(fā)的圖轉(zhuǎn)換為一種可以在昇騰硬件上高效運(yùn)行的圖模式。

深度優(yōu)化的模型集市

MindSpore計(jì)劃2020年Q4提供超過(guò)30+的深度優(yōu)化模型，可供開(kāi)發(fā)者直接使用。

åˆšåˆšï¼ŒåŽä¸ºå…¨åœºæ™¯ AI è®¡ç®—æ¡†æž¶MindSporeå¼€æºï¼