Stable Diffusion又出大招！「文生動畫」震撼發(fā)布淘汰導(dǎo)演，DC英雄一秒變身
Stability AI又放大招！
現(xiàn)在，Stable Diffusion也能生成視頻了。AI屆，實在是太卷了。
昨天，Stability AI發(fā)布了一款專為藝術(shù)家和開發(fā)人員設(shè)計的工具——Stable Animation SDK。用戶可以通過多種方式創(chuàng)建令人驚嘆的動畫效果。
此前，Runway的Gen-2就相當(dāng)炸裂，宣傳詞非常霸氣——「say it，see it」。
現(xiàn)在，Stability AI也有比肩Gen-2的視頻生成工具了！
Stable Diffusion能做視頻了
借助Stability AI的動畫端點，美術(shù)師可以使用所有Stable Difusion模型來生成動畫，包括Stable Diffusion 2.0和Stable Diffusion XL。
不過，有別于之前發(fā)布的開源模型，Stable Animation目前僅能通過SDK和付費API使用。
現(xiàn)在，用這三種方式，都可以創(chuàng)建動畫了——
- 經(jīng)典的prompt
就像使用Stable Diffusion、Midjourney或DALL-E 2一樣，用文本生成動畫。
輸入prompt，調(diào)整各種參數(shù)，就能生成動畫。
- prompt+圖像
提供一個初始圖像，作為動畫的基礎(chǔ)。之后，結(jié)合prompt和這個初始圖像，就能生成最終輸出的動畫。
- prompt+視頻
提供一個初始視頻，作為動畫的基礎(chǔ)。同樣，通過各種參數(shù)的調(diào)整，外加prompt的引導(dǎo)，最終得到輸出的動畫。
1塊錢，就能生成100幀動畫
該軟件似乎仍處于測試階段。Stability AI并沒有通過他們的瀏覽器平臺（如DreamStudio或ClipDrop）提供，而是僅提供軟件開發(fā)套件（SDK）和付費API。
當(dāng)然，這并不妨礙第三方通過服務(wù)提供這種動畫模型。
不過，目前想試用這個功能的話，門檻還比較高，因為SDK和API要通過Python腳本來調(diào)用。
與Stability AI的圖像模型類似，Stable Animation也可以設(shè)置許多參數(shù)，例如step、sampler、scale或seed。此外，還提供了諸如outpainting或prompt interpolation等功能。
不同的參數(shù)也會影響價格。所以創(chuàng)建一個視頻要花費多少錢，并不確定。
Stability給出的報價范圍是，在不同設(shè)置下，每100幀的價格從3美分到18美分不等。
Stability AI以輸出動畫的積分值作為收費的依據(jù)，用戶生成的動畫會被換算成一個積分，每1000個積分消耗1美元。
小編算了一下，根據(jù)官方公布的積分計算方法，一塊錢人民幣大概能生成一段100幀的1024*1024分辨率的動畫。
但是其他的參數(shù)也會影響價格，官方給了一個表來說明支持調(diào)整的參數(shù)，以及是否會影響到生成動畫的價格。
與Stable Diffuision XL兼容
Stable Animation可以與每個版本的Stable Diffusion結(jié)合使用。
它的默認(rèn)版本是1.5，但我們也可以選擇使用新版的Stable Diffusion XL。
里面有很多樣板，包括動漫、漫畫書、低多邊形、像素藝術(shù)。
原始分辨率是512 x 512像素，可以增加到1,024 x 1,024像素。此外，可以使用升頻器。
Stable Animation的默認(rèn)值是72 幀（12幀每秒），但根據(jù)說明，它可以增加到無窮大。
此前，Stability AI就已經(jīng)有了基于Stable Diffusion的動畫工具，比如，我們可以通過prompt interpolation（不斷改變prompt的某些屬性）生成一小段動圖。
這次的升級的不同之處在于，table Animation生成視頻的能力更全面、更成熟。
雖然現(xiàn)在，AI還沒進(jìn)化到讓我們按個按鈕就能生成電影，但Stable Animation、Runway ML、Phenaki、Imagen Video等模型的超強進(jìn)化，已經(jīng)預(yù)示了視覺生成AI的視頻生成功能，會越來越驚艷。
網(wǎng)友實測
Stable Animation一發(fā)布，網(wǎng)友們就按捺不住自己渴望嘗試的小手。
比如，npaka就分享了自己的使用體驗。
首先，將DreamStudio的API密鑰設(shè)置為本機的環(huán)境變量。
然后，準(zhǔn)備Python虛擬環(huán)境，并安裝stability_sdk并啟動Animation GUI。
$ pip install 'stability_sdk[anim_ui]'
$ python -m stability_sdk animate --guiRunning on local URL: http://127.0.0.1:7860用瀏覽器打開顯示的網(wǎng)址后，就可以在「Project」選項卡中創(chuàng)建項目了。
在「Render」選項卡中設(shè)置文本提示，然后按「Render」按鈕。
最后，動畫就做好啦。
此外，還有一些網(wǎng)友也分享了自己的作品。
AI離生成電影還有多遠(yuǎn)
AI生成視頻的功能如此強大，已經(jīng)有網(wǎng)友打算投資AI動畫工作室了。
這位表示，腦洞已準(zhǔn)備好，就等一個用戶友好的動畫工具了。
網(wǎng)友們的暢想并不遙遠(yuǎn)，最近，Wes Anderson的《指環(huán)王》的新預(yù)告片中，就用到了不少AI工具。
，時長01:30
OpenAI前AI主管Andrej Karpathy猜測，這部預(yù)告片中至少用到了Midjourney/Stable Diffusion、ControlNet、 ElevenLabs、D-Id、ChatGPT、Adobe等工具。
看來，AI視覺工具再這么進(jìn)化下去，取代好萊塢大導(dǎo)不會太遠(yuǎn)了。
參考資料：
https://stability.ai/blog/stable-animation-sdk
https://twitter.com/StabilityAI/status/1656691563995512834
https://the-decoder.com/stable-animation-stability-ai-makes-images-move/
