Midjourney+Gen2，七步完成「芭本海默」，引Karpathy驚呼｜附實(shí)測經(jīng)驗(yàn)
在前兩天芭比海默全網(wǎng)爆火之后，不斷有網(wǎng)友“復(fù)現(xiàn)”用MidJourney+Gen-2制作電影的神技！
而一位網(wǎng)友更新了一個(gè)自己的教程，制作芭本海默只需7步，被Karpathy盛贊為“電影制作工業(yè)2.0”。
一部20秒鐘，有完整劇情，包含6個(gè)分鏡頭的動(dòng)畫短片，7步完成，曹植看了都要直呼內(nèi)行！
7步完成芭比海默，效果驚人
下面就給大家具體演示一下：
1. ChatGPT幫你寫分鏡頭劇本，順便再幫你把字幕也寫好
2. 根據(jù)分鏡頭腳本，用Midjourney生成每個(gè)鏡頭的開始的一張圖片。
這里可能是7步成片中唯一一步稍微有點(diǎn)門檻的操作，每張圖片的提示詞要自己創(chuàng)作。
但是點(diǎn)擊圖片放大之后可以看到提示詞也不是很長，有一點(diǎn)英語基礎(chǔ)的朋友稍微試一下就能做到。
這是短片中另外幾個(gè)場景的起始圖片，也全都是用Midjourney生成。
3. 為了保證短片中的場景色調(diào)一致，需要用修圖軟件調(diào)整一下每張圖片的色調(diào)。
比如短片里的色調(diào)是比較復(fù)古的風(fēng)格，Midjourney生成的原圖可能不符合。
用任意一款修圖軟件調(diào)整過后，就能讓所有場景的風(fēng)格比較一致了。
4. 使用Gen-2讓每一張照片動(dòng)起來，把6張照片變?yōu)?個(gè)分鏡頭。
5.然后用ElevenLabs生成字幕的語音。
6. 然后用FinalCut Pro把動(dòng)畫，聲音，和特效結(jié)合起來，短片就基本完成了。
7. 再用Capcut添加好字幕，大功告成！
實(shí)測之后發(fā)現(xiàn)的經(jīng)驗(yàn)
雖然看著簡單，但是親手實(shí)測了一波后發(fā)現(xiàn)，沒有一個(gè)清晰的規(guī)劃，要想做出自己效果滿意的電影，還是很不容易的。
最大的障礙在于，因?yàn)镚en-2的動(dòng)畫只能以某一張圖隨機(jī)生成，所以在涉及人臉畫面的時(shí)候，畸變會(huì)比較多。
本來想做一個(gè)馬老板手搓星艦的視頻，但是發(fā)現(xiàn)人物面部的畸變太嚴(yán)重了，以至于每段視頻只有第一幀圖片是馬老板本人，一秒鐘之后就不知道會(huì)變成誰了。
所以如果想要用Gen-2做一個(gè)明星相關(guān)的視頻，現(xiàn)在為止還幾乎不可能。
而且這些面部畸變和人物動(dòng)作時(shí)完全隨機(jī)的，完全不受用戶控制。
有一位網(wǎng)友做了一段視頻，把每4秒的最后一幀截圖下來讓Gen-2繼續(xù)生成新動(dòng)畫。
大概40秒之后，畫面中的人物，從一開始的美漫風(fēng)格的動(dòng)畫角色，最后幾乎畸變成了雕塑。
即便圖片中有一些比較明顯的動(dòng)態(tài)提示的效果，但是Gen-2還不能理解，所以生成的效果也不一定符合你的預(yù)期。
人物的動(dòng)作也沒有辦法太好的控制，可能為了要生成一段自己滿意的動(dòng)畫需要用同一張圖嘗試好長時(shí)間。
所以就目前Gen-2能實(shí)現(xiàn)的效果來看，還不太可能隨意適應(yīng)比較復(fù)雜的劇本。
所以就要求寫劇本時(shí)要盡量避免近景人臉特寫等場景。
但是如果未來Gen-2能夠?qū)rompt和圖片完全結(jié)合起來，讓圖片能夠跟著prompt的描述動(dòng)起來，效果就會(huì)有一個(gè)巨大的飛躍。
其他的Midjourney+Gen-2的效果
大神歸藏，用Gen-2做了幾個(gè)《奧本海默》中的場景，足以以假亂真。
同時(shí)，他還比較了相似的場景和Pika Lab生成的區(qū)別。
下圖是Pika Lab的效果。
除了開頭這段「芭比海默」之外，很多網(wǎng)友也用Gen-2和Midjouney這對黃金搭檔做起了動(dòng)畫開發(fā)的副業(yè)。
讓我們來欣賞幾組效果不錯(cuò)的動(dòng)畫效果演示。
可以看出，在演示之中人臉的效果變形不是很大，這與實(shí)測的差異很大，很有可能是因?yàn)樽髡咴嚵撕芏啻沃笳业降哪槻炕儾淮蟮男Ч?/span>
有網(wǎng)友生成了一部名人漫威角色的預(yù)告片，效果非常逼真，配上一點(diǎn)動(dòng)畫特效和光影，感覺真的像是漫威官方的作品。
這是網(wǎng)友生成的一段恐怖電影的預(yù)告片，反而很好的利用了Gen-2人物畫面畸變，增加了恐怖片的氛圍感。
這一段也是網(wǎng)友用MJ+Gen-2做的藝術(shù)感很強(qiáng)的視頻，加上后期跟新的導(dǎo)演運(yùn)鏡特效。
這是一幅用油畫的靜圖生成的動(dòng)畫，雖然有一點(diǎn)畸變，但是效果確實(shí)不錯(cuò)。
