Sora 一出，視頻領(lǐng)域似乎已經(jīng)進(jìn)入了生成式 AI 時(shí)代。不過直到今天，我們?nèi)匀粵]有用上 OpenAI 的官方視頻生成工具，等不及的人們已經(jīng)開始尋找其他的方法。

最近幾周，一款開源的視頻編輯工具 Clapper 引發(fā)了人們的關(guān)注。

與很多科技公司提供的視頻生成器不同，Clapper 是一款開源 AI 故事可視化工具，于一年前推出原型。它的設(shè)計(jì)目的并非取代傳統(tǒng)視頻編輯器，或使用 3D 場(chǎng)景作為輸入的現(xiàn)代 AI 編輯器。

Clapper 的理念是集合各類生成式 AI 技術(shù)，讓任何人都能通過交互式、迭代和直觀的過程使用 AI 創(chuàng)建視頻。無需外部工具、電影制作或 AI 工程技能。在 Clapper 中，你無需直接編輯視頻和音頻文件序列，而是通過調(diào)整高級(jí)、抽象的概念，如角色、位置、天氣、時(shí)間段、風(fēng)格等，基于 AI Agent 來迭代你的故事。

Clapper 的作者 Julian Bilcke 是 HuggingFace 的一名 AI 前端工程師。他表示，為了向這個(gè)方向繼續(xù)努力，他還在開發(fā)導(dǎo)演模式：目標(biāo)是讓使用者可以全屏播放視頻，舒適地坐在導(dǎo)演椅（或沙發(fā)）上，向 Agent 大喊命令，讓 AI 制作電影。

最近幾天，Julian Bilcke 已經(jīng)上線了使用大模型將任意文本轉(zhuǎn)換為時(shí)間線等新功能。而 Clapper 的熱度也水漲船高，在 GitHub 上已經(jīng)擁有超過 1100 的 Star 量。

• GitHub 鏈接：https://github.com/jbilcke-hf/clapper
• HuggingFace 鏈接：https://huggingface.co/spaces/jbilcke-hf/clapper/tree/main
• 試用網(wǎng)址：https://clapper.app/

如何使用

既然是開源工具，我們主要看的當(dāng)然是具體好不好用。

還記得 AI 大牛 Karpathy 創(chuàng)作 AI 短視頻的體驗(yàn)嗎？為了將《傲慢與偏見》開頭的三句話變成動(dòng)畫版，足足花了這位頂尖高手一個(gè)小時(shí)。雖然只有三句話，三個(gè)場(chǎng)景，但這個(gè)工作流遠(yuǎn)比三句話要復(fù)雜。他先用 Claude 根據(jù)原文生成了一系列圖像提示詞，再將這些提示詞輸入文生圖模型生成對(duì)應(yīng)的圖像，再交給視頻模型制作動(dòng)畫，配音的任務(wù)分配給了 Elevenlabs，最后在 Veed Studio 里把所有片段整合起來。

于是，Karpathy 做完后發(fā)推吐槽，稱：「創(chuàng)業(yè)者們，機(jī)會(huì)來了！市面上急需一個(gè)能夠整合、簡(jiǎn)化這些流程的 AI 工具。」

Clapper 正是一個(gè)集成了所有這些功能的一站式平臺(tái)。

通常想做一條短視頻，需要經(jīng)歷以下幾個(gè)步驟。首先需要一個(gè)故事和腳本，然后根據(jù)腳本畫出分鏡，再根據(jù)分鏡拍攝或?qū)ふ宜夭模瑢⑺鼈冊(cè)诩糨嬡浖春掀饋恚砑觿?dòng)畫效果和特效，再有選擇性地配上口播、背景音樂或音效。因此，影視制作行業(yè)中編導(dǎo)、導(dǎo)演、攝像、剪輯、后期、配音等分工應(yīng)運(yùn)而生。

而在 Clapper，視頻制作遵循另一條邏輯。它的每條軌道不像 Premier、剪映等剪輯軟件一樣對(duì)應(yīng)著視頻或圖片素材，而是對(duì)應(yīng)著一個(gè)具體的工種。

剪映的素材軌道

Clapper 的軌道

在用 AI 做視頻這件事上，我們就是 AI 的甲方。Clapper 就像一個(gè)由業(yè)內(nèi)最強(qiáng)的 AI 組成的劇組。Clapper 內(nèi)置像 GPT-4o，Claude 3.5（Sonnet）等一系列「頂流」大模型。它就像乙方的執(zhí)行導(dǎo)演一樣，負(fù)責(zé)將你的需求對(duì)接給對(duì)應(yīng)的「AI 編導(dǎo)」。

從上面的圖中可以看出，第一條軌道代表著故事版，和 Clapper 內(nèi)置的大模型對(duì)話，它將通過 API 調(diào)取文生圖模型，讓 AI 分鏡老師來生成對(duì)應(yīng)的圖片，作為視頻畫面的基礎(chǔ)。

通過 Clapper 可以訪問以上文生圖模型

以 Clapper 給出的樣片為例，接下來的軌道依次對(duì)應(yīng)場(chǎng)景、旁白、攝像機(jī)的視角、背景音樂以及音效。你可以要求 ElevenLabs 或 Fal.ai 為這個(gè)西部廢土世界的故事生成一些廢墟的風(fēng)聲或者槍戰(zhàn)的爆炸聲。

而 Clapper 還有一項(xiàng)功能，可能真的向「會(huì)說話就能拍電影」的愿望邁進(jìn)了一大步。我們可以直接向 Clapper 導(dǎo)入劇本，并且在「故事」一欄細(xì)致地為你的主人公創(chuàng)造人設(shè)。

以《綠野仙蹤》為例，我們不僅可以為人物添加更加個(gè)性化的人物描述，還可以上傳圖片，為女主人公多蘿西設(shè)置視覺形象。這意味著我們可以請(qǐng)世界上的任何演員來扮演這個(gè)角色，哪怕你想看 18 歲的小李子演多蘿西，都可以實(shí)現(xiàn)。Clapper 的功能細(xì)致到你可以調(diào)整人物的年齡和音色，每個(gè)場(chǎng)景的陳設(shè)，多蘿西的房間有什么家具，他們冒險(xiǎn)的目的地「翡翠城」的房子長(zhǎng)什么樣子，都可以在 Clapper 中隨心調(diào)整。

當(dāng)然，你也可以先用 AI 畫一些氣氛?qǐng)D出來，說不定能更進(jìn)一步地激發(fā)你的靈感和創(chuàng)意。

不過，雖然 Clapper 的功能已經(jīng)充分地考慮了做視頻的需求，但是它的效果卻有些差強(qiáng)人意。不僅畫面中人物的動(dòng)作有些「鬼畜」，不符合物理運(yùn)動(dòng)規(guī)律。視頻的整體效果更像是會(huì)動(dòng)的 PPT，缺乏鏡頭之間的轉(zhuǎn)場(chǎng)和連續(xù)感，并且配樂也 AI 味十足，聽起來沒有旋律，還有些雜音。

可能生成式 AI 想要改變視頻制作的流程，還需要很長(zhǎng)時(shí)間，但 Clapper 的出現(xiàn)或許能給還在給傳統(tǒng)視頻剪輯軟件拓展 AI 功能的大廠們，提供了一條新的落地思路。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/ULWoggZpFcyyVp9ViFLPQg??