資訊專欄INFORMATION COLUMN
前幾個月OpenAI大名鼎鼎的Sora 一經發布，似乎象征著視頻領域已經進入了生成式 AI 時代。
不過直到今天，我們仍然沒有用上OpenAI 的官方視頻生成工具，等不及的人們已經開始尋找其他的方法。其中不乏一些國內的廠商如快手的可靈等等。
而在近日，一款全新的開源視頻編輯工具 Clapper 引發了人們的關注。與其他的文生視頻或者文生視頻工具不同，這款工具的設計目的并非取代傳統視頻編輯器，或使用 3D 場景作為輸入的現代 AI 編輯器；其理念是讓任何人都可以通過交互式、迭代和直觀的過程使用 AI 制作視頻，而無需外部工具、電影制作或 AI 工程技能。
Clapper 是一款由 HuggingFace 的 AI 前端工程師 Julian Bilcke 開發的免費開源可視化 AI 視頻編輯工具。它集成了多種生成式 AI 技術，讓用戶能夠通過交互式、迭代和直觀的過程來創建視頻，無需掌握專業的電影制作或 AI 工程技能。
在 Clapper 中，用戶可以通過調整高級抽象概念（如角色、地點、天氣等）來迭代優化故事情節。而Clapper 的導演模式允許用戶向 AI 發出指令，從而進行創作電影。這一工具為視頻創作領域提供了一種全新的工作流程和創作方式。Clapper 的作者Julian Bilcke 是 HuggingFace 的一名 AI 前端工程師。他表示，為了向這個方向繼續努力，他還在開發導演模式：目標是讓使用者可以全屏播放視頻，舒適地坐在導演椅（或沙發）上，向 Agent 大喊命令，讓 AI 制作電影。
最近幾天，Julian Bilcke 已經上線了使用大模型將任意文本轉換為時間線等新功能。而 Clapper 的熱度也水漲船高，在 GitHub 上已經擁有超過 1100 的 Star 量。
既然是開源工具，我們主要看的當然是具體好不好用。還記得 AI 大咖 Karpathy 制作 AI 短視頻的經歷嗎？為了把《傲慢與偏見》開頭的三句話制作成動畫，他花費了整整一個小時。
雖然只有三句話和三個場景，但整個流程比看起來復雜得多。他先用 Claude 根據原文生成一系列圖像提示詞，再將這些提示詞輸入文本生成圖像模型，生成相應的圖像，接著使用視頻模型制作動畫，配音則交給了 Elevenlabs，最后在 Veed Studio 中將所有片段整合起來。完成后，Karpathy 在推特上吐槽道：「創業者們，機會來了！市場上急需一個能夠整合并簡化這些流程的 AI 工具。」
好巧不巧，Clapper 正是這樣一個集成了所有這些功能的一站式平臺。
通常情況下，要制作一條短視頻，需要經歷多個步驟。
首先是構思故事和編寫腳本，然后根據腳本繪制分鏡圖。接下來，根據分鏡圖進行拍攝或尋找素材，將這些素材在剪輯軟件中拼接起來，添加動畫效果和特效，最后選擇性地添加口播、背景音樂或音效。
正因為這一流程的復雜性，影視制作行業中逐漸形成了編導、導演、攝像、剪輯、后期制作、配音等專業分工。而在 Clapper 中，視頻制作遵循一種全新的邏輯。它的每條軌道不再像 Premier、剪映等傳統剪輯軟件那樣對應視頻或圖片素材，而是對應一個具體的制作環節或工種。
在用 AI 做視頻這件事上，我們就是 AI 的甲方，而Clapper 就像一個由業內最強的 AI 組成的劇組。Clapper 內置像 GPT-4o，Claude 3.5（Sonnet）等一系列「頂流」大模型。它就像乙方的執行導演一樣，負責將你的需求對接給對應的「AI 編導」。
從上面的圖中可以看出，第一條軌道代表著故事版，和 Clapper 內置的大模型對話，它將通過 API 調取文生圖模型，讓 AI 分鏡老師來生成對應的圖片，作為視頻畫面的基礎。
以 Clapper 提供的樣片為例，接下來的軌道依次對應場景、旁白、攝像機視角、背景音樂和音效。你可以使用 ElevenLabs 或 Fal.ai 為這個西部廢土世界的故事生成一些廢墟的風聲或槍戰的爆炸聲。此外，Clapper 還具備一項可能讓「會說話就能拍電影」這一夢想更接近現實的功能。你可以直接將劇本導入 Clapper，并在「故事」部分為你的主人公精心設計角色設定。
然而，盡管 Clapper 的功能充分考慮了視頻制作的需求，其效果卻并不盡如人意。畫面中的人物動作有些“鬼畜”，不符合物理運動規律。整體視頻效果更像是會動的 PPT，缺乏鏡頭之間的轉場和連貫性，配樂有時候也充滿了 AI 的痕跡，旋律感不強，甚至還夾雜著一些雜音。可能生成式 AI 想要改變視頻制作的流程，還需要很長時間，但 Clapper 的出現或許能給還在給傳統視頻剪輯軟件拓展 AI 功能的大廠們，提供了一條新的落地思路。
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/131151.html
摘要：可預見的未來激情賽事已經過半，阿里云視頻技術在本次世界杯中也成功落地，而這并不是結局，這是將視頻應用于體育行業以及更多其他行業的開端。 本屆世界杯互聯網直播的順利進行，離不開各大云計算廠商的支持。在這其中，阿里云是當之無愧的C位，除了優酷外，阿里云還支撐了CNTV、CCTV5客戶端，為全網70%的世界杯直播流量保駕護航。 對于世界杯這種超大觀看量級、超強影響力的重要體育賽事，阿里云一直...
摘要：就國內市場而言，百度云選擇三位一體戰略的時候不乏長遠性思考。百度云將放在位的另一個用意正是在領域樹立差異化優勢，并通過等深耕垂直場景。至少就目前來看，百度云已經找到了最適合自己的競爭方式。2018年下半年，To B迎來了從未有過的熱度，也把云計算重新捧上了風口浪尖。和幾年前新興業務的身份不同，處于風暴中心的云計算，早已成為互聯網巨頭和創業者們最激烈的戰場，并相繼宣布了醞釀許久的動作。阿里在財...
摘要：百度企業智能大會現場新一輪搶灘賽將放在位的百度云，自然有著自己的考量。站在百度云的角度而言，云計算進入到綜合實力的較量，恰恰是以己所長攻彼之短的最佳時機。2018年下半年，To B迎來了從未有過的熱度，也把云計算重新捧上了風口浪尖。和幾年前新興業務的身份不同，處于風暴中心的云計算，早已成為互聯網巨頭和創業者們最激烈的戰場，并相繼宣布了醞釀許久的動作。阿里在財報中努力擴大云計算的占比，并視之為...
摘要：不僅如此，倒霉的不只是文科生，根據劍橋大學的數據，目前熱門的工程師居然有的幾率被淘汰，程序員也有接近的幾率被淘汰。 現如今人工智能已經在很多方面得到了應用落地，通過手機移動端的一些功能和應用程序，我們已經能夠很直觀地感受到它對我們生活的影響。比如蘋果IphoneX的人臉識別功能，包括一些主流app有語音識別和語音對話的功能。 隨著AI時代的移動技術革新大會開幕鄰近，APICloud創始...
閱讀 2886·2025-01-02 11:25
閱讀 423·2024-12-10 11:51
閱讀 424·2024-11-07 17:59
閱讀 379·2024-09-27 16:59
閱讀 516·2024-09-23 10:37
閱讀 600·2024-09-14 16:58
閱讀 374·2024-09-14 16:58
閱讀 593·2024-08-29 18:47
