先前我們介紹過能夠製作文字/圖片生成動態影片的免費網站 Runway,當時 Runway 的效果差強人意,不過 Runway 最近宣布即將推出新一代的影片生成模型 Gen-3 Alpha,Gen-3 Alpha 能夠讓生成出的影片細節、一致性和動態方面都得到改善跟優化。
Runway 即將推出新一代影片生成模型 Gen-3 Alpha ,場景轉換、人物細節大幅提升
Runway 的新一代 Gen-3 Alpha 同時在影片和圖片上接受訓練,未來 Runway 在進行文字生成影片、圖片生成影片或文字生成圖片等動作時,都能靠 Gen-3 Alpha 模型來提供動力。
Gen-3 Alpha 接受高度描述性(highly descriptive)、時間密集型字幕的訓練,可以生成出富有想像力的過渡以及場景中精確關鍵幀控制的內容。譬如鏡頭特寫螞蟻爬出巢穴,再將鏡頭拉遠拍攝到整個社區畫面的過渡鏡頭,Gen-3 Alpha 就可以處理得很好:
或者是無人機從遠到近拍攝海邊懸崖上的一座城堡,從拍攝海邊的遠景再到懸崖上的城堡的近景也能過渡得很好:
Gen-3 Alpha 除了能改善 Runway 對場景過渡的流暢度以外,Gen-3 Alpha 還會更擅長生成富有表現力的人物角色,廣泛的動作、手勢跟情緒對 Gen-3 Alpha 來說都會變得非常簡單。人臉再也不會有突然變形的問題,生成出的人物能夠保持一定的水平:
可以在 Runway 生成出的人物上看到快樂、悲傷等等的情緒:
Runway 還表示 Gen-3 Alpha 專為藝術家而生,Gen-3 Alpha 的訓練結果來自科學家、工程師和藝術家的共同協作。Gen-3 Alpha 可以解讀多種風格和電影術語,呈現出像是電影特效般的場景。Runway 也持續在與領先的娛樂和媒體組織合作,創建 Gen-3 的訂製版本:
定製化的 Gen-3 模型可以滿足特定的藝術和敘事要求,未來也更可以控制創作出來的角色的風格和一致性。目前 Runway 進行文字/圖片生成影片的模型還是 Gen-2,不知何時會更新成 Gen-3 Alpha 的版本。有興趣想先了解 Gen-3 Alpha 的朋友可以前往 Runway 官方網站觀看更多範例影片: