【澳門精準(zhǔn)四肖期期準(zhǔn)免費公式手機(jī)軟件】
【最準(zhǔn)—肖—碼100%澳門】
【2024澳門資料大全免費q】
【澳門正版資料免費公開49圖庫】
【一線圖庫彩圖資料大全庫】
【澳門2024平馬計算公式】
【123696澳門資料去年36期】
【香港王中王特網(wǎng)493333WWW】
【新澳門2024最新開獎記錄查詢】
【管家婆精選公開一肖一碼的優(yōu)勢】
【澳門天天彩全年免費資料】
【今日澳門管家婆資料】
【555525oom王中王圖庫五行圖】
【香港496777開獎結(jié)果王中王資料大全】
【澳門六開彩開獎結(jié)果歷史走勢】
【新澳門開門獎歷史記錄2024】
【澳門六開彩正版資料大全免費網(wǎng)站生肖亮點】
【49629澳彩開獎查詢圖庫最新】
【澳門六肖十八碼期期準(zhǔn)】
【48K資料澳門】
【新奧精準(zhǔn)資料免費提供】
【2024管家婆全年資料香港王中王】
【88887777m管家婆開獎一】
【澳門精選免全年費資料大全127】
【澳門跑狗圖論壇精華帖】


新智元報道

編輯:編輯部

【新智元導(dǎo)讀】搶先OpenAI一步的「國產(chǎn)Sora」,再給開源社區(qū)帶來億點點震撼:權(quán)重代碼全開源!16秒720p高清畫質(zhì)一鍵生成,人物渲染逼真到爆,電影級變焦。而美國獨角獸基于之前權(quán)重打造的數(shù)字宇宙,直接讓樂高迷嗨翻了。

就在剛剛,潞晨Open-Sora團(tuán)隊在720p高清文生視頻質(zhì)量和生成時長上實現(xiàn)了突破性進(jìn)展!

如今,全新升級的Open-Sora不僅支持無縫產(chǎn)出任意風(fēng)格的高質(zhì)量短片,而且更令人驚喜的是,團(tuán)隊選擇再給開源社區(qū)帶來億點點震撼——繼續(xù)全部開源。


開源地址:https://github.com/hpcaitech/Open-Sora

通過他們的模型權(quán)重,能夠生成各種酷炫的短片,比如海浪和海螺的親密接觸,還有那些深不可測的森林秘境。



人物肖像的渲染也相當(dāng)逼真。不管是中國古典美女,還是歐美風(fēng)的人物,能夠保持一致的風(fēng)格。




還能精準(zhǔn)渲染賽博朋克風(fēng),讓短片瞬間充滿強(qiáng)烈的未來感和科技感。


也能生成有趣生動的動畫鏡頭,帶來極具表現(xiàn)力的視覺體驗。



即使是電影級別的鏡頭制作,也能輕松應(yīng)對。

例如,實現(xiàn)流暢的變焦效果,為影片增添專業(yè)級的視覺效果。



還能幫助電影制作人員創(chuàng)造出逼真的電影鏡頭。


潞晨的Open-Sora模型以其卓越的性能揭示了視頻生成領(lǐng)域的廣闊前景,而他們的模型權(quán)重和訓(xùn)練代碼已經(jīng)全面開源,感興趣的朋友可以訪問他們的GitHub項目。

GitHub地址:https://github.com/hpcaitech/Open-Sora

文生視頻界的開源戰(zhàn)士

LambdaLabs,美國科技界獨角獸,基于潞晨團(tuán)隊先前開源的Open-Sora模型權(quán)重打造了一個數(shù)字樂高宇宙,樂高迷們在這里找到了極致的創(chuàng)意體驗。

潞晨團(tuán)隊深諳開源對于文生視頻技術(shù)突破的加速度,他們不僅持續(xù)開源模型權(quán)重,還在Github上曬出了技術(shù)路線,讓每個玩家都能成為文生視頻大模型的掌控者,不再是單純的圍觀群眾。


報告地址:https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

技術(shù)深度解碼

潞晨Open-Sora團(tuán)隊的這份技術(shù)報告,深度剖析了本次模型訓(xùn)練的核心和關(guān)鍵。

在上一個版本基礎(chǔ)上,引入了視頻壓縮網(wǎng)絡(luò)(Video Compression Network)、更優(yōu)的擴(kuò)散模型算法、更多的可控性,并利用更多的數(shù)據(jù)訓(xùn)練出了1.1B的擴(kuò)散生成模型。

在這個「算力為王」的時代,視頻模型訓(xùn)練有兩大痛點:計算資源的巨大消耗與模型輸出質(zhì)量的高標(biāo)準(zhǔn)。潞晨Open-Sora團(tuán)隊以一種極簡而有效的方案,成功地在成本和質(zhì)量之間找到了平衡點。

Open-Sora團(tuán)隊提出了一個創(chuàng)新的視頻壓縮網(wǎng)絡(luò)(VAE),該網(wǎng)絡(luò)在空間和時間兩個維度上分別進(jìn)行壓縮。

具體來說,他們首先在空間維度上進(jìn)行了8x8倍的壓縮,接著在時間維度上進(jìn)一步壓縮了4倍。通過這種創(chuàng)新的壓縮策略,既避免了因抽幀而犧牲視頻流暢度的弊端,又大幅降低了訓(xùn)練成本,實現(xiàn)了成本與質(zhì)量的雙重優(yōu)化。


視頻壓縮網(wǎng)絡(luò)結(jié)構(gòu)

Stable Diffusion 3,最新的擴(kuò)散模型,通過采用了rectified flow技術(shù)替代DDPM,顯著提升了圖片和視頻生成的質(zhì)量。

盡管SD3的rectified flow訓(xùn)練代碼尚未公開,但潞晨Open-Sora團(tuán)隊已經(jīng)基于SD3的研究成果,提供了一套完整的訓(xùn)練解決方案,包括:

  • 簡單易用的整流(rectified flow)訓(xùn)練

  • 用于訓(xùn)練加速的Logit-norm時間步長采樣

  • 基于分辨率和視頻長度的時間步長采樣

通過這些技術(shù)的整合,不僅能夠加快模型的訓(xùn)練速度,還能顯著減少推理階段的等待時間,確保用戶體驗的流暢性。

此外,這套訓(xùn)練方案還支持在推理過程中輸出多種視頻寬高比,滿足了多樣化場景下的視頻素材需求,為視頻內(nèi)容創(chuàng)作者提供了更加豐富的創(chuàng)作工具。

他們在報告中也透露了更多關(guān)于模型訓(xùn)練的核心細(xì)節(jié),包括數(shù)據(jù)清洗和模型調(diào)優(yōu)的實用技巧,以及構(gòu)建了更完善的模型評估體系,保障模型的穩(wěn)健性和泛化能力。

他們還提供了可以自行一鍵部署的Gradio應(yīng)用,并支持調(diào)節(jié)輸出的運動分?jǐn)?shù)、美學(xué)分?jǐn)?shù)和鏡頭移動方式等參數(shù),甚至可以一鍵通過GPT-4o自動修改指令并支持中文輸入。

打破閉環(huán),開源賦能

自O(shè)penAI Sora發(fā)布以來,業(yè)界對Sora的開放性期待值爆表,但現(xiàn)實卻是持續(xù)的等待游戲。潞晨Open-Sora的開源,為文生視頻的創(chuàng)新和發(fā)展注入了強(qiáng)勁的活力。

「授人以魚不如授人以漁」,訪問他們的GitHub地址,即可零門檻免費獲得模型權(quán)重和全套訓(xùn)練代碼,這使用戶從被動的內(nèi)容消費者轉(zhuǎn)變?yōu)榉e極的內(nèi)容創(chuàng)造者。

這一轉(zhuǎn)型為企業(yè)用戶解鎖了自主開發(fā)文生視頻應(yīng)用的新技能,無論是打造沉浸式游戲、創(chuàng)意廣告還是制作影視大片,文生視頻技術(shù)的應(yīng)用場景得到了指數(shù)級擴(kuò)展。


或許可以期待這股星星之火,能夠點燃整個文生視頻領(lǐng)域的創(chuàng)新激情,實現(xiàn)從點到面的燎原之勢。

潞晨Open-Sora開源鏈接:

https://github.com/hpcaitech/Open-Sora

參考資料:

https://wandb.ai/lambdalabs/lego/reports/Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours--Vmlldzo4MDE3MTky

https://hpc-ai.com/blog/open-sora-from-hpc-ai-tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use