【香港最準(zhǔn)最快資料曾道道人43678論壇六碼推薦】

【香港王中王494949最快開獎結(jié)果+】

【香港澳門6和彩開奘結(jié)果】

【管家婆一碼一肖資料2024】

【7777788888管家婆一肖】

【新澳六開彩開獎號碼記錄近查詢】

【高三綜合素質(zhì)評價自我評價800字】

【二四六十天空彩劉伯溫單雙各四肖馬會開獎結(jié)果】

【奧門今晚開獎結(jié)果網(wǎng)站查詢】

【管家婆一碼一肖資料大全水果】

【澳門資料大全免費(fèi)資料2024年免費(fèi)下載】

【2024年澳門開獎結(jié)果記錄】

【澳門2024免費(fèi)資料大全集】

【打開香港圖庫資料】

【2024澳門正版資料】

【澳門2024全年免費(fèi)資枓大全】

【2024年澳彩開獎記錄香港王中王】

【新澳門全年資料內(nèi)部公開跑狗圖】

【今日閑情蛇蛋圖圖庫圖片詳情】

【2024新澳門2024原料網(wǎng)管家婆】

【222249開獎結(jié)果香港香港王中王】

【今晚開獎結(jié)果現(xiàn)場直播】

【494949最快的開獎結(jié)果記錄】

【香港最準(zhǔn)最快資料二四六澳門免費(fèi)全全大全】

【澳門一肖-特管家婆正版資料】

夢晨西風(fēng) 發(fā)自凹非寺

量子位 | 公眾號 QbitAI

CVPR 2024最佳論文獎新鮮出爐，生成式AI成最大贏家！

一篇是Rich Human Feedback for Text-to-Image Generation，受大模型中的RLHF技術(shù)啟發(fā)，團(tuán)隊(duì)用人類反饋來改進(jìn)Stable Diffusion等文生圖模型。

這項(xiàng)研究來自UCSD、谷歌等，共同一作華南農(nóng)業(yè)大學(xué)校友Youwei Liang、清華校友Junfeng He、武大、港中文校友Gang Li。

另一篇Generative Image Dynamics更偏理論一些，提出了一種基于圖像空間先驗(yàn)的場景運(yùn)動建模方法，可用于通過靜態(tài)圖像生成無縫循環(huán)視頻，還能實(shí)現(xiàn)與圖像中對象的交互。

這項(xiàng)研究來自谷歌，一作谷歌DeepMind研究員Zhengqi Li（李正奇）。

最佳學(xué)生論文獎也一同公布。

一篇BioCLIP: A Vision Foundation Model for the Tree of Life，構(gòu)建了大規(guī)模生物學(xué)圖像數(shù)據(jù)集，并提出BioCLIP基礎(chǔ)模型來學(xué)習(xí)生物分類的層次表示。

來自俄亥俄州立大學(xué)等，共同一作Samuel Stevens，Jiaman Wu。

另一篇是3D高斯?jié)姙R領(lǐng)域的Mip-Splatting: Alias-free 3D Gaussian Splatting，通過引入3D平滑濾波器、用2D Mip濾波器替換2D膨脹濾波器來消除偽影和混疊等問題。

來自圖賓根大學(xué)、上?？萍即髮W(xué)等，三位一作Zehao Yu、Anpei Chen（陳安沛）、Binbin Huang皆為上?？萍即髮W(xué)在讀或畢業(yè)生。

今年CVPR的參與規(guī)模和受關(guān)注度都達(dá)到了新高度，在頒獎活動結(jié)束后不久，官網(wǎng)就被擠爆了……

OpenAI還在一場活動中現(xiàn)場獻(xiàn)上GPT-4o語音和視覺模式的最新Demo。

今年CVPR共收到投稿11532份，比上年增加25%，其中2719篇論文被接收，接收率為23.6%，競爭非常激烈。

接下來一起看看獲獎?wù)撐氖侨绾蚊摲f而出的。

最佳論文

Rich Human Feedback for Text-to-Image Generation

論文作者來自加利福尼亞大學(xué)圣地亞哥分校、谷歌研究院、南加州大學(xué)、劍橋大學(xué)、布蘭代斯大學(xué)。

當(dāng)前文本生圖模型生成的圖像仍存在失真、與文本不匹配、美學(xué)質(zhì)量差等問題，而現(xiàn)有評估指標(biāo)如IS、FID等無法反映單個圖像的質(zhì)量細(xì)節(jié)問題。

先前一些工作嘗試采集人類偏好或評分作為反饋，但仍然是單一的整體得分，缺乏可解釋性和可操作性。因此，作者提出了收集豐富的細(xì)粒度人類反饋信息，用于更好地評估和改進(jìn)生成模型。

作者用Stable Diffusion生成的Pick-a-Pic數(shù)據(jù)集篩選了18K張圖像，之后收集了“標(biāo)注文本描述中與圖像不匹配的關(guān)鍵詞”、“標(biāo)記圖像中的失真/不合理區(qū)域”等人類反饋信息。每張圖像由3人獨(dú)立標(biāo)注，通過平均/投票等方式合并得到最終反饋標(biāo)簽。

之后，設(shè)計(jì)了一種基于ViT和T5X的多模態(tài)Transformer模型RAHF，使用三種預(yù)測器預(yù)測上述豐富的人類反饋信息:

使用卷積層和上采樣層預(yù)測失真和不匹配的熱力圖

使用卷積層和全連接層預(yù)測4個方面的評分

使用Transformer解碼器生成帶有特殊token的文本序列，標(biāo)識不匹配的關(guān)鍵詞

實(shí)驗(yàn)中，RAHF模型在多個任務(wù)上顯著優(yōu)于基線模型，如ResNet-50和CLIP。

此外，作者還探索了三種利用RAHF預(yù)測的豐富反饋來改進(jìn)文本到圖像生成模型Muse方法。

使用預(yù)測的質(zhì)量評分篩選優(yōu)質(zhì)數(shù)據(jù)微調(diào)Muse模型，生成圖像的質(zhì)量前后對比如下：

使用預(yù)測的失真熱力圖生成掩碼區(qū)域，在該區(qū)域內(nèi)對Muse生成圖像進(jìn)行局部修補(bǔ)，減少了生成圖像的失真問題：

Generative Image Dynamics

論文作者來自谷歌研究院。

自然界中的場景總是在運(yùn)動，即使是看似靜態(tài)的場景也會因?yàn)轱L(fēng)、水流、呼吸等而產(chǎn)生微妙的振蕩。

論文提出了一種從單張靜態(tài)圖像生成自然振蕩動畫的新方法，而且支持用戶與圖中物體進(jìn)行交互：

團(tuán)隊(duì)發(fā)現(xiàn)自然場景中的振蕩運(yùn)動，如樹葉擺動等，主要由低頻分量組成，因此引入了譜體積作為運(yùn)動表示，即對視頻序列中提取的像素運(yùn)動軌跡進(jìn)行傅里葉變換得到的頻域表示，只需少量的低頻傅里葉系數(shù)即可保留大部分運(yùn)動信息。

然后，作者采用潛變量擴(kuò)散模型從輸入圖像預(yù)測譜體積，并提出了頻率自適應(yīng)歸一化和頻率協(xié)調(diào)去噪兩種策略來提高預(yù)測質(zhì)量。

最后，將預(yù)測的譜體積通過逆傅里葉變換轉(zhuǎn)化為運(yùn)動紋理，并設(shè)計(jì)了一種基于圖像的渲染模塊，將輸入圖像按預(yù)測的運(yùn)動軌跡進(jìn)行前向渲染，最終生成展現(xiàn)自然振蕩運(yùn)動的動畫視頻序列。

結(jié)合基于圖像的渲染模塊，這些軌跡可以用于多個應(yīng)用場景，例如將靜態(tài)圖像轉(zhuǎn)換為無縫循環(huán)的視頻，或者通過將光譜體積解釋為圖像空間模態(tài)基底，近似物體動態(tài)，讓用戶能夠與真實(shí)圖片中的物體進(jìn)行逼真的交互。

作者從定量和定性兩方面評估生成視頻的質(zhì)量，結(jié)果顯示該方法明顯優(yōu)于基準(zhǔn)：

最后再來看一下效果：

最佳學(xué)生論文

BioCLIP: A Vision Foundation Model for the Tree of Life

論文作者來自俄亥俄州立大學(xué)、微軟研究院、加利福尼亞大學(xué)歐文分校、倫斯勒理工學(xué)院。

他們構(gòu)建了一個大規(guī)模生物學(xué)圖像數(shù)據(jù)集TreeOfLife-10M，包含1040萬張圖像，覆蓋454103個生物物種，并提出了BioCLIP模型，利用CLIP式的多模態(tài)對比學(xué)習(xí)目標(biāo)，結(jié)合生物學(xué)分類層次結(jié)構(gòu)用TreeOfLife-10M數(shù)據(jù)集預(yù)訓(xùn)練模型。

使用該方法可很好地捕獲生物分類體系的層級結(jié)構(gòu)，從而實(shí)現(xiàn)對看不見類別樣本的泛化能力。