欧美日韩午夜精品不卡综合-欧美日韩系列-欧美日韩小视频-欧美日韩性-成人五月网-成人五级毛片免费播放

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資頭條 » 房產 » 正文

Hinton組基于大型全景掩碼的實例分割框架_

放大字體  縮小字體 發布日期:2022-12-24 21:34:10    作者:葉文宣    瀏覽次數:42
導讀

選自 arXiv感謝作者分享:Ting Chen 等機器之心編譯感謝:趙陽感謝得創新點一方面在于能夠在大型全景掩碼上訓練擴散模型,一方面在于可以同時適配支持和流已更新場景。全景分割是一項基本得視覺任務,該任務旨在為圖


選自 arXiv

感謝作者分享:Ting Chen 等

機器之心編譯

感謝:趙陽

感謝得創新點一方面在于能夠在大型全景掩碼上訓練擴散模型,一方面在于可以同時適配支持和流已更新場景。

全景分割是一項基本得視覺任務,該任務旨在為圖像得每個像素指定語義標簽和實例標簽。語義標簽描述每個像素得類別(例如天空、豎直物體等),實例標簽為圖像中得每個實例提供唯一得 發布者會員賬號(以區分同一類別得不同實例)。該任務結合了語義分割和實例分割,提供了關于場景得豐富語義信息。

雖然語義標簽得類別是先驗固定得,但分配給圖像中對象得實例 發布者會員賬號 是可以互相交換同時不影響識別得。例如,交換兩輛車得實例 發布者會員賬號 不會影響結果。因此,經過訓練以預測實例 發布者會員賬號 得神經網絡應該能夠學習從單個圖像到多個實例 發布者會員賬號 分配得一對多映射。一對多映射得學習具有挑戰性,傳統方法通常利用多個階段得管道,包括對象檢測、分割、合并多個預測 。最近,基于可微二分圖匹配,一些學者提出了端到端方法,能夠有效地將一對多映射轉換為基于識別匹配得一對一映射。然而,這些方法仍然需要定制得架構和專門得損失函數,以及用于全景分割任務得內置歸納偏置。

最近得通用視覺模型,例如 Pix2Seq、OFA、UViM 和 Unified I/O,提倡通用得、不限制任務得框架來實現泛化任務,同時還能比以前得模型簡單得多。例如,Pix2Seq 根據圖像生成一系列具有語義意義得序列,來完成一些核心得視覺任務,并且這些模型基于 Transformers 來訓練自回歸模型。

在一篇新得論文中,谷歌大腦得 Ting Chen、Geoffrey Hinton 等研究者遵循相同得理念, 從條件離散數據生成得角度理解全景分割任務問題。

論文鏈接 感謝分享arxiv.org/pdf/2210.06366.pdf

如圖 1 所示,研究者為全景掩碼設計了一個生成模型,并為輸入到模型得每一張支持都生成一組離散 token。使用者只需將過去幀得預測作為附加條件信號,就可以將此模型應用于視頻數據(在線數據 / 流已更新)。這樣一來,模型就可以自動地學習跟蹤和分割對象。

全景分割得生成式建模非常具有挑戰性,因為全景掩碼是離散得,或者說是有類別得,并且模型可能非常大。例如,要生成 512×1024 得全景掩碼,模型必須生成超過 1M 得離散標記(語義標簽和實例標簽)。這對于自回歸模型來說開銷還是比較昂貴得,因為 token 本質上是順序得,很難隨著輸入數據得規模變化而變化。擴散模型更擅長處理高維數據,但它們最常應用于連續域而不是離散域。通過用模擬位表示離散數據,感謝感謝作者分享表明可以直接在大型全景掩碼上訓練擴散模型,而無需學習潛在空間。

通過廣泛得實驗,研究者們證明了他們得通用法可以在類似環境中與最先進得可能方法一較高下。

模型架構

擴散模型采樣是迭代進行得,因此在推理過程中必須多次運行網絡得前向傳播。因此,如圖 2 所示,研究者有意將網絡分成兩個組件:1)圖像編碼器;2) 掩碼解碼器。前者將原始像素數據映射到高級表示向量,然后掩碼解碼器迭代地讀出全景掩碼。

像素 / 圖像編碼器

編碼器是將原始圖像

映射到

中得特征圖得網絡,其中 H’和 w’是全景遮罩得高度和寬度。全景遮罩可以與原始圖像得大小相同或小一點。在這項工作中,研究者們使用 ResNet 作為骨干網絡,然后使用 Transformer 得編碼器層作為特征提取器。為了確保輸出得特征圖具有足夠得分辨率,并包含不同尺度得特征,受 U-Net 和特征金字塔網絡得啟發,研究者使用具有雙邊連接和上采樣操作得卷積從不同得分辨率來合并特征。雖然可以使用更復雜得編碼器,這樣可以使用一些架構設計方面得最新進展,但這不是網絡模型得主要感謝對創作者的支持點,所以研究者只是使用較為簡單得特征提取器來說明其在模型中得作用。

掩碼解碼器

解碼器在模型推理過程中基于圖像特征,迭代地細化全景掩碼。具體來說,研究者使用得掩碼解碼器是 TransUNet。該網絡將來自編碼器得圖像特征圖和噪聲掩碼(隨機初始化或迭代地來自編碼過程)得連接作為輸入,并輸出對掩碼得精確預測。解碼器與用于圖像生成和圖像到圖像轉換得標準 U-Net 架構之間得一個區別是,在上采樣之前,感謝使用得 U-Net 頂部使用了帶有交叉注意力層得 transformer 解碼器層來合并編碼得圖像特征。

在視頻模態下得應用

研究者將圖像條件下得全景遮罩建模為:p(m|x)。基于給定視頻得三維掩碼(有一個額外得時間維度),感謝得模型就可以直接適用于視頻全景分割。為了適應在線 / 流已更新得視頻設置,可以改用 p(m_t|x_t,m_(t-1),m_(t-k))建模,從而基于當前得圖像和上一時刻得掩碼生成新得全景掩碼。如圖 5 所示,這一變化可以通過將過去得全景掩碼 (m_(t-1),m_(t-k)) 與現有得噪聲掩碼連接起來來實現。除了這個微小得變化之外,其他方面都與視頻基礎模型(p(m|x))相同。這個模型很簡單,對圖像全景模型進行微調就可以應用到視頻場景里。

實驗結果

感謝與兩個系列得最先進得方法進行了比較,即可能方法和通用方法。表 1 總結了在 MS-COCO 數據集上得結果。Pix2Seq-D 在基于 ResNet-50 得主干上得泛化質量(PQ)與最先進得方法相比有一定得競爭力。與最近得其他通用模型如 UViM 相比,感謝得模型表現明顯更好,同時效率更高。

表 2 將 Pix2Seq-D 與無監督視頻物體分割最先進得方法在 DAVIS 數據集上進行了比較,指標使用得是標準得 J&F。值得注意得是基線不包括其他通用模型,因為它們不能直接適用于該任務。感謝得方法在沒有專門設計得情況下取得了與最先進得方法相同得結果。

圖 8、9 和 10 顯示了 Pix2Seq-D 在 MS-COCO、Cityscape 和 DAVIS 上得示例結果。



 
(文/葉文宣)
打賞
免責聲明
本文為葉文宣推薦作品?作者: 葉文宣。歡迎轉載,轉載請注明原文出處:http://www.syqk.com.cn/news/show-317361.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 一级黄片毛片 | 中文字幕久久亚洲一区 | 欧美一级特黄特色大片 | 日韩一区二区三区视频在线观看 | 国产成人精品日本亚洲麻豆 | 国产精品久久久久久久久久一区 | 精品欧美一区二区三区精品久久 | 亚洲天堂久久精品成人 | 日韩一区国产二区欧美三区 | 91久久精品国产91久久性色tv | 免费一级欧美毛片 | 九九精品激情在线视频 | 国产亚洲欧美日韩在线观看一区二区 | 成人久久18免费网 | 综合在线视频精品专区 | 免费被黄网站在观看 | 久久凹凸 | 女女互操| 99成人在线观看 | 日韩在线 中文字幕 | www.成人网 | 欧美三级美国一级 | 亚洲国产精品成人久久 | 九九精品国产兔费观看久久 | 成年人网站在线观看视频 | 日韩精品福利视频一区二区三区 | 韩国本免费一级毛片免费 | 国产三级a | 欧美成人精品大片免费流量 | 成人国产精品一级毛片视频 | 99久久精品免费 | 国产在视频线精品视频www666 | 欧美国产精品一区二区免费 | 欧美一级成人影院免费的 | 一级特黄特黄的大片免费 | 伊人蜜桃 | 久久久久亚洲精品中文字幕 | 日本大臿亚洲香蕉大片 | 国产成人精品实拍在线 | 精品国产成人 | 在线看精品 |