閱讀排名更多

企業(yè)直播更多

推薦展會(huì)更多

科學(xué)島團(tuán)隊(duì)提出一種跨模態(tài)機(jī)器視覺人工智能模型實(shí)現(xiàn)跨模態(tài)圖像檢索技術(shù)

2024-09-12 09:02:10來源：合肥物質(zhì)科學(xué)研究院作者：高皖關(guān)鍵詞：機(jī)器視覺閱讀量：3413

導(dǎo)讀：近日，中國(guó)科學(xué)院合肥物質(zhì)院智能所先進(jìn)制造中心王紅強(qiáng)研究員團(tuán)隊(duì)提出一種寬域跨模態(tài)機(jī)器視覺AI模型，突破了傳統(tǒng)單域模型跨模態(tài)信息處理瓶頸，實(shí)現(xiàn)了跨模態(tài)圖像檢索技術(shù)新突破。

　　【儀器網(wǎng) 科技成果】近日，中國(guó)科學(xué)院合肥物質(zhì)院智能所先進(jìn)制造中心王紅強(qiáng)研究員團(tuán)隊(duì)提出一種寬域跨模態(tài)機(jī)器視覺AI模型，突破了傳統(tǒng)單域模型跨模態(tài)信息處理瓶頸，實(shí)現(xiàn)了跨模態(tài)圖像檢索技術(shù)新突破。該研究成果被計(jì)算機(jī)視覺頂會(huì)(歐洲計(jì)算機(jī)視覺大會(huì)，ECCV2024)正式接收。

　　跨模態(tài)機(jī)器視覺研究是當(dāng)前人工智能研究的前沿領(lǐng)域與主要挑戰(zhàn)之一，難點(diǎn)在于如何識(shí)別模態(tài)間的一致性和互補(bǔ)性。傳統(tǒng)方法通常在圖水平和特征水平上進(jìn)行，往往受限于信息粒度過大和圖像資源稀缺等問題。科研團(tuán)隊(duì)發(fā)現(xiàn)，相比圖和特征，細(xì)節(jié)關(guān)聯(lián)在多數(shù)情況下更好地保持了跨模態(tài)間的不變性。

　　為此，科研團(tuán)隊(duì)提出了一種寬域信息挖掘神經(jīng)網(wǎng)絡(luò)(WRIM-Net)，通過構(gòu)建全域交互學(xué)習(xí)機(jī)制實(shí)現(xiàn)了在空間域、通道域以及尺度域等多域中的細(xì)節(jié)關(guān)聯(lián)挖掘，突破了傳統(tǒng)單域模型的局限性。此外，通過設(shè)計(jì)跨模態(tài)關(guān)鍵實(shí)例對(duì)比學(xué)習(xí)模塊有效引導(dǎo)了網(wǎng)絡(luò)提取模態(tài)關(guān)聯(lián)信息。在驗(yàn)證實(shí)驗(yàn)中，不僅在標(biāo)準(zhǔn)SYSU-MM01和RegDB數(shù)據(jù)集上，還在最新的大規(guī)模跨模態(tài)LLCM數(shù)據(jù)集上證實(shí)了所提出模型的有效性，多項(xiàng)關(guān)鍵性能指標(biāo)首次突破90%，比如在SYSU-MM01上R1指標(biāo)達(dá)92.1%，在RegDB上mAP指標(biāo)達(dá)90.5%，接近實(shí)際應(yīng)用水平。該模型可用于視覺追溯與檢索、多模態(tài)大模型、醫(yī)學(xué)影像分析、安防監(jiān)控等多個(gè)人工智能應(yīng)用領(lǐng)域。

　　博士生吳勇敢為文章的第一作者，王紅強(qiáng)為通信作者。該研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目、中國(guó)科學(xué)院設(shè)備開發(fā)、安徽省重點(diǎn)研究與開發(fā)計(jì)劃等科研項(xiàng)目的支持。

　　據(jù)悉，歐洲計(jì)算機(jī)視覺大會(huì)(ECCV)是計(jì)算機(jī)視覺領(lǐng)域的頂尖國(guó)際學(xué)術(shù)盛會(huì)之一，與ICCV和CVPR并列“三大頂會(huì)”。自1986年起，ECCV每?jī)赡昱e行一次，聚焦計(jì)算機(jī)視覺的全方位研究，包括圖像與視頻的處理、分析和理解，及其在機(jī)器學(xué)習(xí)、模式識(shí)別、機(jī)器人、醫(yī)學(xué)影像、AR/VR等領(lǐng)域的應(yīng)用。

跨模態(tài)信息關(guān)聯(lián)性與寬域信息挖掘模型原理

上一篇：我國(guó)首次研制成功達(dá)到環(huán)境空氣碳監(jiān)測(cè)高精度要求的標(biāo)準(zhǔn)物質(zhì)

下一篇：北京大學(xué)未來技術(shù)學(xué)院席鵬團(tuán)隊(duì)開發(fā)保真優(yōu)先的熒光顯微鏡反卷積方法

版權(quán)與免責(zé)聲明：1.凡本網(wǎng)注明“來源：儀器網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-興旺寶合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本網(wǎng)授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：儀器網(wǎng)”。違反上述聲明者，本網(wǎng)將追究其相關(guān)法律責(zé)任。 2.本網(wǎng)轉(zhuǎn)載并注明自其它來源（非儀器網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)或和對(duì)其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。其他媒體、網(wǎng)站或個(gè)人從本網(wǎng)轉(zhuǎn)載時(shí)，必須保留本網(wǎng)注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。 3.如涉及作品內(nèi)容、版權(quán)等問題，請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系，否則視為放棄相關(guān)權(quán)利。

全部評(píng)論

昵稱驗(yàn)證碼匿名

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個(gè)字符)

表情

所有評(píng)論僅代表網(wǎng)友意見，與本站立場(chǎng)無關(guān)

相關(guān)新聞更多

烏鎮(zhèn)大會(huì)聚焦“人工智能與智慧城市” 多款智能設(shè)備與技術(shù)驚艷亮相
11月20日，備受矚目的2024年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)在中國(guó)浙江省烏鎮(zhèn)盛大開幕，本次峰會(huì)以“擁抱以人為本、智能向善的數(shù)字未來——攜手構(gòu)建網(wǎng)絡(luò)空間命運(yùn)共同體”為主題，

2024-11-23 08:48:41

16167
關(guān)于發(fā)布《廣州市人工智能典型案例冊(cè)》《廣州市“人工智能＋”優(yōu)秀解決方案冊(cè)》的通知
經(jīng)企業(yè)申報(bào)、專家評(píng)審、公示等程序，現(xiàn)將《廣州市人工智能典型案例冊(cè)》《廣州市“人工智能 ”優(yōu)秀解決方案冊(cè)》發(fā)布。

2024-11-19 09:01:31

15711
AI 儀器？全球首個(gè)AI電子順磁共振波譜儀正式發(fā)布
國(guó)儀量子正式發(fā)布了全球首個(gè)AI電子順磁共振波譜儀，成為順磁共振波譜學(xué)領(lǐng)域的重要里程碑。

2024-10-23 08:41:16

2435
中國(guó)提出《人工智能能力建設(shè)普惠計(jì)劃》并呼吁各方對(duì)人工智能能力建設(shè)加大投入
中方愿同所有國(guó)家開展人工智能領(lǐng)域南北合作、南南合作和三方合作，共同落實(shí)聯(lián)合國(guó)未來峰會(huì)成果，積極同各國(guó)特別是發(fā)展中國(guó)家開展人工智能基礎(chǔ)設(shè)施建設(shè)合作，共建聯(lián)合實(shí)驗(yàn)室。

2024-10-10 08:50:42

2105
新疆理化所11名科研人員入選2024年全球前2%頂尖科學(xué)家榜單
入選科研人員的學(xué)科方向涉及無機(jī)和核化學(xué)、藥物及生物分子化學(xué)、材料、光電學(xué)與光子學(xué)等、能源及環(huán)境、人工智能及圖像處理等多個(gè)領(lǐng)域，意味著我所科研人員在上述領(lǐng)域的研究已具有較高的國(guó)際影響力。

2024-09-25 09:04:42

1579
規(guī)范人工智能產(chǎn)業(yè) 網(wǎng)信辦就人工智能生成合成內(nèi)容標(biāo)識(shí)辦法征求意見
為了進(jìn)一步加強(qiáng)人工智能生成合成內(nèi)容管理，規(guī)范人工智能生成合成內(nèi)容標(biāo)識(shí)，網(wǎng)信辦發(fā)布《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法(征求意見稿)》(以下簡(jiǎn)稱：征求意見稿)，意見反饋截止時(shí)間為2024年10月14日。

2024-09-19 08:52:58

1057