新聞網(wǎng)訊 近日,，電子信息學(xué)院蘇洪磊課題組（青島大學(xué)智能多媒體信號(hào)處理實(shí)驗(yàn)室）在智能多媒體通信領(lǐng)域取得一系列重要研究進(jìn)展,，分別發(fā)表于國(guó)際頂級(jí)期刊IEEE Transactions on Image Processing (TIP)、IEEE Transactions on Visualization and Computer Graphics(TVCG)和IEEE Transactions on Multimedia (TMM),，均為中國(guó)科學(xué)院一區(qū)期刊（其中TIP和TVCG為CCF A類期刊）,。本課題組的四項(xiàng)主要研究成果分別針對(duì)點(diǎn)云質(zhì)量評(píng)價(jià)的模型架構(gòu)、解碼效率和感知機(jī)制等方面取得突破：
《3DTA: No-Rference 3D Point Cloud Quality Assessment With Twin Attention》發(fā)表于IEEE Transactions on Multimedia,，第一作者是2022級(jí)研究生朱琳霞,，通訊作者是蘇洪磊,。此研究提出了一種基于雙重注意力機(jī)制的Transformer模型,，用于端到端預(yù)測(cè)點(diǎn)云感知質(zhì)量。該方法設(shè)計(jì)了兩階段采樣策略,，有效提取代表整幅點(diǎn)云的幾何和紋理信息,，并采用雙注意力模塊（空間注意力和通道注意力）增強(qiáng)模型對(duì)失真的感知能力，從而直接輸出點(diǎn)云的主觀質(zhì)量評(píng)分,。實(shí)驗(yàn)結(jié)果表明,，與以往方法相比，3DTA模型在大部分情況下顯著提升了無(wú)參考質(zhì)量評(píng)價(jià)的準(zhǔn)確性,，其性能甚至可與部分全參考指標(biāo)相媲美,。這一模型結(jié)構(gòu)簡(jiǎn)單靈活、適用范圍廣,，為無(wú)參考PCQA提供了高精度的解決方案,。提出的模型結(jié)構(gòu)如圖1所示。
圖1：提出的3DTA模型結(jié)構(gòu)圖
《No-Reference Bitstream-Based Perceptual Quality Assessment of Octree-Lifting Encoded 3D Point Clouds》發(fā)表于IEEE Transactions on Visualization and Computer Graphics,，第一作者是2021級(jí)研究生呂劍雨,，通訊作者是蘇洪磊。針對(duì)傳統(tǒng)的點(diǎn)云質(zhì)量評(píng)價(jià)方法需要完整解碼點(diǎn)云的問(wèn)題,，本研究提出了一種無(wú)參考比特流層質(zhì)量評(píng)價(jià)模型streamPCQ-OL,，專門用于評(píng)價(jià)Octree-Lifting編碼的3D點(diǎn)云質(zhì)量。該模型直接從壓縮后的比特流中提取關(guān)鍵特征,，通過(guò)分析紋理量化參數(shù),、幾何量化尺度等信息，評(píng)價(jià)點(diǎn)云的幾何和紋理失真,。與傳統(tǒng)方法不同,，streamPCQ-OL無(wú)需解碼完整點(diǎn)云即可實(shí)時(shí)提供質(zhì)量評(píng)價(jià)結(jié)果，顯著提升了評(píng)價(jià)的效率,。提出的結(jié)構(gòu)圖如圖2所示,。
圖2：提出的streamPCQ-OL模型結(jié)構(gòu)圖
《Energy-Adaptive Bitstream-Layer Model for Perceptual Quality Assessment of V-PCC Encoded 3D Point Clouds》發(fā)表于IEEE Transactions on Image Processing，第一作者是2022級(jí)研究生桑伍駟,，通訊作者是蘇洪磊,。針對(duì)傳統(tǒng)質(zhì)量評(píng)價(jià)需完整解碼點(diǎn)云的問(wèn)題,，該研究提出在V-PCC壓縮碼流層直接評(píng)價(jià)質(zhì)量的方法。通過(guò)分析點(diǎn)云視頻壓縮碼流中的變換能量和量化參數(shù)等信息,，EABL模型能夠預(yù)測(cè)幾何和屬性失真,，無(wú)需將點(diǎn)云完全解碼即可在解碼過(guò)程中實(shí)時(shí)給出質(zhì)量評(píng)價(jià)結(jié)果。在WPC2.0,、M-PCCD,、VSENSE VVDB等四個(gè)公開點(diǎn)云數(shù)據(jù)庫(kù)上的測(cè)試顯示，EABL的預(yù)測(cè)性能與需要完整解碼的全參考,、部分參考方法不相上下,，同時(shí)大幅提升了評(píng)價(jià)速度。該方法實(shí)現(xiàn)了點(diǎn)云編碼傳輸過(guò)程中質(zhì)量評(píng)價(jià)的高效化,，為資源受限環(huán)境下的點(diǎn)云應(yīng)用提供了實(shí)用方案,。提出的模型結(jié)構(gòu)如圖3所示。
圖3：提出的EABL模型結(jié)構(gòu)圖
《Progressive Knowledge Transfer Network Based on Human Visual Perception Mechanism for No-Reference Point Cloud Quality Assessment》發(fā)表于IEEE Transactions on Visualization and Computer Graphics,，第一作者是蘇洪磊,，通訊作者是劉祺和元輝?；谌祟愐曈X(jué)感知機(jī)制,，本課題組課題組提出了一種逐步優(yōu)化質(zhì)量預(yù)測(cè)的深度學(xué)習(xí)架構(gòu)。PKT-PCQA首先進(jìn)行粗粒度的質(zhì)量分類學(xué)習(xí),，將點(diǎn)云質(zhì)量分級(jí)模擬人眼對(duì)優(yōu)劣的初步判斷,，隨后通過(guò)漸進(jìn)式知識(shí)遷移將該粗粒度認(rèn)知逐步轉(zhuǎn)化為精細(xì)的質(zhì)量評(píng)分任務(wù)。模型融合了點(diǎn)云的局部與全局特征,，并引入空間和通道注意力模塊,，提升對(duì)視覺(jué)失真的敏感度。經(jīng)三個(gè)大規(guī)模獨(dú)立點(diǎn)云質(zhì)量數(shù)據(jù)庫(kù)驗(yàn)證,，PKT-PCQA在無(wú)參考和部分參考評(píng)價(jià)中均優(yōu)于現(xiàn)有方法,，對(duì)比多種全參考指標(biāo)也表現(xiàn)出相當(dāng)或更優(yōu)的性能。該方法有效提升了模型對(duì)點(diǎn)云主觀質(zhì)量的感知一致性,，實(shí)現(xiàn)了從粗略感知到精確評(píng)價(jià)的跨越,。提出的結(jié)構(gòu)圖如圖4所示。
圖4：提出的PKT-PCQA模型結(jié)構(gòu)圖
這四篇論文均圍繞智能多媒體通信領(lǐng)域的3D點(diǎn)云質(zhì)量評(píng)價(jià)這一關(guān)鍵問(wèn)題展開,，在提高評(píng)價(jià)精度,、提升計(jì)算效率、增強(qiáng)泛化能力方面均取得重要進(jìn)展,，為自動(dòng)駕駛,、3D視覺(jué)通信、虛擬/增強(qiáng)現(xiàn)實(shí),、智能制造等領(lǐng)域的高效點(diǎn)云質(zhì)量評(píng)價(jià)提供了理論和技術(shù)支撐,。
本課題的開展和完成得到了國(guó)家自然科學(xué)基金,、山東省自然科學(xué)基金等項(xiàng)目的支持。
智能多媒體通信是以人工智能,、大數(shù)據(jù),、物聯(lián)網(wǎng)等技術(shù)為核心，通過(guò)高效處理音視頻,、圖像,、文本等多模態(tài)信息，實(shí)現(xiàn)實(shí)時(shí)交互與智能分析的新型通信模式,。其應(yīng)用涵蓋遠(yuǎn)程辦公,、在線教育、遠(yuǎn)程醫(yī)療,、智能安防,、智慧城市,、工業(yè)質(zhì)檢,、虛擬試衣、自動(dòng)駕駛,、AR/VR等領(lǐng)域,，同時(shí)推動(dòng)數(shù)字孿生、元宇宙社交等新興場(chǎng)景發(fā)展,，通過(guò)5G,、邊緣計(jì)算等技術(shù)提升實(shí)時(shí)性與沉浸感，助力各行業(yè)數(shù)字化轉(zhuǎn)型與智能化升級(jí),。
魯公網(wǎng)安備 37021202000856號(hào) 
English