項目名稱： 基于視覺特性的視頻編碼理論與方法研究
首席科學家： 高文 北京大學
起止年限： 2009.1至2013.8
依托部門： 教育部
一、研究內容
由于可以有效節省通信帶寬和存儲容量，高效率的視頻編碼技術已經成為數字視頻廣播(廣播網)、數字媒體存儲與網絡傳輸(計算機網絡)、以及多媒體通訊(通信網)等數字媒體產業的共性關鍵技術。特別是近年來，我國的數字媒體產業迅猛發展，年均產值已近萬億元，使得音視頻編解碼標準技術的地位越來越重要。經過多年努力，2006年中國終于有了自己的視頻編碼國家標準AVS。但我們仍需未雨綢繆，從模型、理論、方法和技術上為下一代視頻編碼國家標準和國際標準的制定早做準備，確保在下一輪的標準競爭中立于不敗之地。
從視頻編碼的需求角度看，編碼的主要動機是在盡量保證高質量視覺效果的前提下最大限度地降低碼率，達到壓縮的目的。眾所周知，人類視覺系統的信息處理能力遠遠超過目前的視頻處理系統，因此，從方法論上借鑒人類視覺系統的視覺信息處理基本神經機制和心理機理，構建統一的圖像/視頻基本結構與表示模型及其相應的視覺計算方法，發展將香農信息論與人類視覺系統信息處理原理相結合的高效視覺信息編碼理論與方法，就成為了本項目的基本出發點和立項依據。
視頻編碼處理的核心環節要對視頻中包含的視覺信息進行高效的表達和準確的重建，其本質是視覺信息的基本結構和有效表示問題。為此，我們需要探討以下關鍵科學問題：
（1） 視頻編碼可以借鑒的視覺信息處理機理是什么？
作為長期進化的結果，人類視覺信息處理系統是至為精致的生物系統之一。但遺憾的是，其基本神經機制、知覺和認知機理目前尚不完全清晰。本項目將從多學科交叉的角度出發，探索視覺信息處理的基本神經機制和認知機理，研究相應的理論和模型，對其進行實驗驗證與計算仿真，以期能夠用以指導建立更加有效的視覺計算模型。
（2） 視頻編碼可以利用的符合視覺信息處理機理的計算模型是什么？
盡管人類視覺系統的信息處理機理尚不完全明了，但隨著技術手段的提高，腦科學、神經科學和認知心理學專家已經掌握了越來越多的規律并提出了很多假說和模型。如何基于這些發現構建相應的、可計算的視覺信息處理數學模型就成為一個重要的基礎科學問題。其解決不僅可以有效促進視覺編碼技術的發展，還可以從計算模擬的角度反過來推動視覺基本機理的研究。
（3） 與人類視覺系統特性相吻合的視頻表示及編碼的理論是什么？
香農信息論雖然從理論上給出了編碼效率的上界和失真的關系，但并未考慮編碼的符號(事件)集，因而對視頻中高階相關缺乏有效的描述手段。視覺信息論試圖借鑒神經生理學在不同感知階段對感知對象的抽象，建立對應的符號(事件)集，使之能夠方便地描述高階相關性，體現語義結構，從而豐富信息論理論。符號(事件)是借鑒稀疏編碼理論通過采用貝葉斯計算視覺感知的后驗概率建立的。這將為高效視頻編碼提供指導性的理論基礎。
上述三個關鍵科學問題緊緊圍繞視覺信息處理系統中最核心的表示與編碼問題，分別從生理/心理基本機理、視覺信息處理計算模型、視頻編碼基礎理論三個層面展開。其中，視覺基本機理既是基本出發點也是落腳點，計算模型是橋梁和紐帶，視覺信息論則是設計和實現下一代視頻編碼方法和技術的理論基礎。
圍繞上述三個關鍵科學問題，我們提出的總體研究內容框架如圖2所示，以期建立解決這些問題的模型、理論和方法，構建相應的驗證平臺和原型系統。如圖所示，對應三個關鍵科學問題，本項目的主要研究內容自底向上分別建立在三個層面，即：機理與模型層，理論與方法層，關鍵技術與驗證層。下面我們分別從這三個層面對本項目的主要研究內容進行闡述。
圖2 本項目總體研究框架
2.1視覺基本機理與模型層
該層面的研究內容面向的科學問題主要是前兩個：視覺信息處理的基本機理和符合這些基本機理的計算模型。不難理解，二者有天然的緊密聯系：一方面，視覺信息處理基本機理為視覺信息處理的計算仿真、計算模型建立等提供了良好的生理學和心理學參照系，對其基本規律的認識為計算模型的建立提供了良好的技術可能性和努力方向。另一方面，計算模型也為基本機理的正確性和模型的有效性提供了驗證機會，有利于推動視覺基本機理的研究。下面分別敘述本項目在視覺基本機理和計算模型方面擬開展的研究。
2.1.1視覺信息處理基本機理研究
在視知覺機理方面，將主要從生理、心理角度，通過神經電生理學、視覺行為學、藥物學等研究手段，在靈長類動物上采用包括微電極矩陣記錄方法、高時間分辨率的事件相關電位(ERP)、功能核磁共振(fMRI)等技術手段從初級視覺皮層V1神經元群體反應特性入手，研究V1神經元經典和非經典感受野與上級視覺皮層區域神經元正向和反向聯系、V1神經元之間的橫向聯系，以及視覺學習過程中神經元群視覺編碼模式的變化特性，探索初級和高級皮層中的神經元群在視覺處理中對簡單和復雜視覺刺激的編碼模式以及動態反應模式，各級皮層神經元群對不同視覺模式識別的貢獻，考察視覺注意和知覺組織之間相互影響和交互作用，以驗證或改進現有假說或理論模型(如稀疏編碼、群組編碼、視覺注意、增量成組假說等)，乃至提出有關視覺模式識別的神經機制及編碼機理的新假說、新模型，為后續的計算模型的研 |
|
資源大�。�4.46 MB 
