MPEG發展史
- 2020 年 3 月 4 日
- 筆記
本文為媒礦工廠編譯的技術文章
原標題：The MPEG Metamorphoses
原作者：Leonardo Chiariglione
原文鏈接：https://www.linkedin.com/pulse/mpeg-metamorphoses-leonardo-chiariglione/
翻譯整理：徐鋆
摘要
本文概述了MPEG的32年歷史。然而，我並不是想僅僅紀念32年的艱苦奮鬥和偉大標準的產生，其目的是分析多年來MPEG組織如何演變以適應標準化的需要。具體的人員在組織中起到了重要作用，但我們顯然不可能提及成千上萬制定了MPEG標準的專家，但是我有責任記錄下那些真正推動了MPEG標準開發的核心人員的名字。
介紹
在過去的文章中，我經常談到MPEG在其30年的發展中改變了多少次。在這篇文章中，我想通過一個相當簡介而完整的敘述來詳述這一觀點。以下鏈接中有更具體的細節：http://ride.chiariglione.org/
早年
MPEG-1
MPEG最初的想法是為CD上的互動式影片創建一個影片編碼標準。開闢另一條通往影片編碼標準的道路的想法一直困擾著我，因為我多年來一直從事影片編碼研究，卻沒有看到為了當時最困難的應用——影片電話而設計的消費級設備的痕迹。我認為，如果消費電子（CE）行業的製造能力可以被充分利用，該行業可以向電信公司的客戶提供這些設備，從而推動電信公司將其網路升級為數字化的，以承受預期的高影片電話流量。
來自CD的凈比特流的比特率為1.4 Mbit/s，接近美國和日本主要數字多路復用的1.544 Mbit/s。因此，很自然地將目標比特率設置為1.5 Mbit/s，作為CE和電信（在影片終端級別）融合的標誌。
在MPEG1會議上（1988年5月），有29名專家出席。工作計劃為MPEG-1（1-1.5Mbit/s）， MPEG-2（1.5-10Mbit/s）, MPEG-3（10-60Mbit/s）（後文會介紹這些標準）。
在六個月的時間裡，所有的活動都是單獨進行的。然而，有3個領域被挑選出來進行具體的活動：品質評估（測試）、在硅上實現影片編解碼器的複雜性問題（VLSI）和數字存儲媒體的特性（DSM）。最後一個活動的產生，是因為CD是一種與電信網路和廣播頻道非常不同的媒體，影片編碼專家對此並不熟悉。
在接下來的幾個月里，我致力於解決另一個困擾：沒有音頻時，人們通常不會重視影片。由於組織方面的原因，ISDN可視電話將影片壓縮了3個數量級（64 kbit/s），而將音頻保持在另一個64kbit/s流中，這促使我創建了一個專門用於音頻編碼的MPEG小組。然而，音頻並不是影片電話中使用的語音（在ITU-T中有許多專家），而是通常錄製在cd上的音頻（音樂）。因此，必須使用一些辦法防止MPEG最終像影片會議一樣，雖然具有最先進的影片壓縮標準，但沒有音頻(音樂)或品質不能滿足目標娛樂級別的服務。
音頻小組在MPEG4（1988年10月）成立，由Hans Mussmann擔任主席，距MPEG1僅7個月；而影片小組在MPEG7（1989年7月）成立，由Didier Le Gall擔任主席，距MPEG1約1年。
我的另一個擔憂是，將音頻組件集成到一個並非專門為其設計的系統中，可能會導致一些技術上的疏忽，而這些疏忽只能通過一些危險的漏洞來緩慢地糾正。因此有了構建系統的想法，最初類似於ISDN可視電話的H.221功能（傳統的幀和基於多幀的多路復用器），但是性能更好，因為我期望它在技術上更具有前瞻性。
在MPEG8（1989年11月）上，所有的非正式活動都被正式劃分為小組：測試 （Tsuneyoshi Hidaka）、DSM（Takuyo Kogure）、系統（Al Simon）和VLSI（Colin Smith）。
MPEG-2
關於什麼將最終成為MPEG-2標準的討論始於MPEG11（1990年7月）。與MPEG-2項目的雄心相比，仍在進行的MPEG-1項目的範圍簡直不值一提。MPEG-2的目標是提供一種標準，使價值數千億美元的有線電視、地面電視、衛星電視、電信公司和一攬子媒體工業能夠以壓縮形式實現數字化。
因此，在MPEG12（1990年9月）上，需求小組由ITU-T可視電話編碼專家組報告員Sakae Okubo擔任主席，這表明MPEG-2影片（和系統）是聯合項目。需求組的任務是將來自不同行業的需求提煉成一組協調的需求。
系統、影片和音頻小組的想法分成了兩部分，一半致力於完成MPEG-1標準，另一半致力於啟動下一個MPEG-2標準的工作。這是第一次MPEG小組不得不分散他們的精力。
在最初的幾年裡，小組主席經常更換。在MPEG9（1990年2月）上，Colin（VLSI）被Geoff取代。Morrison將小組的名稱改為實現研究小組（ISG），以表明不僅考慮硬體實現，而且還考慮軟體實現。MPEG12（1990年3月）Al（系統）被Sandy MacInnis取代，Hans（音頻）被Peter Noll取代。
MPEG29（1994年11月）批准了MPEG-2標準的系統、影片和音頻部分，一些小組主席認為他們的任務已經完成。第一步是在MPEG28（1994年7月），由Jan van der Meer取代Sandy（系統），以確定MPEG-2遺留下來的問題。
MPEG小組在完成幾個懸而未決的MPEG-2活動方面做得很好，如MPEG-2影片多視圖和4:2:2 配置文件、MPEG-2 AAC、DSM-CC等。
一種新的編碼方式
在1990年代早期，MPEG-1還沒有完成，MPEG-2才剛剛開始，但是關於非常低比特率（例如10 kbit/s）的影片編碼新標準的討論已經開始了。最終分配給該項目的名稱是MPEG-4，因為MPEG1設想的MPEG-3標準已與MPEG-2合併，將比特率範圍的上限提高到10 Mbit/s。
MPEG-4,其標題最終被定為「視聽對象的編碼」,是一種與前兩個完全不同的標準,它旨在集成音頻和影片的領域，也就是將廣播、CE和電信領域，與3d圖形、資訊技術（IT）行業進行集成。
在MPEG20（1992年11月）上，在Cliff Reader的主持下成立了一個名為應用與操作環境（AOE）的新小組。這個小組負責開發新的MPEG-4項目的需求，並在其中產生了三個小組：MPEG-4需求、合成與自然混合編碼（SNHC）和MPEG-4系統。
從「舊的MPEG」（MPEG-1和MPEG-2）到「新的MPEG」（MPEG-4）的轉變是相當艱難的，需要進行許多組織和人事變動。在MPEG30上，Didier（影片）被Thomas Sikora代替，Peter（音頻）被Peter Schreiner代替，MPEG32上Geoff（ISG）被Paul Fellows代替，Tsuneyoshi（測試）被Laura Contin代替。
MPEG-4 Visual在Thomas（影片）和Laura（測試）的努力下，在專家的廣泛參與下順利結題。非常成功的AAC標準的基礎是由Peter（音頻）和音頻小組專家制定的。
在MPEG34（1996年3月），C. Reader離開MPEG。在MPEG35（1996年7月），組織發生重大重組：
- 在Sakae（需求）離開後中斷了3次會議之後，「AOE需求」活動被合併到Rob Koenen主持下的需求小組。
- 「AOE系統」活動被合併到由OlivierAvaro擔任主席的系統小組。
- 「AOE SNHC」活動在Peter Doenges的主持下成為了一個新的SNHC小組。 Peter 在MPEG49（1999年10月）被Euee Jang取代。
在MPEG40（1997年7月）上，DSM活動成為一個新的小組，名為交付多媒體集成框架（DMIF），由Vahe Balabanian擔任主席。DMIF通過定義適當的介面（API）解決了從系統級虛擬化分布介質（廣播、網路和存儲）的問題。在MPEG47（1999年3月）上，GuidoFranceschini接任主席，任期為兩次會議，此後DMIF小組關閉（1999年7月）。
在MPEG41，Peter（音頻）被Schuyler Quackenbush取代，他從那時起已經運營這個音頻組23年了，是MPEG服務時間最長的主席。
在MPEG46（1998年12月）會議上，Paul（ISG）被Marco Mattavelli取代。在Marco的任期內，開發了MPEG-4參考硬體描述、參考軟體概念的VHDL擴展和可重構媒體編碼等標準。
MPEG-4標準在MPEG歷史上是獨一無二的。MPEG-1和-2是很好的標準，因為它們把具有完全不同目標的大型行業結合到一起，但是MPEG-4是將最初的MPEG行業與IT行業結合在一起的標準。這個標準面臨著巨大的挑戰，專家們為這個項目投入了大量的資源來應對這些挑戰：影片對象、音頻對象、合成音頻和影片、VRML擴展、文件格式等等。即使在今天，距離我們第一次開始工作幾乎30年後，MPEG-4依然是一個活躍的標準，並有最多的組件數量。
聯絡組
在MPEG33（1996年1月），聯絡小組在Barry Haskell的主持下成立，以處理MPEG正在聯繫的不斷增長的組織網路（約50個）。在MPEG56，Barry，一個資深的影片編碼老前輩，離開了MPEG，在MPEG57（2001年7月）Jan Bormans接管，並繼續到MPEG71（2005年1月）時，Kate Grant接管。聯絡小組在MPEG84（2008年4月）關閉。目前聯絡組在主席會議上進行協調，由相關小組起草並由全體會議進行審查。
早期方式的變化
1996年，MPEG開始處理MPEG-7，這是一個與媒體相關的標準，但與前三個標準有著完全不同的性質：它是關於媒體描述和它們的有效壓縮。在MPEG48（1999年7月）會議上，我們清楚地認識到，我們需要一個稱為多媒體描述方案（MDS）的新小組來完成部分工作。
Philippe Salembier被任命負責MDS小組，他最初負責所有不涉及系統、影片和音頻的MPEG-7事務。在MPEG56（2001年3月），John Smith接管了他的職位，直到MPEG70（2004年10月），Ian Burnett接管，直到MDS小組在MPEG87（2009年2月）關閉。
媒體描述方式從那時起已經有幾次復興。一個是第13部分——2010年上半年的視覺搜索標準的緊湊描述符（Compact Descriptors forVisual Search, CDVS）。另一個是第15部分——2010年中下半年開發的影片分析標準的緊湊描述符（Compact Descriptors for Video Analysis, CDVA）。最後，第17部分，多媒體內容描述和分析的神經網路壓縮，為基於神經網路的媒體描述準備了一種基本的壓縮技術。
另一種影片編碼
在MPEG46（1998年12月），Laura（測試）被Vittorio Baroncini取代。在MPEG54（2000年10月）， Thomas（影片）離開MPEG，在MPEG56 （2001年03月），Jens-Rainer Ohm被任命為影片主席。
Vittorio帶來了進行主觀測試的專業知識，他與ITU-T SG 16重新啟動開發先進的影片編碼（AVC）標準。在MPEG58（2001年12月）會議上，Jens被任命為ITU-T聯合影片小組（JVT）的聯合主席。另一位聯合主席是ITU-T SG 16影片編碼專家組（VCEG）報告員Gary Sullivan。JVT一直工作到AVC標準在MPEG64（2003年3月）發布後很久。從那以後，Gary出席了主席會議，作為兩個小組合作的象徵。
仍是媒體相關，但是不同的編碼
在MPEG49（1999年10月）上，從市場上收到的許多輸入促使我提議MPEG開發一種新的標準，它的願景如下：「每一個人都可能是一個網路的組成部分，這個網路涉及數十億的內容提供商、價值加工商、包裝商、服務提供商、分銷商、消費者……」
該標準最終被稱為MPEG-21多媒體框架。MPEG-21可以被描述為「使媒體電子商務成為可能的一套標準」。MDS小組主要負責該項目，該項目在21世紀頭十年期間繼續進行，之後偶爾恢復。今天，MPEG-21標準由系統小組處理。
在「不同的編碼」的標題下，有必要提到開放字體格式（Open Font Format, OFF），這是根據Adobe、Apple和Microsoft維護OpenType規範的要求而構建的標準。「維護」一詞在MPEG中有不同的含義，因為OFF有許多擴展，它是在一個開放的、有很強的行業參與的特別小組中開發的，並得到了MPEG的批准。
標準的標準
在21世紀初，MPEG可以滿意地回顧它的前15年的運營：它的標準包括影片、音頻和3D圖形編碼、系統方面、傳輸（MPEG-2 TS和MPEG-4文件格式）等。儘管MPEG正在對其本已可觀的資產進行改良，但它不知道是否還能覆蓋其它領域。答案是：MPEG編碼媒體的組合編碼。這是一長串20個標準的開始，最初是由負責單個媒體的小組開發的，例如，第2部分MPEG音樂播放器應用程式格式是由音頻小組開發的，第3部分MPEG照片播放器應用程式格式是由影片小組開發的。今天所有的MPEG-A標準，例如非常成功的第19部分——通用媒體應用程式格式，都是由系統小組開發的。
2000年代中期
大約在2000年左右，MPEG認為需要更多的系統，影片和音頻標準，但MPEG-1，-2，-4和-7沒有通常的系統，影片和音頻「三合一」的保護傘。因此，它決定為這些標準創建容器，並將它們稱為MPEG-B（系統）、MPEG-C（影片）和MPEG-D（音頻）。
MPEG還涉足新的領域：
- 媒體設備軟體棧規範(MPEG-E)
- 與虛擬世界之間的通訊(MPEG-V)
- 媒體服務平台技術(MPEG-M)
- 豐富媒體用戶介面(MPEG-U)
Rob（需求）一直擔任持續到MPEG58（2001年12月），他被Fernando Pereira取代，在MPEG64（2003年4月）Rob回歸，MPEG71（2005年1月）Fernando再次接手，直到MPEG82（2007年10月）他離開MPEG。
需求小組是MPEG的「控制板」，在這個意義上，需求給出了標準提案的形態，這些格式將在徵求建議之後由操作組實現。因此，Rob-Fernando二人組已經在MPEG的控制室中度過了大約40%的MPEG生命。
Vittorio（測試）一直持續到MPEG68（2004年3月），直到MPEG81（2007年7月）被T. Oelbaum取代。
Olivier（系統）在MPEG86（2008年7月）離開MPEG去追求他的創業夢想之前一直擔任他的職位。Olivier已經負責MPEG標準的建設13年了，是MPEG任期第三長的主席。
Euee（SNHC）直到MPEG59（2002年3月）才卸任。接替他的是M. Bourges-Sevenier，直到MPEG70（2004年10月）。Mikaël隨後被Mahnjin Han取代，直到MPEG78（2006年10月）。SNHC小組一直在制定有價值的標準。然而，他們很難進入一個滿足於低績效但自由可得的標準的行業。
三者的回歸
2000年代末，MPEG發生了重大變化。當Fernando（需求）在MPEG82（2007年10月）離開MPEG時，開發需求的任務首先被分配給各個小組。這個實驗持續了4次會議，但它證明這不是正確的解決方案。因此，Jorn Ostermann被任命為MPEG87（2009年2月）的需求小組主席。這正好滿足了以新音頻-影片-系統三者為基礎的MPEG-H的要求。
MPEG- H包括MPEG媒體傳輸（MMT）部分，最終成為高效影片編碼（HEVC）的標準和3D音頻的影片編碼標準。ATSC採用MPEG-H作為工具，實現傳統廣播與互聯網共存、合作的新型廣播服務。
需求和系統小組也很快因另一個叫做DASH的項目而超負荷運轉。DASH的目標是「馴服」互聯網，使其從一個不可靠的傳輸方式轉變為終端用戶設備能夠適應的方式。
這兩個系統項目——MMT和DASH——由Youngkwon Lim管理，他接替Olivier擔任MPEG86（2008年10月）的系統小組主席。
MPEG87（2009年1月）關閉了MDS小組。在同次會議上，Vittorio恢復了他作為測試小組主席的職務，大約就在這時為HEVC要求證據和提案進行新一輪的主觀測試。
ITU-T和MPEG（JCT-VC）在MPEG92（2010年4月）建立了影片編碼聯合協作小組，由Gary和Jens擔任AVC項目的聯合主席。在其鼎盛時期，VC小組非常龐大，每次會議處理的文件超過1000份。當該小組還在忙於開發HEVC的主要部分（2D影片編碼）時，3D影片編碼變得非常重要，並在MPEG100建立了一個新的小組JCT-3V（與ITU-T聯合）。3V小組在MPEG115（2016年5月）結束，而VC小組仍然活躍，主要處於維護模式。
近幾年
2010年上半年，MPEG與SC 24/WG 9聯合組建了一個特別小組，開發了增強現實應用程式格式，並開發了混合和增強現實（MAR）參考模型。
2016年，MPEG開始了MPEG-I沉浸式媒體編碼表示的工作。第三部分是通用影片編碼（VVC），這是ITU-T和MPEG新聯合影片專家小組（JVET）開發的最新影片編碼標準，建立於MPEG114（2016年2月）。它有望在MPEG131（2020年6月）成為FDIS。
JVET的共同主席是Jens和Gary。在預期中，JVET將再次因大量貢獻而超負荷，Jens作為影片主席在MPEG121（2018年1月）被Lu Yu取代。
影片小組目前從事兩個性質相當不同的2D影片編碼標準，也就是EVC和LCEVC，並致力於MPEG沉浸式影片（MIV）項目，該項目將在MPEG134（2021年3月）上成為FDIS。
MIV與另一個令人興奮的領域有關，在本文中，我們在Mahnjin的主持下以SNHC的名義離開了這個領域。在MPEG79（2007年1月）， Marius Preda從Mahnjin手中接管了SNHC，繼續傳統的SNHC活動。在MPEG89 （2009年6月）SNHC被重新命名為3D圖形（3DG）。
在2010年中，3DG小組開始了一些探索，特別是點雲壓縮（PCC）和媒體物聯網（IoMT）。前者分為兩種標準：基於影片的（V-PCC）和基於圖形的（G-PCC）。後者已經在MPEG117（2018年7月）到達FDIS。
另一個有前途的活動始於MPEG109（2014年3月），現在已經成為基因組資訊表示（MPEG-G）標準。該標準表明，除了處理其他數據類型的媒體外，MPEG還打算將壓縮的好處帶給其他行業。
結論
這篇文章是對MPEG 32年歷史的一個很長的概述。其目的不是討論MPEG標準，而是討論MPEG組織如何演變以適應標準化的需要。
當然，結構離開人是不行的。文章中顯然不可能提到成千上萬的專家，他們制定了MPEG標準，但我認為我有責任記錄推動其開發的小組主席的姓名。你可以在以下鏈接看到所有會議和MPEG主席的完整表格：
近年來，MPEG結構保持穩定，但仍有改進的空間。然而，這必須由需求而不是意識形態來驅動。
一個可能的改進是使基因組數據編碼活動成為一個正式的小組，作為預期編碼其他非媒體數據的更多標準的第一步。二是將更多的市場意識注入到先界定MPEG標準存在的階段，再界定MPEG標準的特點。
但這又是另一個故事了。
