編者按：進入到2020 年，COVID-19 給全球帶來了前所未有的沖擊，全球化的背景下，從學習、工作到娛樂，都不得不搬到網上，RTC（實時音視頻）一下子成為了生活的必須品。
三分天下
2020 年的COVID-19 給RTC 市場注入了前所未有的動力。從某RTC PaaS 平臺公布的數據看，從2013年成立到2019 年6 月累計客戶為801 家，到2020 年6 月增長到1486 家，增長超過85%，不可否認疫情扮演了催化劑的作用。本來，RTC PaaS 市場波瀾不驚，但COVID-19 成為左右市場的最大“x 因素”。和其他云服務類似，RTC PaaS 市場的馬太效應正在顯現，客戶向頭部企業(yè)集中。具體來說，未來市場中的主流RTC PaaS平臺將三分天下：
A. PaaS RTC 服務商。依靠先發(fā)優(yōu)勢帶來的客戶、技術、品牌、生態(tài)等全方位領先，為自己鑄造了足夠寬的護城河。但不可否認，依靠單一層次，單一場景的服務很難滿足用戶更復雜的業(yè)務需求，如果不橫向擴展業(yè)務場景，縱向擴展業(yè)務服務層次，被公有云服務商巨頭趕上只是時間問題。
B. 公有云。所有的公有云巨頭都把多媒體業(yè)務視為核心市場，RTC 又是其中的關鍵。Twitch 剛剛將自己的直播能力通過公有云對外服務，華為也在不斷打磨RTC 服務。另一方面，公有云擁有海量客戶、資源與技術積淀，雖然在某些單點與RTC PaaS 平臺存在差距，但這可以通過人才引進、收購等方式快速補足。但更大的挑戰(zhàn)是對用戶業(yè)務場景的把握，這需要更多時間來試錯。
C. 創(chuàng)業(yè)團隊，細分市場與自生態(tài)。一些擁有優(yōu)秀技術和產品能力的創(chuàng)業(yè)團隊可能攪動這個市場，在一些細分市場也存在行業(yè)壁壘，形成特定的小生態(tài)。最后，一些大型應用服務會通過自研來實現部分RTC 能力，比如教育、電商、社交等場景。
當然還有x 因素會對RTC 生態(tài)造成影響。這些x 因素包括重大的技術變革、全球經濟格局變化與政策法規(guī)調整等。
融合技術
所謂融合技術，就是用戶只需要一個SDK/API 實現各種通信能力的接入，包括華為在內的國內主流公有云服務商大多采用這一方式。最典型的場景是，用戶通過RTMP 接入觀看市場，當需要和他人互動是，即可切換到RTC 網絡。這樣的好處是，既保證的用戶體驗，又可以最大限度的使用成熟的RTMP 服務，將成本降低。
不過，海外市場與國內大相徑庭。海外更主流的是DASH/HLS 以及CMAF/LHLS。
SaaS與PaaS融合
長遠看，SaaS 與PaaS 互相滲透將不可避免。最知名的例子就是Zoom，他開始通過SDK 向合作伙伴提供RTC 服務。字節(jié)跳動、Bigo、YY 都在摩拳擦掌提供RTC 服務。同樣的，PaaS 也會涉足SaaS，比如華為不僅提供RTC 服務，還提供了視頻會議平臺華為云會議及辦公協作軟件WeLink。
AI技術融合
AI 技術不斷成熟和發(fā)展，正在滲透到多媒體技術的方方面面，這一趨勢不可抵擋。
· 語音識別與語音合成：從 Siri 到小冰，從智能手機到智能音響，語音識別已經無處不在，無需贅述。而語音合成則是讓電腦把文本變成語音，比如Google 開源的Tacotron 已經可以實現99% 的人聲還原。你在喜馬拉雅或各種影視劇中聽到的明星聲音將越來越多地通過AI 生成。
· 聲紋-人聲識別與音樂識別：聲音是可以作為身份驗證的，但是風險也同時存在，比如有人拿了你的錄音去登錄你的銀行賬號。而DNN（深度神經網絡）可以掌握更多的聲音特征，從而降低風險。而在音樂識別方面則沒有那么高風險，但也直接關系到用戶的體驗，各大音樂App 都集成了相關的功能。
· 回聲消除：這是一個所有音頻設備必須解決的問題，在多麥克風設備上消除回聲相對容易。但在一些低端的Android 設備上，如果只有一個麥克風就需要利用AI 來幫助消除回聲，效果非常不錯。
· ABR：ABR 即動態(tài)碼率，其目的是為了解決客戶端在不穩(wěn)定網絡下仍能流暢地觀看視頻，并且最大化的保證畫質。ABR 算法需要關注客戶端的視頻緩存，以及當下的最大帶寬，從而去預測未來一段時間提供給該客戶端的碼率。AI 的出現可以進一步提升ABR 的效果，最著名的要數MIT 提出的Pensieve。
· 圖像增強：關于圖像增強大家談的很多，也許你在看一些熱門影片的時候已經用到了AI 加持的圖像增強技術。比如，將SDR 轉換為HDR 視頻，視頻超分（將720p 變成1080p），每秒30 幀視頻變換為每秒60 幀等等。
· 內容理解：AI 內容理解并不限于生成封面圖，精彩剪輯，或者只看某個角色的鏡頭，這在內容推薦、廣告平臺有幫助。此外，內容理解還能幫助更好地處理視頻，比如可以針對不同的視頻內容選擇不同的Codec，以及相關的編碼工具；也可以找到視頻中人眼最關注的部分，分配更多的碼率，降低不易察覺的畫面的碼率，在保證用戶體驗的前提下降低碼率。同時，AI 可以把豎版的短視頻裁剪成適合橫屏播放的內容。
· 畫質評估：AI 還能幫助檢測視頻源片中的瑕疵，比如黑屏，異物遮擋，這可以在后期制作中修剪。同理，AI 也可以幫助發(fā)現字幕遮擋關鍵畫面信息的情況，從而調整字幕出現的時間或位置。關于內容理解的應用，Netflix 走在業(yè)界前沿，可以多關注。
而且AI 的學習曲線是比較友好的，對于多媒體技術工程師不會構成太大的挑戰(zhàn)。將給行業(yè)帶來巨大的改變。
技術人才分層與人才供給
音視頻技術人才大概可分為三大層，五小層：
· 第一大層是制定標準、協議、算法，以及設計架構與優(yōu)化系統性能的高級人才。這部分人才在市場上供不應求；
· 第二大層為工程實現和能力接入與維護工程師，他們是支撐多媒體應用的主力軍，總量將達到百萬級。由于需求量巨大，總體上屬于供不應求；
· 第三大層為內容生產者，他們是普通的用戶，但是可以快速掌握簡單的多媒體接入能力；
因此，可以看到在RTC 市場，技術融合是大趨勢，云服務巨頭將擁有更多資源優(yōu)勢，實時音視頻行業(yè)的發(fā)展，需要加大人才培養(yǎng)的力度。
最后，COVID-19 實現了對用戶在多媒體技術能力方面的認知教育。這將在全社會種下技術改變生活的種子，會有更多的創(chuàng)新、創(chuàng)業(yè)玩家涌現，也讓技術更容易滲透到行業(yè)。
