魏增來在2021國際音視頻智慧集成展（深圳）
“音視頻技術(shù)在文體旅游中的創(chuàng)新應(yīng)用”上的演講

1 音視頻技術(shù)與文旅演藝的關(guān)系

文旅演藝的本質(zhì)是體驗，體驗的主要感知手段是視覺和聽覺，與之相對應(yīng)的學(xué)科即為現(xiàn)代電子技術(shù)中的音視頻技術(shù)。因此，音視頻技術(shù)在文旅演藝領(lǐng)域得到越來越多的應(yīng)用，發(fā)揮著越來越大的作用。

良好的文旅演藝體驗在于真實重現(xiàn)和讓人感到“真實”的虛擬創(chuàng)造，或者是兩者的適度結(jié)合。兩者的區(qū)別在于，一個確實存在于現(xiàn)實世界中，人類的既往感知有過類似的經(jīng)驗，可以在情緒中產(chǎn)生映射，只是感知的時空發(fā)生了轉(zhuǎn)換而已；另外一個則不存在于現(xiàn)實世界，以寫意手法仿效或創(chuàng)造視覺聽覺的象征，讓人類通過聯(lián)覺或通感體驗到從未感知過的情景，這種情景可以具象，如太空外星人、恐龍世界，也可以抽象，如玉淵潭文旅項目“萬物共生”里的五彩花徑（如圖1所示）等。但這兩者在文旅應(yīng)用中的相同點都是營造所謂“真實”，通過“包圍感”、“沉浸感”和觀演之間的有效“互動”，讓觀眾產(chǎn)生“代入感”，從而“身臨其境”、“心獲其感”，由“共境”引發(fā)“共情”，使體驗感升華。

圖1 玉淵潭“萬物共生”中的五彩花徑

除此之外，文旅演藝項目大都長期展演，在具體操作層面也有很多痛點難點。最顯著的問題是技術(shù)手段越來越多，使用也越來越復(fù)雜，亂花漸欲迷人眼。如何化繁為簡，讓各類呈現(xiàn)手段“智慧”起來，避免犯錯誤、出問題，不影響正常展演，同時節(jié)省人力物力投入，才能實現(xiàn)更好的投入產(chǎn)出比。

為滿足上述這兩大類需求，音視頻技術(shù)需要與時俱進(jìn)，創(chuàng)新發(fā)展，與具體文旅演藝場景下的應(yīng)用需求形成相互支撐、相互促進(jìn)、相互融合的局面，這也是任何事物進(jìn)步的必然規(guī)律。實際的演化也是如此，音視頻技術(shù)發(fā)展進(jìn)一步推高了文旅演藝呈現(xiàn)能力和需求標(biāo)準(zhǔn)，而需求標(biāo)準(zhǔn)的提升又反過來促進(jìn)了音視頻技術(shù)的發(fā)展，兩者形成了良好的正向互動循環(huán)。

2 相關(guān)音視頻技術(shù)新進(jìn)展

隨著信息處理技術(shù)及網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，各類信息的實時處理能力得到前所未有的提升，音視頻信息的處理能力也同樣如此。之前具有一定理論基礎(chǔ)，但受制于運算能力而無法得到實現(xiàn)和驗證的技術(shù)當(dāng)前很多都得以實現(xiàn)，雖然這些技術(shù)距離理想狀態(tài)還有一定的差距或者瑕疵，但并不妨礙業(yè)界據(jù)此進(jìn)行大量的嘗試和探索。此類探索除了滿足當(dāng)前文旅領(lǐng)域的常規(guī)需要外，還逐步順應(yīng)上述文旅演藝呈現(xiàn)的需求，在“代入感”以及“智慧”兩個方面，形成了一定的發(fā)展趨勢，因此為相關(guān)呈現(xiàn)提供了更好的、也更易于使用的手段，讓藝術(shù)家們可以在更高的層面上以更高的效率展開創(chuàng)意和應(yīng)用。

嚴(yán)格來說，這種“代入”以及“智慧”是多方面結(jié)合的產(chǎn)物，也可以認(rèn)為是多維度融合的共同成果。為了便于闡述，筆者依然分為音頻、視頻以及控制三大類別。

2.1 音頻技術(shù)

音頻技術(shù)方面，為了實現(xiàn)所謂“代入感”以及“智慧”，以下幾種新技術(shù)尤為受關(guān)注，并有越來越多的應(yīng)用。

2.1.1 沉浸式擴聲技術(shù)

沉浸式擴聲技術(shù)主要目的是為了重構(gòu)聲音元素，基于具體聲源營造“真實”，以假亂真。文旅項目中通常以揚聲器重放為主，小型項目也可能采用耳機進(jìn)行重放。

揚聲器重放方面，基于“對象（Object）”展開的沉浸聲制作，現(xiàn)在基本上已成為業(yè)界共識，其底層理論基本可以歸結(jié)如下。

VBAP/DBAP/KNN等，以能量和距離等參量在不同揚聲器之間的配比設(shè)定對象的空間數(shù)據(jù)。

HOA，基于球諧函數(shù)分解在不同揚聲器之間設(shè)定對象的空間數(shù)據(jù)。

WFS，基于波場合成理論在不同揚聲器之間設(shè)定對象的空間數(shù)據(jù)。

受制于揚聲器空間布局、數(shù)量以及其本身電聲學(xué)特性等多種因素，通常來說，單一的底層基礎(chǔ)理論并不能較好地實現(xiàn)揚聲器重放時的沉浸聲效果。因此，目前商用的沉浸式系統(tǒng)大都采用多重底層理論相結(jié)合的方式來設(shè)定自身的算法，以在呈現(xiàn)效果、系統(tǒng)造價以及安裝施工便捷度等方面取得較好的平衡。

因為沉浸式擴聲具有更好的體驗感，所以目前的商用市場，很多廠商已經(jīng)推出了相應(yīng)的產(chǎn)品并在國內(nèi)外進(jìn)行了諸多實際探索。例如，采用d&b Soundscape系統(tǒng)的音樂劇《新華報童》（見圖2）、采用WFS為主的Sonic Emotion系統(tǒng)的《遠(yuǎn)去的恐龍》、采用L-Acoustic L-ISA系統(tǒng)的法國南特狂人國環(huán)形秀場（見圖3）等；更值得一提的是，國內(nèi)已有專業(yè)公司展開了這一方面的研發(fā)生產(chǎn)，并已提供了可以商用的產(chǎn)品， 如深圳易科公司的ezAcoustic X-Core系統(tǒng)（見圖4）。此前筆者曾多次撰文提出，鑒于基礎(chǔ)理論的共同性以及DSP技術(shù)的共享性特征，國內(nèi)通過音頻算法的研發(fā)來追趕音頻領(lǐng)域的世界先進(jìn)水平可能是一條相對快捷的途徑。雖然目前上述探索仍然存在著很多不足，但任何事務(wù)的發(fā)展規(guī)律均是如此，因此這些創(chuàng)新實踐依然非常值得鼓勵和肯定。

圖2 音樂劇《新華報童》的沉浸式擴聲系統(tǒng)

圖3 采用L-ISA系統(tǒng)的法國南特狂人國環(huán)形秀場

圖4 前期預(yù)混過程中的易科ezAcoustic X-Core系統(tǒng)

在耳機重放方面，其底層理論均基于雙耳效應(yīng)（Binaural），應(yīng)用上更多地體現(xiàn)在頭相關(guān)傳遞函數(shù)（HRTF）及其變化上，如個性化的頭相關(guān)傳遞函數(shù)（PRTF）以及包含空間環(huán)境條件的頭相關(guān)傳遞函數(shù)等。國內(nèi)外公司在這方面均進(jìn)行了很多探索嘗試，包括英國DIGICO集團的Klang系統(tǒng)、中國上海費迪曼遜四維與外方合作的SVS系統(tǒng)等。

2.1.2 電子聲學(xué)環(huán)境可變技術(shù)

電子聲學(xué)環(huán)境可變技術(shù)主要目的是為了虛擬特定的聲學(xué)環(huán)境，在空間感上營造“真實”。該技術(shù)是由原電子可變混響系統(tǒng)而來，受制于目前的技術(shù)發(fā)展，只能虛擬相對更為“活躍”的聲學(xué)空間，最終將與上述沉浸式擴聲技術(shù)融合，完成對聲音情景主要要素的虛擬重構(gòu)。其主要分為三大類。

再生式系統(tǒng)：再生式系統(tǒng)，如MCR、CARMEN等，該類系統(tǒng)充分利用廳堂的固有擴散聲能并予以反饋放大，最終效果能夠充分保留廳堂固有的聲學(xué)特征，但其回授前增益不好控制，因此，更適用于廳堂固有聲學(xué)環(huán)境較為豐富的場所，且不建議設(shè)置過大的可變范圍。

回路嵌入式系統(tǒng)：回路嵌入式系統(tǒng)，以ACS、E-Coustic（LARES）以及VIVACE第一代等為主要代表，它們以聲源的直達(dá)聲為基礎(chǔ)，通過優(yōu)良的混響算法和強大的DSP處理能力，可以人為“合成”出一個聲學(xué)空間，因此具有非常寬泛的調(diào)整范圍和靈活多變的調(diào)整能力，能夠獲得較高的回授前增益，但它們引入了人工成分，與廳堂本身的相關(guān)性較差，因此，適用于相對不活躍（相對較“干”）且希望應(yīng)用功能跨度很大的空間。圖5即為采用E-Coustic系統(tǒng)的美國芝加哥千禧年公園戶外音樂廳，通過可變聲學(xué)環(huán)境系統(tǒng)將一個室外公園在一定程度上營造出了室內(nèi)音樂廳的聽感。

圖5 采用E-Coustic系統(tǒng)的美國芝加哥千禧年公園戶外音樂廳

混合再生式系統(tǒng)：混合再生式系統(tǒng)是再生式系統(tǒng)和回路嵌入式系兩種系統(tǒng)的混合體，主要代表為AFC、Constellation（VRAS）以及VIVACE Ⅱ，它們所適用的廳堂范圍更廣，但需要更有針對性地設(shè)計及調(diào)試。

2.1.3 揚聲器指向電子控制技術(shù)

在不改變揚聲器物理角度的情況下，通過電子相控技術(shù)及波束形成技術(shù)，實現(xiàn)揚聲器覆蓋區(qū)域的調(diào)整，非常適用于文旅場景下觀演區(qū)的靈活變化。

2.1.4 聲場智能調(diào)試及優(yōu)化技術(shù)

利用大數(shù)據(jù)以及信號檢測技術(shù)進(jìn)行聲場的智能調(diào)試或自適應(yīng)調(diào)試，優(yōu)化聲場效果，提高現(xiàn)場調(diào)試效率，提升系統(tǒng)的穩(wěn)定性。

關(guān)于后續(xù)兩類技術(shù)，筆者已多次在其他文章中予以介紹，不再贅述。

2.2 視頻技術(shù)

對于視頻方面，同樣通過“沉浸”、“互動”以實現(xiàn)“代入感”，同時通過“智慧”以提高可操作性，目前主要有如下幾種技術(shù)。

2.2.1 三維映射（3D Mapping）

三維映射通過對被投射物體的3D建模，以將顯示內(nèi)容準(zhǔn)確映射其上，實現(xiàn)視覺效果與周圍基礎(chǔ)環(huán)境的有效融合，形成虛實結(jié)合的效果。圖6為基于法國沙特爾市圣母大教堂而進(jìn)行的外墻立體顯示光影秀。

圖6 法國沙特爾圣母大教堂三維映射光影秀

2.2.2 沉浸式空間

通過巨幅或多維度視覺呈現(xiàn)，在視覺上形成包圍感；進(jìn)一步融合觀、演關(guān)系，加強“真實”體驗下的代入感。圖7為法國巴黎光之博物館的沉浸式空間顯示的實景照片。

圖7 法國巴黎光之博物館沉浸式空間顯示展廳

2.2.3 特殊顯示（水幕、紗幕、透明屏、網(wǎng)屏等）

利用虛擬呈現(xiàn)與現(xiàn)實場景的結(jié)合，增強視覺的縱深體驗，實現(xiàn)與周圍基礎(chǔ)環(huán)境的融合，讓虛擬內(nèi)容更具“真實”感，并豐富呈現(xiàn)的變化。圖8為唐山南湖公園云鳳島紗幕虛實結(jié)合的顯示效果。

圖8 唐山南湖公園云鳳島紗幕顯示

2.2.4 裸眼3D

在平面顯示媒介上，利用制作端相關(guān)技術(shù)，使顯示內(nèi)容呈現(xiàn)立體視覺的“真實”感。圖9為曾被微信刷屏的成都太古里裸眼3D大屏顯示效果。

圖9 成都太古里裸眼3D大屏顯示（本圖片來自于網(wǎng)絡(luò)）

2.3 控制技術(shù)

對于文旅演藝應(yīng)用的音視頻控制技術(shù)方面，其發(fā)展演化以更好地實現(xiàn)“互動”“智慧”為主，一方面提升觀與演的關(guān)系，增加代入感，另一方面降低技術(shù)使用的操作難度，提高效率。目前具有代表性的主要技術(shù)如下。

2.3.1 追蹤捕捉技術(shù)

追蹤捕捉技術(shù)是通過GPS或射頻定位等技術(shù)與音視頻技術(shù)的結(jié)合，實時進(jìn)行音視頻信息的動態(tài)跟隨，實現(xiàn)互動性，展現(xiàn)真實感。目前常見的商用產(chǎn)品如加拿大的BlackTrax系統(tǒng)、挪威TTA公司的Stagetracker Ⅱ系統(tǒng)等。

2.3.2 聲光電融合一體化的Show Control總控技術(shù)

Show Control總控技術(shù)將演藝呈現(xiàn)的主要載體聲光電系統(tǒng)進(jìn)行有效整合，并按一定基準(zhǔn)實現(xiàn)總體自動化控制，從而確保演藝呈現(xiàn)順利進(jìn)行，降低技術(shù)操作難度。圖10和圖11分別為法國Modulo π PLAYER和瑞士MERGING Ovation的一體化Show Control控制界面。

圖10 法國Modulo π PLAYER一體化Show Control控制界面示意圖

圖11 MERGING Ovation一體化Show Control控制界面示意圖

3 文旅演藝與音視頻新技術(shù)的融合應(yīng)用實踐

視聽是不可分割的，為了在體驗中構(gòu)建所謂“真實”，視聽必須融合，共同完成對人類感知的映射。因此，在以體驗為主的文旅演藝領(lǐng)域，“融合”成為關(guān)鍵詞。

對文旅演藝呈現(xiàn)而言，融合應(yīng)該是多維度的，既是藝術(shù)與技術(shù)的融合，也是技術(shù)與應(yīng)用的融合。融合應(yīng)用的核心目標(biāo)是實現(xiàn)“沉浸”“互動”所體現(xiàn)出來的真實感和應(yīng)用中的“智慧”度。那么，在這種融合之下，具體實現(xiàn)至少包括：呈現(xiàn)手段與現(xiàn)實環(huán)境的融合、呈現(xiàn)手段間的相互融合，以及演與觀的融合。翻譯成技術(shù)語言，前兩者可以概括為“沉浸”，即通過與所處環(huán)境（或刻意營造的虛擬環(huán)境）相匹配的視覺聽覺的統(tǒng)一，產(chǎn)生代入感，而后者可以概括為“互動”，通過互動，也會產(chǎn)生情景交融的代入感，實現(xiàn)“共情”。所以，這種“沉浸”和“互動”都是為了前文所謂的“身臨其境”和“心獲所感”。

《遠(yuǎn)去的恐龍》（圖12）中，通過巨幅LED屏顯示與舞美制作實景的虛實結(jié)合等方法，首先在視覺上形成較好的“沉浸”感；同時，通過原WFS沉浸式擴聲系統(tǒng)，使觀眾在聽覺上也形成較好的“沉浸”感，視聲結(jié)合即可對觀眾形成較好的代入感；再通過機械恐龍與前排觀眾的互動，進(jìn)一步加強這種代入感，從而讓觀眾“真實地”感受到了虛擬的恐龍世界，以多種維度提升體驗感。同時，通過Ovation一體化控制技術(shù)，統(tǒng)一協(xié)調(diào)聲光電系統(tǒng)的演出進(jìn)程，將原本復(fù)雜的操作進(jìn)行簡化，最大限度地避免失誤。

圖12 《遠(yuǎn)去的恐龍》劇照

同理，法國ECA2公司在中國蘭州創(chuàng)作演出的 《盤古傳奇》（見圖13）中，特別強調(diào)了所謂沉浸（Immersive）概念，通過法國Modulo π視頻綜合服務(wù)器，在建筑結(jié)構(gòu)上進(jìn)行巨幅三維映射以及水幕顯示，同時通過Modulo π聲光電一體化控制技術(shù)，有機結(jié)合了機械、燈光、水特效、火特效等多種呈現(xiàn)手段，多維度的技術(shù)融合給現(xiàn)場1 500名觀眾帶來了極具震撼力的感官體驗和沖擊感。

圖13 《盤古傳奇》現(xiàn)場演出圖片

4 目前面對的問題

技術(shù)的發(fā)展永遠(yuǎn)沒有盡頭。當(dāng)前，雖然音視頻新技術(shù)在文旅演藝呈現(xiàn)中起到了很大幫助作用，但仍有大量問題有待業(yè)界思考并解決，主要問題如下。

在呈現(xiàn)端，無論音頻、視頻，仍未真正解決“真實”的問題，即所還原的元素還是不太像。

在呈現(xiàn)端，觀演“交互”的程度依然很淺，觀眾參與度以及由此引發(fā)的代入感仍需提升。

在控制端，人機交互界面仍然不夠人性化，即還不是那么“智慧”，操作使用的便利度依然存在提升空間。
音頻、視頻設(shè)備相對獨立性過強，依然欠缺互相融合方面的深入思考。

在實現(xiàn)端，鑒于文旅演藝應(yīng)用場景通常具有廣大的觀演空間，因此分布式處理需求強烈，同時線纜衰減、敷設(shè)工作量等問題較為突出，如何更為快捷高效，如“全無線”方式等解決方案需不斷思考改進(jìn)。

文旅演藝呈現(xiàn)高頻次、長周期的應(yīng)用特征對音視頻系統(tǒng)的安全可靠性提出了嚴(yán)峻考驗，所有設(shè)備都應(yīng)在滿足功能的情況下適應(yīng)各種環(huán)境的需要。

無論怎樣，科學(xué)和社會終將不斷進(jìn)步。音視頻技術(shù)讓文旅演藝的體驗更加美好，讓生活更加美好！