淺析視覺(jué)藝術(shù)的數據可聽(tīng)化
摘 要：
基于數據可聽(tīng)化的起源、概念以及主要特征，闡述了數據可聽(tīng)化作品的制作流程，以及主要制作方法和工具，特別針對實(shí)現數據可聽(tīng)化與視聽(tīng)藝術(shù)的交互問(wèn)題進(jìn)行了討論，并展望了數據可聽(tīng)化在舞臺藝術(shù)中的應用前景。
當前，由于移動(dòng)設備的普及，數據可視化向各個(gè)領(lǐng)域滲透，幫助人們分析事物，直觀(guān)地展現信息，并且數據的歸納具有高效性。盡管如此，數據可視化也并非完美無(wú)缺，如大量的數字和各式各樣的圖表易造成人們的視覺(jué)疲勞、對視力殘障人士不友好等。于是，相關(guān)領(lǐng)域研究人員意圖探尋數據被人類(lèi)“聽(tīng)見(jiàn)”，隨著(zhù)音頻軟件的更新進(jìn)步，以及對音頻交互技術(shù)的探索，由此一個(gè)全新的概念——數據可聽(tīng)化（Data Sonification）被越來(lái)越多的相關(guān)從業(yè)者提及和研究，借此更好地利用人們的聽(tīng)覺(jué)器官。
在文娛領(lǐng)域，表現形式愈加多樣化，交互藝術(shù)、“元宇宙（Metaverse）”等形式、概念不斷融合發(fā)展。很多藝術(shù)家希望通過(guò)虛擬現實(shí)（VR, Virtual Reality）展現視覺(jué)作品，還有不少學(xué)者正在探究將聲音與繪畫(huà)作品相結合，幫助觀(guān)賞者更好地理解作品，同時(shí)制造身臨其境的效果。
基于此，筆者闡述視覺(jué)藝術(shù)數據可聽(tīng)化與舞臺劇、影視戲劇相融合的相關(guān)研究，以及未來(lái)其發(fā)展的潛在價(jià)值等，重點(diǎn)介紹當前數據可聽(tīng)化與視覺(jué)藝術(shù)的研究進(jìn)程，整理并總結以畫(huà)作可聽(tīng)化為例的可聽(tīng)化制作流程，以及數據可聽(tīng)化在舞臺藝術(shù)領(lǐng)域的應用前景。
1 數據可聽(tīng)化的定義及分類(lèi)
聽(tīng)覺(jué)呈現(Auditory Display)仍然是一門(mén)新興的學(xué)科，在1992年，Krammer成立了一項組織稱(chēng)為“國際聽(tīng)覺(jué)顯示學(xué)會(huì )”（ICAD, International Community for Auditory Display）。該組織的學(xué)者給出了可聽(tīng)化（Sonification）的定義，即使用非語(yǔ)音音頻（Non-Speech Audio）來(lái)傳遞信息或感知數據[1]。然而這個(gè)定義對于信息傳遞的含義仍不夠明確，比如是否必須以計算機等電子設備為媒介進(jìn)行傳輸。因此，Krammer和Walker等人在1999年提出了更精準的定義：可聽(tīng)化是數據關(guān)系轉化為聲學(xué)信號并用于傳輸或解釋信息[2]。這為數據可聽(tīng)化（Data Sonification）的定義建立了一個(gè)雛形。學(xué)者M(jìn)cLean和Dean明確了數據可聽(tīng)化的定義[3]：數據可聽(tīng)化是指將模型生成的數據、實(shí)驗中捕獲的數據或通過(guò)觀(guān)察收集的數據反映到音頻信號或聲音合成模型的一個(gè)或多個(gè)參數，以便更好地理解、交流或推測模型、實(shí)驗或系統。
其后，Hermann[4]又總結了數據可聽(tīng)化的四個(gè)特征，當使用數據作為輸入并產(chǎn)生聲音信號（最終可成為激勵或觸發(fā)信號）的大前提下：（1）聲音反映了輸入數據的客觀(guān)屬性或關(guān)系；（2）轉變是系統性的，即數據如何導致聲音變化有一個(gè)精確的定義；（3）可聽(tīng)化是可復制的，給定相同的數據和同樣的互動(dòng)（或觸發(fā)器），產(chǎn)生的聲音在結構上一致；（4）系統可以使用不同的數據，也可以使用重復的數據。
對于可聽(tīng)化的分類(lèi)，加州圣巴巴拉大學(xué)的學(xué)者M(jìn)cGee引用J. Keller 從數據處理方法的角度分為三類(lèi)[5]：標準可聽(tīng)化（Iconic Sonification），比如使用雨聲和風(fēng)聲來(lái)表達天氣變化；直接轉換可聽(tīng)化（ D i r e c t Sonification，或稱(chēng)Audification），即直接用頻率（20 Hz～22 kHz）的變化表示數據；音樂(lè )可聽(tīng)化（Musical Sonification），用樂(lè )器的聲音，加上設計好的速度和旋律進(jìn)行制作。
2 數據可聽(tīng)化的制作流程
近年來(lái)，學(xué)者對于包括圖片在內的視覺(jué)藝術(shù)作品可聽(tīng)化的探究聚焦于可聽(tīng)化的方法與算法，并開(kāi)展探究觀(guān)賞者心理的實(shí)驗 [6]。關(guān)于數據可聽(tīng)化的方法研究主要集中在兩個(gè)方面：一是有關(guān)音樂(lè )方面，即音樂(lè )結構[7]，二是關(guān)于圖片或畫(huà)作的視覺(jué)特性及相關(guān)參數[8]。對于算法的研究，通過(guò)算法實(shí)時(shí)追蹤人們欣賞視覺(jué)作品時(shí)的感覺(jué)[9]?，F以繪畫(huà)視覺(jué)藝術(shù)作品為例梳理數字可聽(tīng)化的主流制作方法，包括對視覺(jué)作品中關(guān)鍵信息的提取和布局，以及普遍使用的數據可聽(tīng)化的制作工具。
2.1 視覺(jué)作品的信息提取
首先，提取畫(huà)面的信息，并列舉出呈現聲音的特性，這個(gè)過(guò)程非常重要，被稱(chēng)作“布局策略”（Mapping Strategies）。
弗吉尼亞理工大學(xué)研究人員聚焦于通過(guò)可聽(tīng)化的算法讓視覺(jué)藝術(shù)更好地轉化為音樂(lè )。他們將畫(huà)作中每一色塊的色調（ H u e ）、明暗度（ Brightness ）、畫(huà)面的空白度（ Saliency ），還有作品的尺寸大小以及藝術(shù)風(fēng)格逐一進(jìn)行量化，分別對應音頻參數的音調（Pitch）、速度（Tempo）、調式（Mode）、響度（Loudness）和音樂(lè )風(fēng)格（Musical Composition）[10]。研究者Sarah Lucioni對星空、蒙娜麗莎和創(chuàng )造亞當等幾幅經(jīng)典畫(huà)作進(jìn)行可聽(tīng)化設計，創(chuàng )作音樂(lè )作品。她通過(guò)使用Pyo音頻處理庫進(jìn)行Python編程，將畫(huà)中的每一個(gè)色塊的RGB數值（光譜值）進(jìn)行量化（RGB：0～255），然后轉化成聲音（頻率范圍：100 Hz～800 Hz）[11]。圣塔克拉拉大學(xué)計算機學(xué)院的學(xué)者使用SOVIA交互系統使得畫(huà)家莫奈的畫(huà)作以視聽(tīng)的方式呈現，整個(gè)過(guò)程是通過(guò)Python語(yǔ)言來(lái)完成的，他們收集了369部莫奈的風(fēng)景畫(huà)作，對作品中出現的景物進(jìn)行歸類(lèi)[12]。如畫(huà)作《亞嘉杜的罌粟花田》（Poppy Field at Giverny, 1890）信息的聽(tīng)取，如圖1所示，框中的景物被捕捉并依次分類(lèi)，之后被設計成不同的聲音。由此，當點(diǎn)擊一個(gè)方框時(shí)，就會(huì )發(fā)出對應的聲音，混入背景音樂(lè )之中。
很多相關(guān)領(lǐng)域的學(xué)者基于HSL顏色體系（Hue色調, Saturation飽和度，Luminosity亮度）來(lái)定義聲音與色彩的關(guān)系。日內瓦大學(xué)的學(xué)者研究如何讓盲人欣賞畫(huà)作，將不同色調的數值與不同的樂(lè )器音色相對應，例如雙簧管對應紅色色調、小號對應青色色調等。他們總結了一套公式將色調值轉化為樂(lè )器音色的算法[13]：
圖1 采用SOVIA方式的視聽(tīng)化設計（圖片來(lái)源：WikiArts）
其中，hh表示音頻呈現的音色所對應的色調值；增益 g 的定義式是：
分別代表包括紅、橙、黃、綠、青、藍和紫色的兩個(gè)連續色調的數值，通過(guò)這種排列方式使得兩個(gè)色調的過(guò)渡是平順的）。
2.2 可聽(tīng)化制作的方法與工具
可聽(tīng)化作品的制作有各種方法，音頻軟件和編程是兩種非常直觀(guān)易理解的方式。
2.2.1 音頻軟件
Pure Data（Pd）和Max作為音頻交互工具能夠設計可聽(tīng)化算法進(jìn)行作曲，有選擇地收集各類(lèi)數據轉換為聲音的形式展現，而且還能夠通過(guò)圖形、折線(xiàn)圖的方式動(dòng)態(tài)呈現數據的變化。
斯坦福大學(xué)音樂(lè )計算機研究院嘗試用Pure Data進(jìn)行算法作曲，意圖將收集的太陽(yáng)系的數據轉換成聲音的形式；在他們設計的SoSH工具中，包含有基本模塊(Patch) modefilter_ standalone.pd，如圖2所示；其中，使用了五組“波形濾波器（Mode-Filter）的子模塊（Sub-Patch），呈現五個(gè)不同音調同時(shí)運行的效果，如圖3所示[14]。
圖2 基本模塊modefilter_standalone.pd（圖片來(lái)源：斯坦福大學(xué)音樂(lè )計算機研究院）
圖3 子模塊波形濾波器（圖片來(lái)源：斯坦福大學(xué)音樂(lè )計算機研究院）
相比Pure Data，Max還能通過(guò)設置選取想要的樂(lè )器音色（還有 Abelton 也具有此功能） 。如果意圖展現可聽(tīng)化的人機交互（ H C I , Human-computer interaction），通過(guò)MIDI接口將一塊Micro:bit連接電腦主機，是目前學(xué)者以及大眾在制作可聽(tīng)化作品最常用的方法。在進(jìn)行制作時(shí)，除了選取合適的音頻參數，需要考慮以下兩點(diǎn)：其一，將所有參數定在一個(gè)合適的區間，即選擇聽(tīng)感上較為舒適的頻率范圍和音色；其二，將布置好的數據輸出至MIDI合成器或音頻設備等。許多音樂(lè )制作人嘗試使用Micro:bit制成手套，并通過(guò)Mini.mu與Pure Data設計編程，將手勢的轉動(dòng)模擬出電音打擊墊的演奏，如圖4所示。有的制作人選擇Java編程語(yǔ)言，運用代碼方式分別將Micro:bit與計算機及Micro:bit手套連接（具體代碼可詳見(jiàn)Micro:bit官網(wǎng)）[15]。他們使用了Hairless MIDI和loopMIDI兩個(gè)程序對MIDI設備進(jìn)行虛擬連接，在Pure Data界面中，當每一個(gè)傳感器通過(guò)各個(gè)gemidi通道傳輸數據時(shí)，使用notein模塊來(lái)完成此任務(wù)，如圖5所示。
圖4 打擊墊演示截圖（圖片來(lái)源：Micro:bit官網(wǎng)）
圖5 notein模塊中的MIDI數據分配（圖片來(lái)源：Micro:bit官網(wǎng)）
2.2.2 編程語(yǔ)言
可聽(tīng)化制作另一種方便快捷的方法是通過(guò)編程實(shí)現，Python是目前使用較多的一種語(yǔ)言。NASA工程師、可聽(tīng)化專(zhuān)家Matt Russio介紹了使用Python編程將數據轉化為聲音的基本方法。在他們看來(lái)，通過(guò)python設計一個(gè)可聽(tīng)化作品需要五個(gè)步驟[16]：布局（Mapping）,哪些數據分別對應哪些音頻參數；極值（Polarity），數值越大對應的是更高還是更低的頻率；范圍（Range），對于每一個(gè)選中的音頻參數，它的音頻范圍是什么，每一個(gè)音符需要維持多長(cháng)時(shí)間；各個(gè)音頻參數在可聽(tīng)化設計中的占比，加強還是壓縮（Scaling, Stretch/Compress）；量化（Quantization），是否考慮將一些數據在可聽(tīng)化設計中改變其速度、節奏，讓整段音樂(lè )變得豐富。
3 數據可聽(tīng)化與視聽(tīng)藝術(shù)交互的討論
前文討論了數據可聽(tīng)化與視覺(jué)藝術(shù)相結合的前沿研究，音畫(huà)結合使得觀(guān)眾能更好地欣賞藝術(shù)作品。但當前很多學(xué)者有一個(gè)疑問(wèn)，什么樣的可聽(tīng)化作品是成功的？Kramer等美國學(xué)者搜集了許多被視為成功的可聽(tīng)化作品，并舉例了在三個(gè)領(lǐng)域中的應用或工具[17]：第一，他們認為目前為止最成功的一個(gè)可聽(tīng)化產(chǎn)品之一便是“Geiger-counter”,這件樂(lè )器可以探測不可見(jiàn)的危險等級并發(fā)出警報聲；第二，可聽(tīng)化另一個(gè)富有潛力的領(lǐng)域便是視覺(jué)康復方面，傳感器可以幫助視力障礙者有效治療；第三，可聽(tīng)化與教育領(lǐng)域結合的工具也是研究的重點(diǎn)之一，研究表明多數人通過(guò)聽(tīng)覺(jué)能更好地理解信息的趨勢、聚集、關(guān)聯(lián)性以及數據中一段簡(jiǎn)單的統計特征，不亞于閱讀[18]。
然而，仍然有少數研究人員認為數據可聽(tīng)化的發(fā)展有一定的局限性和缺陷，甚至有的學(xué)者認為數據可聽(tīng)化在不久的將來(lái)會(huì )慢慢淡出人們的視野。美國伍斯特學(xué)院的學(xué)者Neuhoff列舉了幾個(gè)質(zhì)疑和弊端[19]：第一，視覺(jué)與聽(tīng)覺(jué)的同步精確度是否能有保證；第二，聽(tīng)覺(jué)存在個(gè)體差異；第三，每位聽(tīng)覺(jué)測試者在感受音頻交互的過(guò)程中，在不同維度、不同方面對作品的理解是不一樣的；第四，數據可聽(tīng)化是一門(mén)跨學(xué)科的研究，相關(guān)領(lǐng)域的學(xué)者與音頻工程師對于數據的理解會(huì )有所差異，這會(huì )導致呈現的作品、對于數據的評估和整理出現一定程度上的分歧。學(xué)者Supper提出，數據可聽(tīng)化更多地是一種娛樂(lè )化的方式，而不是從科學(xué)的角度分析各類(lèi)數據[20]。學(xué)者Ono和Teghtsoonian在各自文章中提出，從衡量音頻參數的角度看，如果將數據的變化與音調的高低聯(lián)系起來(lái)，會(huì )發(fā)現音高的變化只在數據提高2%以上才能被感知[21,22]。Neuhoff 也提到，當數據發(fā)生變化時(shí)，比如當一個(gè)圖形的比例或尺寸的數值改變，聆聽(tīng)者會(huì )對聽(tīng)到的信息產(chǎn)生歧義，當音調上升時(shí)，圖形的變化是擴張還是收縮是一個(gè)疑問(wèn)[23]。數據可聽(tīng)化的弱項還包括當幾個(gè)音頻參數都發(fā)生改變時(shí)，響度參數會(huì )影響到諸如音調或音色的感知[24]。
當然，Neuhoff也列舉了幾條數據可聽(tīng)化的改進(jìn)方法[25]：（1）需要堅持認為數據可聽(tīng)化是一個(gè)更偏向藝術(shù)的學(xué)問(wèn)；（2）應該側重于讓音頻交互設計得更巧妙，需要考慮欣賞者的感受，包括盡量避免使用音調或響度的功能造成的聽(tīng)覺(jué)歧義等問(wèn)題；
（3）避開(kāi)“混亂的中間地帶”（Muddled Middle）,意思是不要總想著(zhù)讓數據可聽(tīng)化的藝術(shù)與科學(xué)數據達到一個(gè)平衡。
從視聽(tīng)藝術(shù)的交互性來(lái)看，正如前文可聽(tīng)化制作環(huán)節所提及的，意大利學(xué)者Polotti和Gonia認為，采用人機交互技術(shù)將手勢或是身體姿態(tài)的變化進(jìn)行數據可聽(tīng)化，即手勢可聽(tīng)化（Gesture Sonification）實(shí)現視聽(tīng)藝術(shù)融合，使人們更好地接觸并理解相關(guān)作品[26] 。對于藝術(shù)領(lǐng)域的可聽(tīng)化設計，最基本的原則是展現作品里的必要元素，包括明確設計的目標及定義詳細的主題[27]。學(xué)者Findeli將這一觀(guān)點(diǎn)定義為“交互形式（Interaction Gestalts）”[28]。當前，視覺(jué)藝術(shù)的可聽(tīng)化不僅僅局限于繪畫(huà)美術(shù)作品等單一方向，相關(guān)領(lǐng)域從業(yè)者也慢慢將這一技術(shù)搬到音樂(lè )劇、舞臺劇、雜技表演的舞臺中。Polotti和Gonia通過(guò)三種不同的舞臺劇進(jìn)行試驗[29]：（1）專(zhuān)業(yè)雜技表演，演員并沒(méi)有跟隨一段音樂(lè )跳舞，相反是根據舞臺上聲、光的變化調整動(dòng)作；（2）專(zhuān)業(yè)與非專(zhuān)業(yè)迪斯科舞蹈表演；（3）使用VSE（Visual Sonic Enaction，圖像-聲音轉換系統）進(jìn)行表演。
4 數據可聽(tīng)化應用于舞臺藝術(shù)中的前景
基于上述文章內容的分析與總結，就未來(lái)視覺(jué)藝術(shù)可聽(tīng)化的研究而言，制作環(huán)節上的精進(jìn)和創(chuàng )新探究有以下三方面。
第一，與視覺(jué)作品相結合的數據可聽(tīng)化項目實(shí)用性是其發(fā)展的重要因素，尤其是在大眾教育和視覺(jué)殘障領(lǐng)域的應用有很大的潛力；第二，對于大眾教育而言，通過(guò)數據可聽(tīng)化的方式能使人們更清晰易懂地理解視覺(jué)藝術(shù)作品的細節變化，音畫(huà)結合的形式也非常容易被大眾所接納；第三，對視覺(jué)殘障人士來(lái)講，可聽(tīng)化作為一種欣賞視覺(jué)藝術(shù)的特殊方式給這類(lèi)群體帶來(lái)了福音。
對于視覺(jué)藝術(shù)展演領(lǐng)域，近年來(lái)已有學(xué)者在舞臺劇或音樂(lè )表演中加入了數據可聽(tīng)化的嘗試，相比在美術(shù)館或科技館小空間內的數據可聽(tīng)化的創(chuàng )作，受眾群體和市場(chǎng)潛力巨大。早在2004年，有關(guān)數據可聽(tīng)化的音樂(lè )會(huì )就出現在了悉尼歌劇院。在這場(chǎng)“聆聽(tīng)想象中的聲音（Listening to Mind Listening, LML）”的音樂(lè )會(huì )上[30]，學(xué)者Wolf和Fiebrink通過(guò)數據可聽(tīng)化的方式讓觀(guān)眾與音樂(lè )劇表演者進(jìn)行交互，每位觀(guān)眾戴上WiFi耳機，表演者的舞蹈肢體動(dòng)作被量化成參數轉化為音頻的形式實(shí)時(shí)傳遞給觀(guān)眾，讓觀(guān)眾更加專(zhuān)注于舞臺上的表演[31]。還有學(xué)者研究了樂(lè )器演奏與演奏姿態(tài)的可聽(tīng)化互動(dòng)設計，其中，Kirsty Beiharz在她的文章中提及了一種名叫“Sonic Tai Chi” 的裝置設計（2005—2006年展陳于悉尼 Powerhose 博物館的BetaSpace,設計者Joanne Jakovich），如圖6所示，它是一個(gè)通過(guò)空間交互的虛擬的視覺(jué)及音頻合成的作品，它使用計算機視覺(jué)捕捉肢體動(dòng)作的數據產(chǎn)生可視化和可聽(tīng)化的效果，形成人與視聽(tīng)藝術(shù)間交互[32]。
圖6 Sonic Tai Chi視聽(tīng)交互設計（圖片來(lái)源：Joanne Jakovich）
盡管到目前為止，視覺(jué)藝術(shù)可聽(tīng)化的舞臺劇作品還未出現成型的大制作，基于對相關(guān)研究及實(shí)踐的分析，未來(lái)視覺(jué)藝術(shù)可聽(tīng)化在舞臺上的應用具有很大的潛力，尤其是音樂(lè )劇、舞劇方面，如何將表演形式變得多樣化，如何讓觀(guān)眾融入視聽(tīng)表演，是未來(lái)幾年研究的重點(diǎn)。筆者認為，以下兩方面的研究會(huì )有潛在價(jià)值：一是畫(huà)作藝術(shù)的數據可聽(tīng)化，音頻技術(shù)及音樂(lè )制作研究者可以探索分析著(zhù)名畫(huà)家的畫(huà)作或視覺(jué)作品的數據，并制作成可聽(tīng)化的交響樂(lè )或電子音樂(lè )作品，甚至通過(guò)舞臺表演的形式再次呈現，包括觀(guān)眾對于這種新形式的表演的接受程度；二是舞臺劇、雜技等表演藝術(shù)的數據可聽(tīng)化，利用手勢可聽(tīng)化將表演者的肢體語(yǔ)言進(jìn)行數據轉化，形成與視聽(tīng)藝術(shù)的交互性，或許能成為一種新的表演形式？作品中每個(gè)部分的數據可聽(tīng)化處理，是通過(guò)在演員的四肢安裝交互式裝置，根據肢體的變化進(jìn)行相應頻率、節奏以及旋律的調整，這樣的方式或許能幫助更好地理解作品，也可以“拉近”觀(guān)眾與表演者的距離。不可否認這種表演模式是令人耳目一新的，然而也存在著(zhù)一些問(wèn)題，制作成本是不能忽視的問(wèn)題，尤其是經(jīng)濟成本，使用相應的交互裝置需要一定的花費；此外，是可聽(tīng)化作品的質(zhì)量問(wèn)題，音頻工程師、音樂(lè )制作人以及舞臺劇導演和演員對于畫(huà)作的理解一定程度上決定了可聽(tīng)化作品的質(zhì)量，所以整部作品的制作需要對藝術(shù)方面有非常高的理解力與造詣。
還有一點(diǎn)值得關(guān)注，國內包括高等教育的相關(guān)領(lǐng)域對于視聽(tīng)交互等新的交叉學(xué)科還在探索階段，其建設亟待加強。筆者認為，音頻工程系、舞臺美術(shù)系等可以設立相關(guān)專(zhuān)業(yè)課程，學(xué)生除了需要具備音樂(lè )、藝術(shù)等基礎知識外，也需要用一定的時(shí)間學(xué)習編程、信號處理等工科課程。
5 結語(yǔ)
基于數據可聽(tīng)化的起源、概念以及主要特征，簡(jiǎn)單闡述了數據可聽(tīng)化作品的制作流程，包括當前一部分學(xué)者進(jìn)行視覺(jué)畫(huà)作參數的采集、整理及可聽(tīng)化的設計，以及主要制作方法和工具，特別針對實(shí)現數據可聽(tīng)化與視聽(tīng)藝術(shù)的交互問(wèn)題進(jìn)行了討論，并展望了數據可聽(tīng)化在舞臺藝術(shù)中的應用前景。數據可聽(tīng)化與視覺(jué)藝術(shù)的結合作為一個(gè)新興的發(fā)展方向前景廣闊。
選自 《演藝科技》2023年第一期 盧亦林《淺析視覺(jué)藝術(shù)的數據可聽(tīng)化》。轉載請標注：演藝科技傳媒。更多詳細內容請參閱《演藝科技》。
