演唱會科技應用:連結真實世界與虛擬世界的互動裝置 — Kinect

1

Kinect 是由微軟開發,可運用於 Xbox 360、Xbox One 和 Windows 電腦上的體感裝置,外型是一個長方形的小黑盒子,配有三個鏡頭,中間的是 RGB 彩色攝影機,用來錄製彩色圖像,左右兩邊的鏡頭分別為紅外線發射器和紅外線 CMOS 攝影機,兩側攝影機能藉由光感得知物件深度。

圖片來源:Xbox 官方網站

另外,附有追焦功能的 Kinect,底盤可隨著對焦物體移動而轉動,而內建四個麥克風能採集聲音,進行語音辨識和聲援定位。簡言之,透過空間深度及聲音定位Kinect 為一可追蹤「動作」,並將運算結果丟進虛擬世界互動的裝置。

最初,Kinect 主要應用於微軟 Xbox 自家開發的遊戲,讓玩家可以擺脫舊有操作桿的束縛,直接以身體動作控制遊戲角色。例如「Michael Jackson: The Experience」,即是結合 Kinect 的歌舞遊戲,相較於早期的跳舞踏墊或是 Wii 的控制器只能偵測腳部或手部的動作,Kinect 能偵測的動作範圍包含全身,因此與之對應的遊戲,便能將動作設計得更精細、更有挑戰性。其他 Kinect 運用得比較多的遊戲類別則為體育競技類。

對於新媒體創作者來說,Kinect 的出現提供創作更多的可能。去年,以音樂結合新媒體應用著稱的 CMJ Music Marathon 音樂節,便與 VolvoxLabs 團隊合作,在 Neon Indian 的演出舞台上,展現將音樂、人體與幾何圖形同時結合的視覺效果。製作團隊事先將樂團團員們的身體輪廓掃描記憶,化為幾何形狀,演出同時,電腦接收由五台 Kinect 分別偵測的團員動作、外部環境,及由樂器回傳的 Midi 訊號,運算出相對應的即時動畫。這項設計也可應用於其他樂團的演出,只需重新掃描團員輪廓即可。

Kayne West「伊蘇基督 Yeezus」巡迴,是最早在演唱會上運用 Kinect 的例子。在演唱會山形舞台的正上方,有一圓型 LED 螢幕,當 Kayne 唱到〈Black Skinhead〉這首歌時,觀眾可以看到製作團隊事先設計好與 Kayne 體型相似的 3D 虛擬角色,做出與舞台上的 Kayne 相同的動作。藉由 Kinect 偵測 Kayne 的一舉一動,將運算數據回傳,讓螢幕裡的 3D 角色跟著動作。而在〈Black Skinhead〉MV 中,我們也可以看見演唱會當時的虛擬角色與真實的 Kayne 交互出現。

圖片來源:livincool.com

與演唱會運用常見的 VR 技術相同,Kinect 作為真實世界與虛擬世界的橋樑,試圖模糊兩者的界線,欲在虛擬之中創造真實感受。無論如何,在科技與技術都已成熟的現在,任何新媒體的創作核心都是「If you have a vision, you’ll find the tools(只要有想法,不怕找不到實踐的工具)」。

參考資料:
Kayne and Kinect: Yeezus tour utilization and live motion capture
Kinect recreates reality and brings new dimension to live show at CMJ Music Marathon
VolvoxLabs: Noen Indian live generative performance

關於作者

Jessie C.

「Music Talk 音樂慢慢說」部落格撰文者,書寫音樂的年資不及聽音樂的 0.06 %。太晚發現音樂即人生,也太晚發現「人其實一輩子都離不開自己十八歲時聽的音樂」,於是只好左耳聽台灣小清新、右耳聽黑人 R&B。