超现实数字梦境

New Media Installation

超现实
数字梦境

以《牡丹亭·惊梦》为蓝本，将粤剧音频数据化为生长的"信息茧房"，探讨数字时代的作茧自缚。

TouchDesigner Blender OSC Audio Reactive
Scroll
Type
新媒体交互装置
Award
🏆 DS一等奖 / 元宇宙银奖
Year
2024
Role
概念 / 建模 / 编程
Tools
TD / Blender / OSC

Concept

设计思考

"在计算机的世界中，粤剧会是怎样的新形态？"

作品以《牡丹亭·惊梦》为蓝本，引用戏中二人身处梦境时的音频和唱词。将音频通过 TouchDesigner 加入蚕丝的声音模拟合成为背景音乐，将唱词打乱重组，成为构建"茧"生长的数据源。

这隐喻了信息时代的"信息茧房"——人们被大数据和碎片化信息所包裹，如同剧中人为情所困，作茧自缚。

逻辑推演
从传统戏曲到"信息茧房"的逻辑推演

Technical

技术实现

通过 OSC 协议实现音频数据对 3D 模型的实时驱动：

TD Audio Analysis
01. 音频数据采集 — TD 提取粤剧频谱数据
OSC Connection
02. 基础模型 + TD 控制 — OSC 数据驱动 Blender
Camera Interaction
03. 摄像头交互 — 环境色值改变"茧"的形态

Output

视觉呈现

数字化茧形态
生成的数字化"茧"形态
我的职责 My Role

Blender 交互模型制作 · TouchDesigner 音乐数据转换编程 · Blender 与 TD 的 OSC 端口连接 · 项目概念产出与逻辑推演