Free & Open Source · For Windows

用手势
指挥你的音乐

基于 AI 视觉技术的专业级 MIDI 手势控制器。用普通摄像头捕捉手部动作,实时生成精准 MIDI 数据,零延迟驱动你的 DAW。

6 维度控制
<10ms 响应延迟
0 额外硬件
AeroMIDI Tracker
AI TRACKING ACTIVE
CC 1 (X)
92
CC 2 (Y)
58
CC 3 (Z)
112
CC 4 (Pinch)
40

兼容所有主流 DAW

专为音乐人设计的
手势控制体验

突破传统控制器的物理限制,让你的双手成为最自然的乐器。

AI 精准追踪

基于 MediaPipe 深度学习模型,即使在复杂光线与背景环境下,也能稳定识别 21 个手部关节点,追踪精度达到亚像素级别。

极低延迟

OSC 高频通信协议,毫秒级响应,丝滑无卡顿。

原生 VST3

即插即用,完美集成所有主流 DAW,无需额外配置。

6 维控制

同时捕捉 X、Y、Z、Roll、Pinch、Grip 六个维度。

本地处理

所有 AI 推理均在本地设备完成,无需联网,保障隐私安全,离线可用。

从零开始空中演奏

按照以下步骤,5 分钟内完成配置,开始你的第一次手势演奏。

01
需要单独下载

安装 LoopMIDI — 创建虚拟 MIDI 端口

Ableton Live 等主流 DAW 不支持插件之间直接传递 MIDI 信号,需要借助虚拟 MIDI 端口作为中转。LoopMIDI 是 Windows 上最常用的免费工具,专门用于创建这类虚拟通道。

  1. tobias-erichsen.de 下载并安装 loopMIDI
  2. 打开 LoopMIDI,在底部 New port-name 输入框中填写 AeroMIDI
  3. 点击左下角 + 按钮,端口名称将出现在上方列表中
  4. 保持 LoopMIDI 在后台运行(最小化即可)
LoopMIDI 创建端口
在输入框填写 AeroMIDI,点击 + 创建
LoopMIDI 创建成功
AeroMIDI 端口创建成功,出现在列表中
02

安装 AeroMIDI 插件

运行安装包,VST3 插件和手势追踪程序将自动安装到系统的 VST3 目录,无需任何手动配置。

  1. 下载并运行 AeroMIDI_Setup.exe
  2. 按提示完成安装,安装到您的 VST3 指定目录下
  3. 安装完成后,在 DAW 中重新扫描 VST3 插件目录
  4. 插件打开时会自动启动摄像头追踪程序,无需手动运行
下载 AeroMIDI_Setup.exe
03

配置 DAW(以 Ableton Live 为例)

需要在 DAW 的 MIDI 设置中启用 AeroMIDI 虚拟端口,并在轨道上加载插件。

  1. 打开 Ableton Live → 设置 → Link, Tempo & MIDI
  2. 在底部 输入端口 列表中找到 AeroMIDI
  3. 勾选 轨道(Track) 选项(如截图所示红框位置)
  4. 新建一个专用 MIDI 轨道,在该轨道上加载 AeroMIDI VST3 插件
  5. 将需要被控制的合成器(如 Diva、Serum 等)放在其他轨道,通过 MIDI CC 映射接收手势信号
Ableton MIDI 设置
在 Ableton 设置中启用 AeroMIDI 的"轨道"输入
Ableton 轨道配置
将 AeroMIDI 作为 MIDI 输入源分配到目标轨道
04

插件界面详解 — Multi-CC 模式

Multi-CC 模式是主要的连续控制模式,手的空间位置和姿态被实时映射到最多 6 个 MIDI CC 通道。

六个控制维度

Pos Y (Cutoff) 手的纵向高度 — 上移数值增大,常用于滤波器截止频率
Pos X (Pan) 手的横向位置 — 左右移动控制声像或效果量
Depth Z (Mix) 手与摄像头的距离 — 靠近或远离控制混音量
Roll (Tilt) 手腕旋转角度 — 手掌翻转控制参数
Pinch (Dist) 拇指与食指间距 — 捏合动作控制参数
Grip (Fist) 手指整体握紧程度 — 握拳动作控制参数

H-RANGE / V-RANGE — 有效控制区域

插件底部的两个滑块用于设置摄像头画面中的有效控制区域范围。H-RANGE 调节水平宽度,V-RANGE 调节垂直高度。缩小范围可以提升控制精度;扩大范围适合大幅度动作。摄像头窗口中黄色虚线框即为当前有效区域。

Smart Axis Isolation

启用后,插件会自动检测当前运动幅度最大的轴,暂时锁定其他轴的输出,避免多维度相互干扰。适合需要精准单轴控制的场景。

Multi-CC 插件界面
插件界面:勾选各轴启用,右侧数字为对应 MIDI CC 编号
有效控制区域
摄像头画面中的黄色框即为 H/V RANGE 定义的有效控制区域
05

Piano 模式 — 空中弹奏 MIDI 音符

切换到 Piano 模式后,AeroMIDI 变为触发式音符控制器。手向下穿过摄像头中的触发线时,发出对应的 MIDI 音符。

  1. 点击插件顶部的 Switch to Piano Mode 按钮切换模式
  2. 插件主界面显示当前音符名称(如 C4),底部为音阶映射
  3. 摄像头窗口中会出现一条橙色触发线,手从上方向下穿过此线即可触发音符
  4. 在摄像头窗口中用鼠标拖拽触发线,可自由调整触发高度
  5. 手的左右位置决定音符音高,在屏幕中越靠右音符越高
  6. 点击 LOAD MIDI 可加载自定义音阶映射文件
Piano 模式
Piano 模式:左侧插件显示当前音符,右侧摄像头中橙色线为触发线,鼠标可拖拽调节高度
06

在合成器中映射 MIDI CC

以 u-he Diva 为例,大多数合成器可以通过 MIDI Table 将 CC 编号绑定到具体参数,实现手势直接控制音色。

  1. 在插件界面中确认各维度的 CC 编号(如 Y=74, X=10, Z=12)
  2. 在合成器中打开 MIDI 映射界面(通常为右键参数 → MIDI Learn,或 MIDI Table)
  3. 将目标参数绑定到对应 CC 编号
  4. 移动手部确认参数跟随变化,必要时调整 MIDI CC 数值范围
大多数支持 MIDI CC 的合成器和效果器(Serum、Massive、Diva 等)都可以用相同方式映射,通用性极强。
Diva MIDI 映射
在 u-he Diva 的 MIDI Table 中将 CC 编号绑定到合成器参数

专业级性能
轻量化设计

AeroMIDI 针对实时音乐表演场景深度优化,在保证极低延迟的同时,CPU 占用率始终保持在较低水平。

立即下载体验
操作系统 Windows 10/11 (64-bit)
插件格式 VST3
摄像头要求 任意 USB/内置摄像头
通信协议 OSC (UDP)
MIDI 参数 CC 1-127 可自由映射
AI 框架 MediaPipe Hands
系统延迟 < 10ms
价格 免费开源