RC Surface

Q: Dá para mapear pelo celular?

Sim. MAP, escolha um controle e use Bind ou Trigger Note.

Qualquer aparelho com navegador vira um controlador de performance para o Ableton Live. O seu computador serve a superfície na rede local e o celular só precisa abrir um link.

Live 12.4.5+ Suite · iOS 15.4+ Safari ou Chromium no Android · usado na horizontal · rede local, nada instalado no celular.

Versões publicadas Código e licença

2.0

Cadeia de sinal — controle pelo SDK, clock OSC opcional

┌─ NODE 0 ─────────────────────────────────┐
│ PHONE BROWSER          TOUCH IMU MIC CAM │◀─┐
│ PERF · MIX · SNP · SNS · AUD · VID · MAP │  │
└────────────────────┬─────────────────────┘  │
     SALTO 1  ▼  HTTPS · CA LOCAL · WSS       │
┌─ NODE 1 ─────────────────────────────────┐  │
│ RC SURFACE SERVER                 v1.0.0 │  │
│ SMOOTH · CURVE EVAL · MORPH · SNAPSHOT   │  │
└────────────────────┬─────────────────────┘  │
     SALTO 2  ▼  EXTENSIONS SDK · LOCAL       │
┌─ NODE 2 ─────────────────────────────────┐  │
│ EXTENSIONS SDK          LOCAL HOST API   │  │
│ PARAMETERS · MIXER · TARGET CATALOG      │  │
└────────────────────┬─────────────────────┘  │
     SALTO 3  ▼  LIVE OBJECT MODEL · INTERNO  │
┌─ NODE 3 ─────────────────────────────────┐  │
│ ABLETON LIVE 12.4.5                SUITE ├──┘
│ SESSION · DEVICES · MIXER · TRANSPORT    │
└──────────────────────────────────────────┘
▼ CONTROLE, SAÍDA        ◀ ESTADO, ENTRADA

2.1 · Fonte de clock

Modo	Precisa de	O que você ganha
AbletonOSC	AbletonOSC	Preciso no beat: metrônomo, subdivisões, swing, fase.
SDK	nada	Simulador de BPM a partir do andamento do Live. Sem fase de beat.
Free	nada	Clock interno. Não segue o andamento do Live.

O AbletonOSC só é necessário para o Deep Sync e é instalado à parte, como Control Surface, com as portas UDP 11000/11001 livres. Sem ele, todo o resto funciona. Segure SYNC para escolher a fonte de clock, as subdivisões, a fase, o swing e as formas de onda.

3.0

Mapa da superfície — figs. 1 a 7

PERF MIX SNP SNS AUD VID MAP

Fig. 1 PERF — o layout real Sem escala Proj. planta

N	Região	Qtd	O que é
1	Abas de página	6	PERF, MIX, SNP, SNS, AUD, VID. MAP se sobrepõe à página atual; CFG aparece em PERF e MIX.
2	Grade de pads	12	Quatro por linha, três linhas. O comportamento vem do modo, não do pad.
3	Modo do pad	4	A momentâneo, B hold, C toggle, D burst. Vale para os doze; CFG sobrescreve um pad.
4	XY pads	2	Marcados `XY 1` e `XY 2 (Física)`. Cada eixo é mapeado separadamente.
5	LFOs	4	L1 a L4. Hz em FREE, figuras em SYNC. Tetos: senoide 4 Hz, quadrada 12 Hz. Forma no CFG.
6	Stutters	4	S1 a S4. Horizontal é velocidade, vertical é amplitude. Até 15 Hz, ratchet incluso.
7	PERF UTIL	6	CAP captura, os slots 1 a 4 recuperam, OFF sai.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Fig. 2 MIX — oito knobs e oito faders Sem escala Proj. planta

N	Região	Qtd	O que é
1	Abas de página	6	PERF, MIX, SNP, SNS, AUD, VID. MAP se sobrepõe à página atual; CFG aparece em PERF e MIX.
2	Knobs	8	`knob-1..8`, quatro colunas por duas linhas. Arrasto vertical relativo.
3	Faders	8	`fader-1..8`, uma linha. O cursor anda exatamente o que o dedo anda.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Fig. 3 SNP — oito estados guardados e vector morph Sem escala Proj. planta

N	Região	Qtd	O que é
1	Abas de página	6	PERF, MIX, SNP, SNS, AUD, VID. MAP se sobrepõe à página atual; CFG aparece em PERF e MIX.
2	Slots de morph	8	Estados inteiros do controlador numa grade quatro por dois; recall ou morph para um slot.
3	Controles de performance	3	`CAPTURAR`, `LIMPAR SLOTS`, transição de 0.1 a 5.0 s ou sincronizada, e Grade/Vetor.
4	Pad de morph vetorial	1	Mistura os slots 1 SE, 2 SD, 3 IE e 4 ID ao mesmo tempo, com peso pela posição do ponto.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Fig. 4 SNS — eixos de movimento e orientação Sem escala Proj. planta

N	Região	Qtd	O que é
1	Abas de página	6	PERF, MIX, SNP, SNS, AUD, VID. MAP se sobrepõe à página atual; CFG aparece em PERF e MIX.
2	Movimento	6 eixos	`GX GY GZ` taxa angular, `AX AY AZ` aceleração, com sinal em torno do centro.
3	Orientação	3 eixos	Yaw, pitch e roll como ângulos numéricos.
4	Visão local	2	Mostra ou esconde os dois blocos só neste celular; os sensores continuam rodando.
5	Legenda dos eixos	3 eixos	Liga os nomes dos canais ao celular físico, então inclinar vira um gesto legível.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Fig. 5 AUD — entrada de áudio e doze descritores Sem escala Proj. planta

N	Região	Qtd	O que é
1	Abas de página	6	PERF, MIX, SNP, SNS, AUD, VID. MAP se sobrepõe à página atual; CFG aparece em PERF e MIX.
2	Entrada de áudio	1	Escolha o padrão do navegador ou uma entrada permitida e habilite a captura. Nunca começa sozinho.
3	Nível de entrada	1	RMS de entrada, normalizado 0..1. Não é loudness percebido.
4	Histórico do sinal	1	Histórico ao vivo de 2.5 s: Amplitude, Ataques, Timbre, Textura, Bandas ou Tudo.
5	Knobs dos detectores	10	SENS, RELEASE, CURVA, GANHO e SUAVE do grupo. Figuras em SYNC, milissegundos em FREE.
6	Janela de análise	1	JANELA x1/x2/x4 troca detalhe espectral por tempo de resposta.
7	Detectores de áudio integrados	12	Doze fontes 0..1 para mapear: sensor.audio.transient, sensor.audio.kick, sensor.audio.snare, sensor.audio.brightness, sensor.audio.centroid, sensor.audio.flux, sensor.audio.flatness, sensor.audio.spread, sensor.audio.rolloff, sensor.audio.low, sensor.audio.mid, sensor.audio.high.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Fig. 6 VID — câmera, poses aprendidas, detectores Sem escala Proj. planta

N	Região	Qtd	O que é
1	Abas de página	6	PERF, MIX, SNP, SNS, AUD, VID. MAP se sobrepõe à página atual; CFG aparece em PERF e MIX.
2	Câmera	1	Liga/desliga, confiança, modo de reconhecimento e a prévia ao vivo.
3	Poses aprendidas	3	G1, G2 e G3, três exemplos cada: `CAP`, `TESTE`, `APAGAR ÚLT`, `LIMPAR`. O reconhecimento emite um 0→1 momentâneo.
4	Detectores nativos	4	Aberta, Punho, Pinça e Victory, opcionais e sem treino. A rotação pertence ao Victory.
5	MAP direto / CLUTCH	2	MAP X/Y/Z segue a mão; CLUTCH X/Y/Z é relativo e congela quando a pinça abre.
6	Diagnósticos da câmera	2	O tamanho de PALM e o FACE com sinal ficam só na prévia; não são controles mapeáveis.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Fig. 7 MAP — barra armada e depois o seletor de destino Sem escala Proj. planta

N	Região	Qtd	O que é
1	Página por baixo	1	MAP é sobreposição, não aba. A página de baixo continua visível até escolher um controle.
2	Faixa armada	1	Mostra só `MAP ARMADO / TOQUE UM CONTROLE / PRONTO`, e some quando um controle é tocado.
3	Overlay de edição	1	Um painel de 400 px à direita assume o editor de mapeamento.
4	Filtro de alvos	1	Busca nomes de destino; `Selecionado no Live` restringe à track e ao device atuais.
5	Hierarquia	3 níveis	Track → Device → Parâmetro, mais os grupos Song/Main/Master e Return.
6	Atalho da seleção do Live	1	Usa a track e o device selecionados no Live como filtro; não escolhe parâmetro por você.
8	Painel do Live	7	BPM, transporte, TRN, MAP, CFG.
9	Bloco de sync	4	SYNC, ajustes, STAGE; CALIBRAR em SNS/AUD/VID.

Todo controle destas plantas está listado em 4.0.

.surface-tabs{display:none} .surface-deck{display:block} .surface-sheet{visibility:visible;opacity:1;pointer-events:auto} .surface-sheet + .surface-sheet{margin-top:30px}

4.0

Controles — inventário, header, famílias

Inventário de controles — 18 linhas

LINHA DE CONTROLE NO CELULAR
    │
    ├─ SDK ─── WSS ─── RC SURFACE SERVER ─── EXTENSIONS SDK ─── PARÂMETRO DO LIVE
    │
    ├─ MIDI ── WSS ─── RC SURFACE SERVER ─── NOTA ───────── HOST MIDI DO LIVE
    │
    └─ local ─────── SÓ ESTADO DO CELULAR
                      └─ nunca sai do celular · não dá para mapear no Live

N	Módulo	Qtd	Página	Envia por	Alvo no Live
00	Pads de performance	12	PERF	MIDI	Clip, cena ou nota de trigger
01	Modos de pad A–D	4	PERF	local	Comportamento do pad; CFG sobrescreve por pad
02	XY pads	2	PERF	SDK	Dois parâmetros por pad
03	LFOs L1–L4	4	PERF	SDK	Qualquer parâmetro mapeado
04	Stutters S1–S4	4	PERF	SDK	Qualquer parâmetro mapeado
05	Coluna PERF UTIL	6	PERF	local	CAP, slots 1–4, OFF
06	Knobs	8	MIX	SDK	Parâmetro de device
07	Faders	8	MIX	SDK	Volume da track
08	Slots de morph	8	SNP	SDK	Um estado inteiro do controlador
09	Tempo de transição	1	SNP	local	Free de 0.1 a 5.0 s, ou Sync de 16 beats a 1/16
0A	Pad de morph vetorial	1	SNP	SDK	Mistura os slots 1–4 por canto
0B	Movimento	6 eixos	SNS	SDK	GX GY GZ, AX AY AZ
0C	Orientação	3 eixos	SNS	SDK	Yaw, pitch, roll
0D	Entrada de áudio	1	AUD	SDK	RMS, envelope, gate, attack e mais doze descritores
0E	Visão de uma mão	1	VID	SDK	`sensor.vision.x`, `.y`, `.z`; Pinch Clutch `sensor.vision.pinch_x`, `_y`, `_z`; Open / Fist / Pinch / Victory; G1–G3 aprendidos
0F	Seletor de mapeamento	3 superfícies	MAP	local	Overlay do celular, aba Mapeamentos do painel e a janela administrativa
10	Painel do Live no header	7	header	SDK	BPM, transporte, TRN, MAP, CFG
11	Bloco de sync no header	4	header	SDK	SYNC, ajustes, STAGE, CALIBRAR

As linhas SDK mapeiam números para parâmetros do Live. MIDI precisa do Receiver opcional. Controles locais nunca saem do navegador.

O header — em todas as páginas

TRN

Overlay de transporte em tela cheia: lista de locators, busca e a leitura SINCRONIZADO / SDK / FREE.

MAP

Abre o seletor de mapeamento sobre a página atual.

CFG

Ajustes por controle: modo do pad, forma do LFO, modo do stutter, física do XY 2. Só PERF e MIX.

SYNC

Alterna SYNC / FREE. Segure para abrir os Ajustes de Deep Sync, 2.1.

CALIBRATE

Define a referência neutra da página: postura em SNS, nível em AUD, iluminação em VID.

STAGE

Trava a superfície na página atual.

O que cada um faz — do toque até o Live

01Performance 02Controles contínuos 03Snapshots 04Movimento e áudio 05Visão 06Mapeamento e MIDI

Pads, LFOs, stutters

A volta a zero, B mantém o que você deixa, C trava, D dispara um burst — ajustável por pad no CFG. LFOs e stutters usam o mesmo clock: travado no beat do Live em SYNC, livre em FREE.

VALOR ↑TEMPO →TOQUE = ▼ · SOLTA = △

A · SOLTA

toqueup

o arrasto define o nívelSOLTA → zero na hora

B · SEGURA

GUARDADOMANTÉM

o arrasto edita o nívelSOLTA → segura o valor novo

C · ALTERNA

TOQUE LIGATOQUE DESLIGA

trava em dois toquessegurar + arrastar edita com ele ligado

D · BURST

70 ms de attack450 ms de release

one-shot A–Rarrasto define o pico .15–1 · a duração segue a grade em SYNC

BEAT

1234

SYNC / FREErepete na divisão do beat

XY, knobs, faders

O XY 2 continua e quica depois que você solta; o XY 1 fica onde ficou. Knobs e faders seguem o dedo a partir do valor atual e nunca pulam para o ponto tocado.

1 · ARRASTO VERTICAL RELATIVOKNOB · FADER

O ponto do toque nunca é o valor

valor

mesmo
tamanho

dedo

No toque dy é 0, então nada se move. O knob cruza a faixa inteira em 150 px; o fader anda o mesmo que o dedo.

valor = inicial + dy / rangePx KNOB 150 · MACRO KNOB 220 · FADER 150

2 · FÍSICAXY 2

Soltar não faz parar

percorridopara onde ele segueborda do pad · ricocheteia a ×0.75

RASTRO DE 15 PONTOS v ×= 0.988 a cada frame · para abaixo de 0.01

Snapshots e morph vetorial

CAPTURAR guarda todos os controles mapeados num dos oito slots. Chamar um slot interpola até ele no tempo definido. O Vetor XY mistura os slots 1–4 pela posição do dedo.

GUARDA UM ESTADO · VOLTA AO LONGO DO TEMPO · MISTURA QUATRO ESTADOS

CAPTURA / RECALL

ESTADO AO VIVO

VOL

CUT

SEND

PAN

CAP

OITO SLOTS

12345678

ATUALSLOT 3

RECALL = interpolação cronometrada · Free 0.1–5.0 s ou Sync em beats

MORPH VETORIAL

SAÍDA MISTURADA

A .12

B .54

C .08

D .26

quatro estados de canto → mistura ponderada

Movimento, orientação, áudio

CALIBRAR faz da postura atual a referência. AUD transforma som em controle: nível, envelope, gate, ataques e doze descritores, no gráfico dos últimos 2.5 segundos.

MOVIMENTO DEFINE UMA REFERÊNCIA · ÁUDIO VIRA CONTROLE ESTÁVEL

MOVIMENTO

CALIBRAR

AX AY AZ · GX GY GZ

ENTRADA DE ÁUDIOLIVE

RMS0.42

ENV0.38

SINAL / 2.5sLIVE

RMSENV

SENS0.65

subida da bandaarraste ↑↓

RELEASE45 ms

cauda do pulso10–500

WINDOW · 1024 @48kx1x2x4

SYNC segue o BPM do Live de 1/128 a 1/1, com tercinas e pontuadas; FREE guarda os próprios milissegundos. Graves, médios e agudos são loudness ponderado K (ITU-R BS.1770), em LU.

Detectores de áudio integrados

ATTACKS

TRANSIENT0.82

KICK0.64

SNARE0.10

TONE

BRIGHTNESS0.36

CENTROID3000 Hz

ROLLOFF 95%5000 Hz

TEXTURE

FLUX0.25

FLATNESS0.08

SPREAD3000 Hz

BANDS

LOW0.24

MID0.18

HIGH0.09

ciano = RMS instantâneo · verde = envelope suavizado

Visão: mão, poses, clutch

X/Y/Z da mão é contínuo. Um pinch mantido engata o clutch e soltar congela o valor. G1–G3 e os quatro detectores nativos são saídas intencionais; PALM e FACE continuam diagnósticos locais da câmera.

PINCH CLUTCH — UM CICLO QUE VOCÊ PODE LARGAR E RETOMAR

1 · ENGATA

as duas pontas se tocamo contato passa de .75o clutch engata

2 · MOVE

a mão percorre o espaçoX, Y e Z acompanhama partir de onde você começou

3 · SOLTA

os dedos se separamo contato cai abaixo de .55o valor fica onde estava

REPITA A PINÇA, QUANDO E ONDE QUISER — ELE RETOMA DO VALOR GUARDADO

CONTATO = distância entre o landmark 4 e o 8, dividida pelo tamanho da palma ARM em .75 · RELEASE abaixo de .55 · travado entre os dois

sensor.vision.pinch_x · _y · _z relativo, nunca absoluto

MAP, MIDI e superfícies de mapeamento

O MAP do celular e a aba Mapeamentos do painel ligam um controle a um parâmetro do Live ou a uma nota de trigger, com curva, faixa, takeover e ajustes de repouso.

UM CAMINHO DE SINAL · DOMÍNIO DA FONTE → FORMA 0..1 → DOMÍNIO DO ALVO

FONTE

sensor.audio.centroid

faixa que você define

DOMÍNIO MEDIDO DO SENSOR

MESA DE TRANSFORMAÇÃOENTRADA → SAÍDA

NORMALIZA

inMin – inMax → 0..1

CLAMP0..1

FAIXA DA FONTE

CURVA DE RESPOSTA

LINEAR · EXPONENCIAL · LOGARÍTMICA · CURVA S

FAIXA DO ALVO

Song Tempo

20–300 BPM

184 BPM

PARÂMETRO DO LIVE ESCALADO

POLÍTICATAKEOVERESCALAPICKUPHOLDPERDA SEGURARELEASESUAVIZAÇÃO

AÇÃO BINDTRIGGER NOTE PARÂMETRO DO LIVE / MIDI

.control-tabs{display:none} .control-layout,.control-deck{display:block} .control-sheet{visibility:visible;opacity:1;pointer-events:auto} .control-sheet + .control-sheet{margin-top:20px}

5.0

Situações que fazem sentido — e o mapeamento

Cenário A · dois performers

Um segundo par de mãos sobre o mesmo set

Um colega abre o celular e molda os efeitos de return enquanto o solista continua tocando.

xy-1.x→distortion Dry/Wetxy-1.y→reverb send

Cenário B · mudança de arranjo

Quatro cantos para quatro partes

Intro, verso, refrão e outro nos slots 1–4 do SNP, arrastados entre os cantos no Vetor XY.

knob-1→Auto Filter cutofffader-1→reverb return

Cenário C · pinch clutch

Empurrar um filtro no ar

Em pé, sem mesa. Faça a pinça com a palma virada para a câmera, mova a mão e abra os dedos.

sensor.vision.pinch_z→Auto Filter cutoff

Cenário D · movimento do instrumento

O corpo é que modula

Um celular preso à guitarra: o giro durante um swell vira um gesto de taxa de rotação.

sensor.motion.gx→feedback do Echo

Cenário E · entrada acústica

O volume abre o efeito

Um celular perto do microfone: frases mais altas abrem o filtro, o silêncio fecha.

sensor.audio.envelope→Saturator Drive

6.0

Instalação — até um parâmetro mapeado

Vídeo 1 Instalação e primeira conexão, com narração mp4

Instale a extensão

Dê dois cliques no .ablx baixado em Versões publicadas para instalar no Live.

Abra o painel

No Live, abra Extensions → RC Surface → Show panel. Ele mostra o QR code, o status da conexão e a URL real se alguma porta estiver ocupada — o elo desenhado em 2.0.

Conecte o celular

Escaneie o QR code, aceite o certificado autoassinado uma vez e segure o celular na horizontal.

Ative os sensores

Ative Movimento, Áudio ou Visão conforme precisar. A imagem da câmera e o som do microfone nunca saem do celular — só valores numéricos.

Mapeie um controle no Live

Toque em MAP, escolha um controle destacado e ligue-o a um parâmetro do Live ou a uma nota de trigger. As notas precisam do RC-Midi-Receiver.amxd, que vem junto, na track MIDI de destino: o SDK não consegue inserir devices do Max for Live no Live.

Opcional: Deep Sync

Instale o AbletonOSC como Control Surface com UDP 11000 e 11001 livres, e segure SYNC para escolher o clock — veja 2.1.

7.0

Quando não funciona

Solução de problemas

O celular não encontra o computador

Mesmo Wi-Fi. Live liberado no firewall. Escaneie o QR atual de novo.

AbletonOSC não detectado

Instale à parte, como Control Surface do Live.

A visão não inicia

Aceite o certificado, libere a câmera, recarregue.

O áudio fica mudo

Libere o microfone e toque de novo no controle de áudio.

Sem menu Extensions no Live

Confira se o host de Extensions do Live 12.4.5+ Suite está habilitado e reinicie o Live.

Perguntas frequentes

Quais versões do Live?

12.4.5+ Suite (Beta).

Android e iOS?

Safari no iOS 15.4+, ou Chromium no Android.

Dá para mapear pelo celular?

Sim. MAP, escolha um controle e use Bind ou Trigger Note.

E a latência?

Os controles são agrupados a 30 Hz; o áudio tem caminho próprio e limitado. Meça ponta a ponta na sua rede.

Câmera e microfone?

Processados dentro do navegador do celular. Nunca são enviados.

Qual o estágio do projeto?

v1.0.0, testado no Live 12.4.5+ Suite (Beta) com um celular de verdade.

8.0

Documentos de referência

Guia de instalação

Ler INSTALL.md

Manual do usuário

Ler USER-GUIDE.md

Customização e desenvolvimento

Ler CUSTOMIZATION.md

FAQ

Ler FAQ.md

Modelo de ameaças

Ler SECURITY.md

Política de privacidade

Ler PRIVACY.md