Escenografia Augmentada

Ens Mudem!

escenografiainteractiva — Mon, 16 Nov 2009 12:24:52 +0000

Hem migrat a la web de labfàbrica.
A Partir d’ara els materials dels tallers els trobareu a:
http://www.labfabrica.net/index.php/tallers/escenografia-interactiva-09.html

LabCelrà. 05/10/2009 – 18/10/2009

escenografiainteractiva — Tue, 15 Sep 2009 22:33:18 +0000

El Laboratori d’Escenografia Augmentada proposa, mitjançant l’assaig pràctic, la confecció d’escenografies teatrals hibridant les noves disciplines audiovisuals amb el disseny escenogràfic clàssic. El taller està orientat a videocreadors, músics, escenògrafs, enginyers, il·luminadors o tècnics de l’espectacle que tinguin ganes de passar uns dies aportant la seva creativitat i experiència. Fent us de tecnologies d’àudio, vídeo, disseny gràfic, il·luminació, sensors, robòtica i interactivitat, sumades al disseny d’escenaris i l’enginy dels participants, es pretén realitzar una sèrie de sessions pràctiques en les quals explorar les possibilitats que ofereixen la mixtura d’aquestes disciplines a través del disseny d’escenes o sketches de petit format.

El laboratori es divideix en tres parts:
Una de treball en l’aula del laboratori multimèdia de La Fàbrica de Celrà, d’una setmana de durada, on a partir del diàleg i el brainstorming entre els participants es generaran les idees escèniques i la posterior materialització conceptual, gràfica, sonora i visual.
L’altra, també d’una setmana de duració, en la que es porten a la pràctica les idees i materials treballats a l’aula, i que gràcies a la col·laboració de la sala de teatre de Celrà es podran realitzar en un escenari real equipat amb sistemes d’àudio, vídeo i il·luminació.
Finalment, es farà una presentació pública dels resultats durant el festival VAD, permetent als participants la rebuda de feedback per part del públic assistent.

Continguts

escenografiainteractiva — Tue, 15 Sep 2009 22:32:39 +0000

Il·luminació:

DMX: Control computeritzat de la llum —-> Seqüenciació d’ombres / Transicions no lineals / Interactivitat

Disseny Objectual:

Mecànica i Electrònica: Arduino —> Comportaments interactius d’objectes escenogràfics (sensors + actuadors)

Imatge:

Imatge generativa / Imatge real

Mapejats de video i anàlisi de perspectives

Escenografies virtuals

So:

Àudio interactiu: Control d’events audiovisuals a partir de la veu

Anàlisi d’amplitud / anàlisi de pitch / FFT

Espacialització sonora

Sincronització Audio+Video+Llum+Electrònica

Tècniques digitals d’interactivitat:

Visió Artificial —> reconeixement de blobs / tracking de color / detecció de moviment

Entorns de programació

Resultats

escenografiainteractiva — Sat, 24 Jan 2009 23:30:59 +0000

Uns quants videos i fotos de les practiques realitzades als tallers:

http://lamalla.minisites.xtvl.tv/videos/fitxa/983

REFERENTS

escenografiainteractiva — Wed, 17 Dec 2008 20:14:11 +0000

Hiroaki Umeda: Solo

Golan Levin & Zach Lieberman: Messa Di Voce

Klaus Obermaier: Apparitiion

David c. Roy. Kinetic Sculptures

Olafur Eliasson: Light Studies

Robert Lepage: Eonnagata

Philippe Decouflé: Abracadabra

EasyWeb: VideoMapping

Chinese Shadow Theatre

Phillipe Genty: Lands end

Chris Surgrue: Delicate Boundaries

Parasite Vj’ing

Shadow Monsters

Playmodes

Colors Show

http://www.playmodes.com

Meme

Animata: Reverse Shadow Theatre

Body Navigation

http://vimeo.com/1362832?pg=embed&sec=1362832

ITango

Toni Mira: Límit

Julian Beever: Anamorfismes

DOCUMENTACIÓ

escenografiainteractiva — Wed, 17 Dec 2008 20:13:22 +0000

documents útils:

INTERACCION_Y_SINCRONIA.pdf

abuelites manual

Exemples del curs:

exemples.zip

Software:

flosc

abuelites

SOFTWARE AV RealTime

escenografiainteractiva — Wed, 17 Dec 2008 20:12:27 +0000

VIDEO

RESOLUME: http://www.resolume.com/

VJAMM: http://www.vjamm.com/

MODUL8: http://www.garagecube.com/modul8/

VDMX: http://www.vidvox.net/

QEVE: http://www.estereotips.net/qeve/

ANIMACIÓ

ANIMATA: http://animata.kibu.hu/

ÀUDIO

REAKTOR: http://www.native-instruments.com/index.php?id=reaktor5&L=1

PLOGUE BIDULE: http://www.plogue.com/index.php?option=content&task=view&id=21&Itemid=35

LLUMS

ABUELITES: http://www.shmithz.com/abuelites.htm

ENTORNS DE PROGRAMACIÓ i PROTOCOLS DE COMUNICACIÓ

escenografiainteractiva — Wed, 17 Dec 2008 20:11:25 +0000

Entorns:

pure data: http://puredata.info/

eyesweb: http://musart.dist.unige.it/EywMain.html

max/msp: http://www.cycling74.com/

processing: http://www.processing.org/

openframeworks: http://www.openframeworks.cc/

vvvv: http://vvvv.org/tiki-index.php

arduino: http://www.arduino.cc/es/

Protocols:

OSC: http://opensoundcontrol.org/introduction-osc

MIDI: http://es.wikipedia.org/wiki/MIDI

Aplicacions de comunicació:

FLOSC: http://www.benchun.net/flosc/

OSCulator: http://www.osculator.net/wiki/UsersManual/Wiimote

MidiYoke: http://www.midiox.com/index.htm?http://www.midiox.com/myoke.htm

TÈCNIQUES I MATERIALS

escenografiainteractiva — Wed, 17 Dec 2008 19:40:20 +0000

Filtrat de llum visible:

Filtrat de la llum visible mitjançant gelatines RGB. També funcionen molt bé els negatius fotogràfics que s’han velat, o les lamines internes dels antic disketts de 3 i 1/2.

És útil per a fer trackings en els quals necessitem a l’actor davant d’una videprojecció, per tal d’eliminar feedbacks.

Més informació: http://club.vaio.sony.co.uk/clubvaio/gb/en/vgeneration/hero.html?hero=1&entry=17

Val a dir que les càmeres més adients per a fer aquest tipus de trqacking són càmeres en blanc i negre, que per regla general capten mes rang de llum IR.

Per tal de generar llum infravermella en aquest exemple estem fent servir gelatines al davant d’un focus de llum incandescent, pero tambe existeixen focus específics de llum infravermella, fabricats amb LEDS IR, que segurament són molt més efectius; i també existeixen filtres professionals que bloquejen la llum visible… tot depen del pressupost i de les necessitats, pero solucions hi ha per a tots els gustos….

Webcam IR hacks:

Moltes videocàmeres porten un filtre de llum infravermella que no deixa passar aquest tipus de llum. Si volem grabar IR amb aquestes càmeres, hauriem d’obrir-les i treure-hi el filtre…

Hi ha hacks molt senzills i molt efectius de webcams, com aquests que adjunto. Jo mateix ho he fet i va de conya:

making_a_night_vision_webcam.pdf

tots els models de webcam són més o menys iguals, així que es tracta d’obrirles, treure el filtre, afegir negatiu fotogràfic i remuntar-ho tot…

Polarització de la llum:

Òptica::Lents

Mitjançant l’us de lents podem manipular la refracció dels feixos de llum del projector i aconseguir superficies de projecció més grans, o més petites. El comportament de les lents és igual que el dels miralls.

Control d’il·luminació DMX

Enttec DMX USB PRO. Interface DMX per USB. Permet el control de sistemes d’il·luminació mitjançant l’ordinador. Haurem de conseguir un software-taula de llums virtual, preferiblement controlable a través de protocols com midi o OSC. També existeixen objectes per a MAX/MSP i PD que permeten el control dmx a través d’aquest interface. Ho investigarem.

Tracking de color:

Control elèctric

http://www.doepfer.de/home_e.htm

Anàlisi d’àudio i FFT

http://www.mp3towav.org/TS-AudioToMIDI/

http://es.wikipedia.org/wiki/Transformada_r%C3%A1pida_de_Fourier

Visió artificial::Tracking de Blobs

Hi ha molts procediments de visió per computadora: tracking de color, reconeixement de patrons, detecció de moviment… d’entre tots ells, pero, potser el més simple es la detecció de blobs, que s’encarrega de detectar les zones més brillants dins una imatge, i extreuren alguns features (propietats: baricentre, area…)

Tot i que aquestes tècniques tenen el seu orige a la industria militar, s’han exportat a processos de muntatge industrial i han arribat a les tecnologies domèstiques de ma de programes com isadora, max, puredata, processing openframeworks o eyesweb. Molts d’aquests softwares es basen en les potents llibreries IntelOpenCV, que implementen algoritmes de visió artificial. En aquesta imatge podeu veure el procediment clàssic d’extracció de blobs:

1: Imatge capturada per la càmera a temps real

2: Imatge convertida a escala de griso

3: Imatge del fons, que es resta de la imatge actual (background substraction)

4: Silueta resultant de la substracció de fons i la binarització de la imatge (conversió a blanc i negre)

5: Detecció del blob: baricentre + bounding rectangle

i aquest es un exemple de patch realitzat amb eyesweb per a detecció de blobs:

Grafics generatius

Mapping de video

Video sobre fum, mmmm.

Sincronització d’àudio amb fum per DMX.

Recordo algunes probes a casa amb el Miki i el Gabri, projectant video a dintre una peixera plena de fum, i s’aconseguia un efecte hologràfic molt guapo… en un espai gran ple de fum, i amb un tracking zenital que fa generar linies que dibuixen al terra la trajectoria dels blobs trackejats, es podria arribar a generar una espècie de laberint cònic fet de parets de llum… o amb el exemple dels percusionistes que generen ones al terra….

EXEMPLES

escenografiainteractiva — Wed, 17 Dec 2008 19:20:26 +0000

Uns quants exemples que poden ajudar a aclarar quin tipus de coses molaria que féssim durant el laboratori. A veure si us animeu i se us acudeixen cosetes que podem probar…

1. Sombra Augmentada

La idea es fer servir el videoprojector com a focus d’il·luminació, projectant llum blanca. L’actor en escena projectara una sombra sobre la pantalla. Podem afegir noves sombres si amb el nostre software de video afegim una imatge negra a la llum blanca que ja estavem projectant, i ubiquem aquesta imatge a un lloc coherent amb la sombra que projecta l’actor.

2. Raigs X

La idea es alternar entre dos imatges distintes. Una es un cercle de llum blanca, i l’altra es una imatge d’un esquelet adaptat al tamany de l’actor. Molaria controlar la velocitat d’aquesta alternancia, i arribar a fer un strobo, sincronitzat amb soroll.

3. Submarí

La idea es posar en relació audio, video i llum en un mateix disseny escenogràfic. Aquest exemple en concret proposa sincronitzar la llum amb el audio: un so d’aigua (en estereo) fa vibrar les llums verda i blava a dreta i esquerra; apareix el so d’un sonar, que engega una petita llum taronja. Femservir el video per a projectar una finestra que mostra un fons submarí.

4. Escenari expandit

Si capturem les línies de fuga de l’escenari i dissenyem un escenari virtual que reprengui aquesta perspectiva, al projectarlo a pantalla tindrem la sensació que l’escenari és més gran del que aparenta.

5. Conversa a 3

Dos actors en escena. Quan un dels dos parla, s’engega una llum que l’ilumina. Si cap dels dos parla, un actor virtual és el que parla. Haurem de fer servir algun sistema d’anàlisi d’àudio que llenci llums i video segons aquesta lògica. Pd seria perfecte per a fer això.

6. BLABLABLA

L’actor a escena parla, i quan ho fa li surten lletres de la boca.

Anàlisi d’àudio + blob tracking + generació gràfica de sistemes de partícules.

7. PERCUSSIONS

Anàlisi d’àudio + generació grafica i projecció zenital. Quan es toquen les percussions, una animació apareix al voltant dels imtèrprets.

8. Sequència d’ombres

Focus de llum colocats al voltant dels actors, i llums sequenciades, per tal de crear ombres animades.

9. Retall que fuig

Il·luminació DMX + Visió artificial.

La llum de retall sempre es mou lluny del actor.

També hi ha la versió invertida, amb una ombra que fuig de la persona (videoprojecció zenital)

10.Canica

L’actor parla, i omple una bombolla virtual amb so. Quan esta plena, la bombolla cau per la força de la gravetat i al rebotar al terra torna a reproduir el so que s’hi ha grabat a dintre.

11. Saxo

Quan el saxofonista toca, surten notes del saxo.

Escolta artificial + generació de gràfics.

12. Forat

Anamorfisme: correcció de perspectiva.

Donem la sensació que el terra és un forat, i que l’actor flota o cau en aquest espai

13. Il·luminació selectiva

Tracking de blobs. Fem servir aquests blobs com a màscares, i hi projectem distints colors.

14. Scrolls

Segons la posició a l’escenari, l’actor controla el moviment del paisatge al seu darrera.

Jocs Zenitals

Uns quants exemples basats en la videoprojecció i el tracking zenital, cadascun amb el seu corresponent applet flash.

escena_capes.ai —-> plantilla vectorial per a dissenyar exemples