SinteMouse óptico

Acá cuento extensamente el proceso.
Pero si te interesa hacer tu propio SinteMouse, aqui hay un instructivo paso a paso que escribí para simplificar.
Está en ingles, pero es la misma info que acá abreviada.
http://www.instructables.com/id/Bend-an-Optical-Mouse-to-hear-surface-textures/
A los editores de la página les gustó el instructivo, lo pusieron destacado en la pagina principal y me dieron "membresia pro" gratis por un año :)
Varios miles de visitas! coool!

 

Demo Sintemouse V2, nuevo sensor mejor sonido.

Demostración del mouse funcionando.

Este circuit bending realiza mi premisa original de "escuchar las texturas de los objetos" que desencadenó el desarrollo de los SoundPaint. Programa para Java, en lenguaje Processing que intenta cumplir la premisa por medios digitales, con las posibilidades y limitaciones de ese medio. (http://ignaciodesalterain.blogspot.com/2011/06/soundpaint.html )
Las texturas "reales" seguían en silencio. Tras un intento fallido de intervenir unos lapices lectores de códigos de barra para tal fin.
En sí mi pregunta original-original fue: "¿podré escuchar los códigos de barra si conecto el sensor del lapiz a un parlante?".
Luego me dije: "¿que tal escuchar cualquier textura de cualquier superficie?"
Y finalmente me contesté: "¿puede ser divertido, aver que pasa?"
- Aveces hablo solo, vos no?
- Si, yo también.

LISTA DE COMPRAS:

1 Mouse óptico que funcione o no, mientras esté en una sola pieza y su LED no esté quemado.

Desarmamos el cable del mouse para sacar cablecitos finos de colores para conectar todo dentro del mouse. O podemos desarmar un cable de impresora viejo o similar para obtener los cables finos de colores.

BC337 o similar (pequeño transistor de 3 patas muy común)

741 (transistor operacional de 8 patas muy común, solo se conectan 5/8 patas)

2 Presets de 500 Kohms
1 Preset de 1 Kohm

2 baterías de 9 V (se necesita una fuente negativa ademas de la positiva, para que el operacional centre la onda respecto de cero Volts)

1 metro de cable de audio, mono y mallado para evitar interferencias.
1 plug de audio, macho o hembra del tipo que resulte conveniente a la salida.

dos portabaterías de 9V, botones dobles como los de la foto.

Alicate, pelacables, Multimetro, Soldador de estaño, Pistola de silicona aka PVC caliente serán necesarios.

Este es el circuito "final". Para quien quiera copiarlo.

El preset "PST3" es el de 1 Kohm.
Se arma en el protoboard en un rato, y otro rato para intervenir el mouse.
Luego instalar el sensor y sacar cables hasta el circuito.
Seguros de que todo funciona, crear la placa donde van los chips, soldarlos a ella.
Luego soldar los cables interiores a cables exteriores de audio y alimentación (+9,-9 y 0 Volts).

Puede ser incomodo usar el mouse con el peso de las dos baterias, se puede usar baterias CR2032 mucho mas chicas y livianas o sacar un cable de alimentación triple junto con el de audio.
Tambien se puede instalar un pequeño parlante al mouse, en vez de sacar la señal por un cable.
De esa manera, con baterias CR2032 y parlante, quedaría desconectado y portatil :)


Proceso de investigación:

El 13 de diciembre 2011, me dió por continuar investigando mi viejo mouse óptico. Lo usé durante años hasta que conseguí uno PS2, lo cambié para liberar el puerto USB de mi pc.




Al qutar la placa vi que tiene un agujero abajo que deja ver la "panza" del chip, con ombligo y todo.
Tras el pequeño orificio hay una microcamara de bajisima resolución y alta velocidad de refresco.

Estuve investigando como funciona.  Y como intervenir esa camara para ver la imagen en un pc, pero es complicado y el Instructable que leí requiere cierto chip especifico.
http://www.instructables.com/id/Mouse-Cam/

De todas formas esto no resuelve mi premisa.

Encontré un "Crazy mouse" que huye cuando uno quiere agarrarlo :)
http://www.instructables.com/id/Crazy-Mouse/

Para gamers, se puede agregar "rapidfire" al clic del mouse con un 555, o 40106.
http://www.instructables.com/id/Add-a-rapid-fire-button-to-your-mouse-using-a-555-/

Pero no encontré nada útil a mi causa...
Así que seguí mi abriendo mi camino, cortando chircas, marcando árboles.


Perforé el chip con mecha del diámetro del sensor.

Volví a poner la tapa bajo el chip.
Pegué el sensor en el agujero del lado de arriba, con la pistola.
Corté las pistas que alimentaban al LED y lo alimenté por fuera con cables y resistencia de 270 Ohms.

Y así hice la primera prueba en la que intenté "leer" el diario "escuchando" el ruido de las noticias. Por ponerlo poético.
No funcionó.


La luz del LED interfiere el sensor por detras, por arriba de la placa.
La solución fue: habiendo fijado el sensor con PVC caliente pinté toda la parte de atrás con pintura negro mate para que entre luz solamente por el agujero bajo el mouse.
Tres manos para evitar cualquier fuga.

Ahora el problema fue el inverso, no logré saturar completamente el sensor con la poca luz que entra por el orificio luego de rebotar en el papel/madera/tela etc...
La señal era apenas audible, la conecté a la base de un transistor para amplificarla (BC337).

A la salida del emisor del transistor se escucha aceptablemente bien...
Se puede ver el 337 con sus tres patitas entre el sensor y la batería de 9V en la foto de abajo.



Cuando logré oir algo empecé a pasar el mouse por todos lados y escuchar.
Adquirí una noción de "como sonaría una textura". Un concepto interesante.
Un poder como los de los X Men o Neo viendo la Matrix, vite?
Le dibujé la cruz que se ve en el lomo del mouse para saber donde está el sensor.

Sound patterns.png

Buscando los limites del sistema generé esta imagen.
Algunos patrones intentan generar forma de onda cuadrada ( -_-_-_-_), otras diente de sierra (/////).
Y sinusoide: la sinusoide oscila redondeada, similar al movimiento del un pendulo sube y baja gradualmente.
Generé los patrones en diferentes escalas para ver que tan agudo o grave puede sonar.
El aparato tiene una resolución muy fina, puedo oir los renglones de una hoja de cuaderno. Que miden menos de medio milímetro de grosor.
No logro escuchar bien las superficies brillantes, como papel satinado o azulejos.
La superficie debe ser lo mas mate y lisa posible.
Las superficies agujereadas como mosquiteros, peines o el protoboard son divertidas de oír, también.

Di por terminado este mouse a pesar de tener el detalle del ruido de fondo.

Es el del video.

Actualización 1 :

Hace unos dias se rompió el pulsador de mi mouse, comenzó a hacer dobles clicks simples.
Le cambié el botón pero siguió igual, no se si le puse un boton roto o que...
En todo caso obtuve otro mouse roto para molestar jojojo Feliz Navidad!

El 31 de diciembre tuve la tarde para dedicarle al mouse. El defecto que le viene quedando es que hay un ruido de fondo importante.
Dias antes se lo mostré a Eduardo Maccio, mi vecino de al lado, exelente técnico de TV y audio. Me dijo: "ah, lo que pasa es que acopla".
Me dejó pensando, tal vez necesito una etapa de preamplificación que centre la señal respecto del -cero+.
El circuito de mi bajo-trombón elástico ( Link ) hace eso.
No tengo osciloscópio, pero mi teoría era que la señal es siempre positiva y pega contra el techo del rango dinámico por desperdiciar la mitad negativa de el mismo.
Hice pasar el sonido del mouse a través del circuito del bajo. Lo intervení como se ve en la foto de abajo.

Descubrí para mi agrado que el ruido ya no está!
Empecé a diseñar una placa de preamplificación que quepa dentro del mouse, copiando el circuito del amp operacional 741 usado en el bajo-trombón.

El problema que esto plantea es que necesito una fuente negativa que me dé -9volts.
Para que la señal pueda tener valores negativos tiene que haber una fuente que provea al amplificador corriente en esa dirección. Por ahora uso dos baterías de 9V, creo que voy a unir dos transformadores de switching (muy estables), usando un cable stereo para llevar la corriente dentro del mouse.
Los dos transformadores pegados quedan bastante compactos, portatiles.
Asi quedan dos cables saliendo del mouse: la alimentación y la salida de la señal.

Encontré circuitos para generar una fuente negativa a partir de una positiva del mismo valor, usando un 555, y otros con chips inversores, etc...
Pero si ya va a haber un cable de alimentación, da lo mismo que lleve 3 lineas (POS, GRN, NEG) que solo dos (POS,GRN) y llenar el mouse de circuitos caceros mas de lo que está.
Asi que descarté la idea de la fuente negativa dentro del mouse.
Igual por ahora lo estoy usando con dos baterías de 9V pegadas al lomo.

A fines de diciembre organizamos reunión de exalumnos del CENI (Centro de Educación Natural e Integral) en casa. Vino Mariana Rebollo, amiga que no veía hace mucho ademas de otros amigos q me dio mucho gusto ver.
Hablando con Mariana se nos ocurrió alguna aplicación del mouse para ciegos. Que les puede resultar interesante escuchar una textura.
Esto me llevó a aplicar el concepto de SoundPaint al mouse.
Es decir, que emita un sonido cuya nota dependa del color del objeto debajo. Rojo-Do-C, Naranja-Re-D, Amarillo-Mi-E y asi... Y que el volumen del sonido nos diga que tan claro u oscuro es.
Es relativamente simple conectando el sensor a un 555, o 40106, chips simples y baratos.
Para vestirse en la mañana es tan fácil como apoyar el aparato sobre la ropa antes de ponersela para saber de que color es. A un ciego le preocupa su imagen :P

Me pareció que puede ser bastante útil mas allá de lo lúdico.
Investigando encontré el Bright-F hace exactamente eso!
http://www.yankodesign.com/2008/05/08/see-color-with-sound/

Pero no parece tener la capacidad de escuchar texturas de la manera que lo hace el Sintemouse.
Estaría bueno un aparato con las dos capacidades: Un modo SoundPaint y un modo SinteMouse, digamos.
Voy a intentar hacerlo modificando un mouse.
Porque ademas no encontré mucha mas info sobre el Bright-F. La página de su diseñador, Lifeng Yu es un link muerto y al googlear su nombre aparecen otras personas asiaticas con ese nombre.
Solo encontré renders 3d, ninguna foto de un aparato real.

Me gustaría contactarlo, el Bright-F es del 2008. Sería interesante saber si llegó a construir el aparato o si está en etapas de investigación... o que.

Yo seguiré investigando aca, a la uruguaya.


Actualización 2 :

Con el concepto de sonido óptico del cine de celuloide en mente hice un programa que traduce archivos de audio (mp3,wav) a una especie de código de barras en el que cada linea muy fina corresponde a un valor en la curva de sonido:
Mas info sobre sonido óptico en cine:
http://en.wikipedia.org/wiki/Sound-on-film

Así se ve el resultado de mi programa, me limitaba el tamaño de pantalla, así que hice bandas que se leen en el sentido que leemos un libro.
Pero esto tuve que editarlo con photoshop pacientemente para tener "un solo renglón largo" en vez de "una página".
Estoy aprendiendo a manejar "arrays" de pixeles del tamaño que quiera, que puedo mostrar en pantalla, guardar como archivo o lo que quiera.
Eso me evitaría esa etapa tediosa de photoshop y así poder convertir todos los archivos de audio que quiera con un solo click :)
Por ahora solo grabé un breve "Hola" con mi voz y lo convertí en la imagen de abajo.

La segunda banda es solo el negativo de la de arriba, como un fotos de rollo. Lo hice para experimentar y no noto diferencia al escucharlas.
Donde fui a imprimir tenían una fotocopiadora digital, que aumenta el contraste.
La imagen con contraste aumentado accidentalmente se escucha mucho mas claro, así que le subí el contraste al archivo.

Whamola elástico.

Es la continuación del proceso iniciado con el Bajo-trombon ópitico que construí el año pasado.
http://ignaciodesalterain.blogspot.com/2010/08/bajo-optico-de-dos-cuerdas.html


El año pasado invité a quedarse a algunos viajeros que conocí a traves de Couchsurfing.org
Uno de ellos, Logan Medina vive en California, USA me mostró el Whamola, un instrumento que aplica el mismo principio de estirar la cuerda con una palanca para variar la tensión y así la nota.

Tiene una sola cuerda, un alambre de acero o cuerda de bajo o piano. Se toca frotando y pegandole a cuerda con un palo de bateria.
Ese es Les Claypool, un músico estadounidense que toca de maneras bastante creativas.
Aca se puede ver, y oir los extraños sonidos que le salen.
http://www.youtube.com/watch?v=1z79flS6l7Q

La idea de este proyecto es construir un whamola de elasticos de goma en vez de un alambre de acero que no es casi elástico.
Necesito poder variar el largo del elastico bastante para variar la tensión, asi que el radio del circulo debe ser mas grande que para el alambre.

Primero idealicé en 3d Studio Max:
Empecé a construir el prototipo.
Usando maderas que habia en el galpon del fondo, tornillos encontrados y comprados.
Un circulo de 30 cms de diametro que mande cortara una carpinteria en MDF de 18 mm.
Tenía un microfono/parlante piezoelectrico reservado para algun proyecto y este amerita.
Se escucha muy bien, para ser una prueba, un proyecto de una semana.



Cuando estuvo apenas funcional, al probarlo descubrí que quedó muy largo, como 1,80m.
Le corté 40-50cms de brazo.


Al acortarlo y poner el puente en el extremo el elástico quedaba muy largo y no se estiraba lo suficiente.
Solucioné esto poniendo el puente a la mitad del brazo.

Instalé el micrófono piezoeléctrico con un shack hembra para poder conectarle amplificación y listo.



El puente va gastando el elástico al ir y venir, estirando y aflojando.
Lijé la superficie con lija 220, pero igual se gasta y es peligroso si se revienta :o/
Ya me chicoteó el meñique al zafarse una vez... duele bastante. Comparable a patear la pata de la cama en la oscuridad.
Mejor ni pensar en otras partes del cuerpo.
Hay que revisar el estado del elástico regularmente para evitar accidentes.
Y como regla general tener la cara lo mas lejos posible, sobretodo en etapas tan experimentales. Es un sistema que acumula mucha energía...
Cuando encuentre una polea adecuada la instalo en lugar del puente de hierro.

El piezoelectrico tampoco funciona bien.

Actualización:

19/10/11

En vez del puente que tienen los Whamola originales até el elástico a un soporte, directamente.
De esta manera no roza contra nada y el elástico dura mucho mas.
Solución mas simple y práctica que la polea.

El microfono piezoelectrico no funcionó como esperaba.
Amplifica los golpes y roces sobre la madera del instrumento, pero no la vibración de las cuerdas.
Es una frecuencia demasiado baja, demasiado grave y no responde.
Instalé microfono óptico similar al del "Bajo-trombón" que diseñé antes.
Este micrófono está a los lados, en vez de el puente que tenía el otro instrumento.
De esta manera senso el movimiento en el eje que me interesa más.

El elástico mas fino y blanco que está atado entre el nudo y el agujero está para amortiguar y distribuir la presión sobre el cuello del nudo.

Limar y redondear el filo de la arista del agujero en el aluminio no fue suficiente precaución.
Al estrujarse el nudo contra el agujero se lastimó el caucho y se cortó en un peligroso latigazo que por suerte no me encontró en su camino, je.

De cada accidente se aprende :o)
Veremos que tanto dura esta vez...

Esa es la mejor foto que pude sacar.

Busqué que el agujero quedara al borde de la sombra del elástico, asi el minimo movimiento ya perturba al sensor.
Si pusiera el agujero en el medio no sonaría nada hasta que toda la cuerda salga del camino de la luz para un lado o el otro.
Tapé el fototransistor por atras con doble papel aluminio, habiendo aislado los cables. Solo quiero que le entre luz por el agujero de adelante.
El led es de una luz de bicicleta rota y el fototransistor es uno común, de Eneka. Encapsulado igual a led de 5mm.
Con una batería de 9V logré diferencias de 0,5 V a la sombra y 8,6V a la luz. Buen rango dinámico.


Arriba, cosas que intenté y no resultaron prácticas.
Los rodamientos de la polea amortiguan la vibración del elástico y suena poco.
El microfono de contácto suena mejor pegado a la pieza de aluminio que tiene el elástico. No a la madera del brazo.
Poner preamplificación en el instrumento mismo no tiene mucho sentido.
Simplemente uní los cables que llevan las señales de los dos microfonos al positivo de la salida de audio.
Y todos los negativos al negativo de la salida de audio.


Asi me lo llevé a IENBA, los lentes son por la pelusa de los platanos.


Es casi imposible afinar este instrumento extraño. Cualquier marco de referencia se va a correr.
La solución simple que encontré es tocar con un afinador continuamente encendido.
De todas formas, lo interesante parece ser variar continuamente la tensión. Yendo y volviendo de graves a agudos con el ritmo, o a contraritmo.
Aunque es posible tocar una melodía o sostener un tono, ayudado por el afinador, no me parece que sea la finalidad de la experiencia con este aparato.
Es algo similar a los Sintemouses. Mas gestual, rítmico y energético, que melódico.

Aca la primera demostración del aparato funcionando.

SoundPaint

SoundPaint 14
http://openprocessing.org/visuals/?visualID=30729
Una versión básica.

SoundPaint 29
http://openprocessing.org/visuals/?visualID=31621
La última versión, sin capacidades de MIDI o carga de imagenes jpg, por ser un Applet

Intro:

Este proyecto continúa el proceso de este programa muy simple que empecé en el 2008.
Se puede usar en web, no es necesario instalarlo.

Color to Sound:
http://openprocessing.org/visuals/?visualID=3733

Ahora usando la misma idea de escuchar los colores bajo el puntero del mouse agregué un "Modo Paint".
Ahora se puede alternar entre pintar y escuchar lo pintado, corregir la imagen, escucharla nuevamente.

El efecto que he notado al usar el programa es que, ademas de coordinarse un poco los sentidos de vista y oido, se funden el espacio y el tiempo.
Al pintar una secuencia rítmica de lineas y luego escucharlas se tiene una noción especial referente al tiempo. Similar a cuando se lee una partitura (Cosa que yo nunca logré) pero usando otra intuición (la de relaciones entre colores) en vez de la relación de altura en el pentagrama de un circulo negro o blanco tradicional.

Sinestesia:

La sinestesia es un fenomeno en el que la confusión entre colores y notas musicales sucede naturalmente en personas con cierta conección entre sus 5 sentidos mas evidente que en la gente "normal".

Investigué este fenomeno.

http://es.wikipedia.org/wiki/Sinestesia

El articulo en español es muy completo y diferente al que está en ingles.

En la Wiki encontré estos dos criterios que relacionan colores y notas:

Estamos de acuerdo en que el Do es rojo...
El resto varía. En todo caso el rango de frecuencias asociadas al circulo cromatico es configurable mediante barra de scroll.

Proceso:

Encontré varios códigos de Paint en Processing.
Elegí el que me pareció que tenia el código mas simple y a la vez implementa botones para seleccionar colores y dos funciones extra: Guardar la imagen como archivo y salir del programa.

Simple Paint de Ferhat Sen!

http://openprocessing.org/visuals/?visualID=13510

Aca se puede probar.

Uní mi "Color to Sound" al Simple Paint que encontré en Openprocessing.
De manera que una variable "Modo" elige entre los dos formas de funcionamiento al principio de cada "Draw" (el código bajo "Draw" se ejecuta 60 veces por segundo).
Cambié el modo de color: de "RGB" por defecto, a "HSB", de esta manera tengo mejor control de los parametros sin usar funciones externas.

Reubiqué los botones y paleta de colores.
Agrandé la paleta de 4 a 14 colores, para tener una octava y sus semitonos. Etiqueté cada color con la nota correspondiente.
Asocié la amplitud del sonido al valor de saturación del color. Mas que nada para mantener silencio al escanear la hoja blanca y solo se escuche sonido al pasar sobre los trazos de color.

Así se ve la interfaz de la versión 7.

Convertí el boton de "salir" a la funcion de "BLANK" que deja la hoja en blanco de nuevo.

Convertí el boton de "guardar imagen" a la función guardar imagen y comenzar a leer el color bajo el mouse al hacer click y hacer sonar la nota acorde.
Cualquier tecla presionada nos devuelve al modo "Paint" nuevamente.

Sigo sin llegar a una relación entre colores y notas que resulte natural. Lo que hare en futuras versiones sera hacer eso configurable.
Si bien hay pares de colores que funcionan mejor juntos que otros, igual que hay pares de notas mas armónicos que otros. El problema esta en que los colores se organizan naturalmente en el circulo cromático, mientras que las notas funcionan mas bien como una escalera caracol: si bien se cumple un circulo de notas siempre se está subiendo y bajando de tono. Al organizar las 7 notas en un circulo siempre queda un salto entre la última y la primera nota de la escala.

Versión 8.

Agregué una barra para seleccionar el rango de Hz que representa el circulo de colores.

Agregué boton "Eraser", goma de borrar.
Agregué slider para seleccionar rango de frecuencias asociadas al circulo cromático.

Es de la librería controlP5, que tiene sliders, perillas, botones, etc...

http://www.sojamo.de/libraries/controlP5/

El rango de sonido por defecto pasó a ser una octava en vez de dos y la paleta de colores es esa octava y sus semitonos. Antes eran dos octavas, y la paleta eran solo las notas de esas dos octavas.

Me pareció que funcionaba mejor asi, intuitivamente. Si el circulo cromatico da una vuelta, esta bien que el circulo cromatico/sonoro tambien dé una sola vuelta/octava.
Habia configurado dos octavas porque hay melodías que requieren mas de una octava, pero es mas natural así.

Los intervalos entre pixeles del slider son de demasiados Hz si se quiere poder seleccionar de entre 0 Hz a 10 KHz.
Estaría bueno aplicar alguna función que dé mas sensibilidad cuanto mas cerca del cero.

Estoy tratando de lograr escuchar los colores sin necesidad de crear el archivo "myPicture.png", en vez, leyendo los pixeles del array de la pantalla directamente.
Para poder ejecutarlo como applet en una pagina web.

Hay una diferencia entre la frecuencia en Hz de los colores-notas de maximo 2 Hz con la nota real. Pasa que el "hue" es un valor entero (de O a 255) y al convertira Hz se pierden las fracciones.
Trataré de solucionar este tema tambien, el rango de la variable hue es modificable en colorMode().

Versión 9.

Modifiqué boton "Listen"

Creé mensaje "Strike key to paint again" en modo audio.

Versión 12

Me pasé probando sliders encontrando uno que me diera exactitud de al menos 1/10.000, para poder seleccionar una frecuencia de Hz exacta.
Me decidí por ese par... si bien son un poco lentos, son exactos. Uno no va a modificar muy seguido esto y quiere exactitud.

Los puse al lado de los colores para sugerir correlación entre el "alto" del color y de la nota.
He visto varias formas de traducir sonido a imagen que usan el criterio arriba-agudo, abajo-grave.
Asi que di vuelta el orden de los colores y puse el boton "Eraser" a un lado.

Versión 15

Me decidí por un selector de "tics" que configure el rango por octavas, el otro modo de configurar rango de frecuencias no era práctico.

A partir de la version 13 pude leer el color de los pixels de la pantalla directamente, sin necesidad de guardar un archivo de imagen en el disco duro y leer los pixeles desde ahi.
El programa hacia eso porque el codigo que "robe" sin entender lo hacia de esa manera.
Finalmente entendi como funciona todo :)

Y de esa manera pude subir un applet que funcione para ver online:
http://openprocessing.org/visuals/?visualID=30729
Es el mismo que está al principio de la entrada.

Para la versión 15 se puede cargar cualquier imagen mediante el tipico dialogo de seleccion de archivo que usan todos los programas.
Es divertido escuchar fotos!

Versión 21.

Agregué slide para el tamaño del pincel.
Nuevo slide para seleccionar cualquier color no incluido en la paleta.
Capacidad para Midi, o el sintetizador que siempre use.
Capacidad de invertir la relación entre colores y sonidos.
Modo blanco, negro y grises.

Versión 29.

Ubiqué la paleta de colores arriba y le dibuje un sutil diseño de teclas de piano.
Para dar "affordance" de piano y ayudar a la intuición del usuario. Idea de Lu de Sal que funcionó muy bien :)

Sistituí todos los sliders de la librería ControlP5 por sliders caseros mas adaptados a cada función. Cuestion evidente en el slider de Hue, que ahora es mas un "colorpicker" casero.
Al no usar ControlP5 me ahorro 100kb que ocupa la librería.
Bajé de 600 a 500kbs que pesa el programa ahora.

Organicé el código en "void funciones()", ahora cada rutina está en una pestaña diferente y el programa prinicipal solo tiene llamados a esas funciones, pero no el cuerpo de codigo de cada una.
Orden y progreso!

Creé modo "Automatico" de escuchar.
Un bicho va caminando por la pantalla y cantando según el color por el que pasa.
Una flecha inquieta, mas bien.
Aprendí a hacerlos en el curso de formas de vida artificial aplicadas al arte a cargo del Ing. Emiliano Causa.

Me gustaría probar el programa con "eyetracking" para estar un paso mas cerca de "escuchar con los ojos" de la manera que este programa propone.

Por ahora esto es lo que hay para jugar:

Color to Sound:
http://openprocessing.org/visuals/?visualID=3733

Solo demuestra el concepto.

SoundPaint 14
http://openprocessing.org/visuals/?visualID=30729
Una versión básica.

SoundPaint 29
http://openprocessing.org/visuals/?visualID=31621
La última versión, sin capacidades de MIDI o carga de imagenes jpg, por ser un applet web.

Programas similares:

Al principio de este proyecto, 2008, empece por investigar y encontré 9 programas que convertian imagen a sonido de diferentes formas, algunas interactivas.

Audio Paint
El Audio Paint 1.0, publicado en el 2002
Ahora, 2011, va la 2.2

http://www.nicolasfournel.com/audiopaint.htm

Permte escuchar el dibujo.
Al tocar un boton escanea la imagen de derecha a izquierda y genera sonido agudo si hay trazos en la parte alta de la imagen y graves para lo que uno dibujó abajo.

Pero como no encontré ninguno que lo hiciera como mi SoundPaint empece de cero, imaginando.

Singing Fingers

De julio del 2010, Singing Fingers 1.0

http://singingfingers.com/
Con el eslogan: "Finger Paint with Your Voice"

Publicada por Beginner's Mind, casi un año despues de que yo subí mi sketch "Color to Sound" a Openprocessing.
Les escribi mail para intercambiar experiencias.
Eric me contó como hizo para controlar el color del trazo analizando la nota musical predominante del microfono.

Aplica el mismo concepto de convertir color a notas musicales y viceversa.
Analizando la entrada de microfono y con la posibilidad de tocar la pantalla directamente.
Me encanta el giro que le dieron al concepto!
Con las posibilidades que brinda la IPad de Mac :)
La interactividad del Singing Fingers esta muy buena!

Beginner's Mind es un laboratorio de soft dependiente del Massachusetts Institute of Technology.

Igual mi enfoque viene siendo mas científico que lúdico, con Hertz y notas musicáles.
Y menos comercial, menos Ipod, Ipad, Ibook.
Mas Openpod, Openpad, Openbook, código abierto para desarrolladores y aplicación gratis para usuarios.
Arriba el software/hardware abierto!

Twinkle
Investigando mas encontre a Jay Silver, uno de los creadores del Singing Fingers.

Otro loco suelto que le gusta jugar con 555, computadoras y sensores.
Creó el Twinkle.
Basicamente una camara web con luz incorporada que al pasarla cerca de superficies de colores hace que el pc emita sonidos de diferentes notas segun el color de la superficie.

Algo similar a mi proyecto inicial que devino en el Sound Paint este que hice.
Cerrando la idea inicial que tuve respecto a los lapices lectores de códigos de barras.
Mi concepto es levemente diferente:
Mi lapiz lector de codigos de barras modificado convertiría a sonido las variaciones rugosas de la textura de un material sobre el que se pase el lapiz. El tono del sonido dependería de la velocidad con la que se pase el lapiz, y el timbre depende de la textura en si del material.
Con mi sistema, pasar el "lápiz mágico" por un plano rojo no produciría sonido, ya que no habrían variaciones por textura en un color liso.
Mi lapiz produciría sonido sobre una hoja blanca rallada de negro, donde el Twinkle no tiene colores que detectar y calla.

El Twinkle de Silver ve el color predominante del plano, no texturas.

Aca está en acción.
http://vimeo.com/10697723

Encontré esta página que documenta la relación entre colores y música a lo largo de la historia.
http://home.vicnet.net.au/~colmusic/
Sigo investigando una "correcta" relación entre colores y notas. O que aspectos de esa relación es mas interesante hacer configurables.

Bicis-proyector falso de cine

Intro:
Mi amigo desde el liceo, Anibal Capoano, esta haciendo un corto.
Un documental con partes de ficción facilmente identificables.
Muestra la vida de dos clasificadores de basura y sus familias, pero tiene una historia en la que estos dos amigos se vuelven los "Quijote y Sancho" uruguayos. No tengo del todo claro el guion por ahora que esta filmandose.
Lo que tengo claro es que al final los hijos de estas dos familias construyen dos bicis con partes de chatarra que sus padres llevaron trabajando.
Bicicletas muy especiales: al ensamblarse una arriba de la otra se convierten en un proyector de cine movido por los pedales de la bici que queda arriba, a mano.
Al pedalear la cinta de celuloide pasa travez del proyector y del rollo lleno, al vacío.
La lampara es energizada por un dinamo.

No debe funcionar realmente, sería muy complejo imitar o adaptar el sistema mecánico del proyector y hacer que se sincronice con el pedaleo.
La idea es sustituir el sistema mecánico que tendría realmente dentro, por un proyector laser real dentro de la caja de madera para simular que funciona.

Proceso:
Fuimos a una bicicletería que tenía todo tipo de chatarra ciclistica y les pagamos para que armaran las bicis mas disparatadas y contrastantes entre si. Siguiendo nuestras indicaciones con las partes que elegimos crearon lo que se ve en la foto.

Primero sacamos fotos con las bicis ensambladas en diferentes posiciones, alternando adelante y atras, derecho y reves, etc ... y finalmente nos quedamos con esta configuración.
Esquematicé el diseño dibujando sobre la foto.

Mi padre, Patricio de Salterain, me viene dando salada mano, sobretodo con el tema de soldar con electrica y enseñandome mucho en el proceso.

En mitad de la transformación.
Las dos bicis ya están unidas por tres tornillos, dos que atraviesan los dos manillares y uno largo que atraviesa los dos asientos.
La rueda que tracciona la película está en su lugar, hubo que crear esa horquilla con planchuela de hierro, soldando al cuadro original.

Fijamos la rueda a su eje, para que el eje gire con ella y haga girar a su vez el rollo de pelicula que calzamos en la punta del eje.
Complicado de explicar... todo queda claro al ver funcionar el aparato terminado.

Anibal consiguió un rollo de pelicula y dos carreteles de proyector.


La película marcada de rojo pasa de un rollo al otro al pedalear, se mete a través de la lata de duraznos que tiene encajada la lámpara a dínamo, conjunto marcado con verde.

Detalles del dínamo, el pié triangular que mantiene el conjunto parado.
Abajo la tercera rueda y el proyector de lata y lámpara a dínamo.

Terminada!
El sabado 11/06/11 se filmarían las escenas del corto con las bicis.

Me gusta la mecánica sincera de las bicicletas.
Todo esta a la vista, el pedaleo humano, la transmision, los cambios, frenos.
Todo el funcionamiento es bicible :P
Los autos o motos parecen impulsadas mágicamente mientras hacen ruido ¬¬
La bici es silenciosa y sincera :)
Ese concepto influye en la apariencia de este conjunto, el unico misterio esta dentro de la lata de duraznos con la lampara dentro. Lo único que no funciona realmente.
No se si me explico.

Dorkbot Ecléctico!

http://dorkbotmvd.blogspot.com/2011/06/dorkbotmvd-domingo-5-de-junio-2011.html
Link del evento.

http://blogs.montevideo.com.uy/blognoticia_47441_1.html

Video entrevista a Brian con imagenes de mi charla al final.

https://picasaweb.google.com/dorkbotmvd/20110605DorkbotEclectico?feat=directlink#
Fotos del evento.

Brian Mackern me invitó a participar mostrando algun proyecto.
Mostré y comenté el SinteMouse 4, el Bajo Óptico y el Programa color a sonido (sin bautizar aún).
Salió todo bastante bien, exepto que el Bajo funcionaba solo con una cuerda, pero sirvió para la demostración.
La gente se rió mucho... no se si conmigo o de mi jaja
Primero Manrico hablo de sus paisajes sonoros del altiplano, despues fui yo y cerró el Palmera con su hexapodo SAMSA II.

Gracias a los nerds que fueron a vernos, los amigos haciendo el aguante y al Subte por dar lugar!