BIOFEEDBACK - JAM brinda una experiencia que genera una interacción audiovisual única y secuencial.
El objetivo de esta experiencia es reflexionar sobre dos temas contemporáneos:
Nuestra relación con la Inteligencia Artificial, así como sus algoritmos y producción de subjetividad (individual) en diálogo con otras subjetividades.
Esto se logra a través del procesamiento de datos de ondas cerebrales.
Este dispositivo artístico integra las Artes Visuales y Sonoras con las Neurociencias y la Inteligencia Artificial. De su interacción surge una nueva entidad - Arte & Neurociencias & Tecnología, cuyas propiedades emergentes complementan cada una de las disciplinas e impactan a la sociedad.Esta exhibición exhibición fue presentada en el EAC (Espacio de Arte Contemporáneo) durante 6 meses.
En la noche de los investigadores 2 años consecutivos en Netlabs y en el IIBCE (Instituto de Investigaciones Biológicas Clemente Estable) Será presentada en WDLA (Women Leaders in Data and AI) Summit en NY.
La experiencia es adaptada al espacio con el que contamos y el público objetivo. En una de las ediciones integramos el livecoding para complementar generando no solamente una experiencia individual sino que también para el entorno.
Para estas interacciones, utilizamos un enfoque de "neurociencia de circuito cerrado":
En este enfoque, se muestra un patrón espacio-temporal de estimulación audiovisual mientras se registra la actividad bioeléctrica cerebral (EEG). El EEG registrado es una entrada para un algoritmo de aprendizaje automático que utiliza redes adversarias generativas para generar la siguiente estimulación. Con este método se produce un ciclo de estimulación-registro.
A partir de esto, se genera un bucle de estimulación-registro-retroalimentación audiovisual entre los participantes, quienes en diálogo generan una narrativa. Este es un producto artístico dinámico en sí mismo, resultado del intercambio -JAM- de los registros cerebrales de varias personas.
Este proyecto cuenta con el apoyo de DAOfy, Rootstrap, Fibras, IIBCE, Impulso Al Arte Digital y The Grass Foundation.
Las ondas cerebrales capturadas por la vincha (Muse S) son transformadas en tiempo real en ondas de sonido y en un vector de números que es entrada a una red generativa (GANs) para generar imágenes. Dichas imágenes son el nuevo estímulo que el usuario recibe y que tendrá efecto en el siguiente estímulo a generar.
La instalación se realiza en un cómodo sofá utilizando 3 monitores y 1 tablet. Cuando te sientas en el sofá, te pones una vincha y después de 10 segundos se generarán sonido e imágenes. Durante este proceso suceden varias cosas:
1. Las ondas EEG se capturan a través de la aplicación Mind Monitor conectada a la tableta, mostrando las diferentes ondas en diferentes colores.
2. Las ondas EEG se transforman en ondas de sonido y las diferentes transformaciones que se aplican se muestran en un monitor.
3. Una señal de EEG también se transforma en un vector, que es la entrada para una red generativa GAN (Generative Adversarial Network) para generar imágenes que se mostrarán en otro monitor.
4. El tercer monitor se utiliza para mostrar imágenes que cambian en tiempo real según los valores de las ondas EEG capturadas.
Durante la experiencia Se va generando un identificador para cada persona, que se muestra en pantalla. Con este identificador la persona podrá obtener un NFT para recordar la experiencia.
En la tablet podrás ver las ondas cerebrales en las diferentes bandas de frecuencias: La electroencefalografía (EEG) permite el registro directo y en tiempo real de la actividad eléctrica generada por células ubicadas en la corteza cerebral en una región de 6 cm2 alrededor de cada electrodo de registro (compuesto por material conductor que se encuentra en la superficie del cuero cabelludo). Los datos de EEG se descomponen en bandas de frecuencia, como delta (1 a 4 Hz), theta (4 a 8 Hz), alfa (7,5 a 13 Hz), beta (13 a 30 Hz) y gamma (30 a 44 Hz) , expresado en valores absolutos. La potencia de banda absoluta para un rango de frecuencia determinado se refiere a al logaritmo de la suma de la densidad espectral de potencia de los datos del EEG en el rango de frecuencia.
¿Qué herramientas utilizamos?
Mind Monitor & Muse S headband.
RaspberryPi, Amazon S3, NodeJS, AWS EC2.
PureData, Hydra.
Python, Tensorflow lite, NumPy, & NodeJS.
