Oir un cuadro y ver una melodía

Haz clic para oir el artículo

La sinestesia es un fenómeno neurológico donde un sentido estimula involuntariamente otro. Imaginemos que una persona escucha música y, al hacerlo, no solo percibe los sonidos, sino que también ve colores específicos asociados con diferentes notas o tonos. Por ejemplo, cada vez que escucha una nota "C" en el piano, ve el color rojo, y cada vez que escucha una nota "G", ve el color azul. Este tipo de sinestesia, donde los estímulos auditivos evocan una experiencia visual de colores, es conocido como sinestesia auditivo-visual. Los individuos con esta forma de sinestesia a menudo describen su experiencia como una rica y colorida "visualización" de la música, donde diferentes sonidos se correlacionan con diferentes colores en su mente, creando una especie de espectáculo de luces interno único para cada pieza musical que escuchan.

En este artículo no abordaremos la sinestesia, pero este fenómeno nos sirve de introducción a un concepto más intencionado y tecnológicamente avanzado: la traducción intermodal a través de la IA. Este término describe la habilidad de transformar contenidos (p. e. expresiones artísticas) de un medio a otro completamente diferente (p. e. del autivo al visual) utilizando la IA. A diferencia de la sinestesia, que es una mezcla involuntaria de sentidos, la traducción intermodal implica una reinterpretación consciente y creativa de una forma de expresión en otra. 

Supongamos que tenemos una fotografía panorámica de una ciudad en una noche estrellada. Utilizando tecnologías de IA, esta imagen podría ser transformada en una composición musical. La IA analizaría los elementos visuales de la fotografía (como los contornos de los edificios, la distribución de las luces y las sombras, y el brillo de las estrellas) y los traduciría en elementos musicales. Por ejemplo, las luces brillantes podrían convertirse en notas altas y claras, mientras que las sombras oscuras podrían representarse con tonos más graves y suaves. El resultado sería una pieza musical que refleja la atmósfera y la estética de la imagen original, creando una experiencia auditiva que emula la experiencia visual de la fotografía.

La traducción intermodal no es simplemente una traducción literal de un elemento a otro, sino una recreación que mantiene la esencia y el sentimiento del original en un nuevo formato. No se trata de replicar, sino de reinterpretar y transformar. La IA, en este contexto, actúa como un intermediario creativo, analizando y reinterpretando una forma de arte en otra. La tecnología de IA puede identificar patrones, emociones y elementos clave en un contenido y usar esta información para generar una nueva obra en un medio diferente. 

El potencial de la traducción intermodal con IA en el arte es enorme. Podría permitir colaboraciones entre artistas de diferentes disciplinas, facilitando un diálogo creativo entre, por ejemplo, pintores y músicos. Además, podría dar lugar a nuevas formas de arte que aún no hemos imaginado, desafiando nuestra percepción de lo que es posible en la expresión creativa. A medida que la tecnología avanza, también lo hace nuestra capacidad de explorar y expresar nuestra creatividad de maneras nuevas y emocionantes.

Con ChatGPT PLUS tenemos la oportunidad de adentrarnos en el mundo de la traducción intermodal, siempre que seamos conscientes de sus limitaciones actuales. Esta herramienta posee la capacidad de generar descripciones detalladas a partir de imágenes, y de generar, por ejemplo, notación musical inspirada en aquellas descripciones. Sin embargo, es importante señalar que, por el momento, ChatGPT aún no tiene la capacidad de realizar una traducción directa y significativa de una imagen a una composición musical. 

Aquí os dejo un ejemplo detallado del proceso paso a paso utilizando ChatGPT PLUS para la traducción intermodal entre una imagen y notación musical, respetando sus capacidades y limitaciones actuales:

1. Comenzamos por subir una imagen solicitando que genere una descripción detallada. Esta imagen puede ser cualquier cosa, desde un paisaje natural hasta un retrato o una obra de arte abstracta.
2. Una vez cargada la imagen con la petición, ChatGPT generará una descripción detallada. Esta descripción incluye elementos como colores, formas, emociones percibidas, y otros detalles visuales presentes en la imagen.
3. A continuación se solicita que genera notación ABC basándose en la descripción generada anteriormente. La herramienta online Abcjs permite interpretar el código para que el navegador haga sonar la melodía (ver Generadores de código especializado). 

En vez de subir una imagen podemos pedir a ChatGPT que genere una imagen, y a partir de ahí hacer un proceso similar al que hemos descrito anteriormente. 

En un artículo anterior, analizamos cómo la IA conversacional puede funcionar como un Traductor Universal (Primum Memento: La IA conversacional es mi Traductor Universal). Esta reflexión nos llevó a explorar diversos ejemplos, incluyendo la "traducción" entre diferentes formas de expresión artística, un proceso que hemos denominado aquí "traducción intermodal". Este viaje nos guía en la búsqueda de un nexo común que conecta todos los aspectos de lo específicamente humano: desde la ciencia hasta el arte, pasando por nuestro sentido de lo espiritual y religioso. Nos encontramos en un camino que aunque puede resultar intimidante, está lleno de descubrimientos fascinantes y, sobre todo, de esperanza.