Peneliti Mengembangkan AI Yang Membuat Karya Seni Mendengarkan Musik Secara Real Time

Para peneliti sekarang telah menciptakan AI yang membentuk karya seni mirip kaleidoskop berdasarkan komposisi musik yang dibuat pada sequencer OP-Z Teenage Engineering.

Karya seni ini adalah hasil kolaborasi antara otak yang menciptakan beberapa synthesizer dan perangkat keras musik yang tampak paling keren, dan studio desain Modemand Bureau Cool. Seluruh proyek pada dasarnya merupakan inspirasi dari kondisi neurologis yang disebut sinestesia.

Dalam percobaan saat ini, sequencer OP-Z TE bertindak sebagai sumber musik yang diterjemahkan ke dalam seni AI. Ekstensi digital yang dibuat oleh Modem dan Bureau Cool menerjemahkan properti musik ke dalam petunjuk teks, menjelaskan nuansa warna yang berbeda, bentuk, dan cara mereka bergerak.

Secara tidak sadar, fenomena ini menyebabkan otak mengalami masukan sensorik dari beberapa indra, bukan hanya satu. Misalnya, seorang pendengar yang mengalami kondisi ini dapat melihat musik alih-alih mendengarnya, mengamatinya melalui media seperti warna, gerakan, dan bentuk sebagai respons terhadap pola musik.

Petunjuk ini kemudian melalui Stable Diffusion, alat sumber terbuka seperti DALL-E dan Midjourney untuk membuat animasi sinestetik yang memukau.

Salah satu pendiri modem Bas van de Poel menyebut eksperimen ini sebagai bahan bakar imajinasi para seniman di luar sana. Dia mengatakan dalam sebuah pernyataan kepada Engadget, “Dengan proyek ini, kami melihat potensi musisi untuk mengeksplorasi bentuk kreativitas baru, memfasilitasi kinerja bersama antara manusia dan mesin.”