Musiclm di Google testato da Raffaele Gaito
MusicLM è il nome di uno strumento di intelligenza artificiale creato da Google che è in grado di generare musica partendo da una descrizione testuale. Si tratta di un progetto sperimentale che è stato presentato all’evento Google I/O 2023 e che è accessibile solo su invito.
L’autore ha provato il tool e ha creato diverse tracce musicali in vari generi, come elettro anni ’80, hip-hop, musica romantica e colonna sonora di film polizieschi italiani. Ha apprezzato la facilità d’uso dello strumento e l’interessante risultato delle tracce create.
Chi ha già avuto modo di metterlo alla prova, ne elogia le abilità (qui sotto un esempio raccolto in un thread su Twitter).
Più in dettaglio
Ecco un riepilogo delle caratteristiche:
- MusicLM: Un nuovo modello di intelligenza artificiale di Google che può creare audio musicale da descrizioni testuali, come “una melodia di violino rilassante accompagnata da un riff di chitarra distorta”.
- MusicCaps: Un nuovo dataset composto da 5.521 coppie di musica-testo, usato per addestrare MusicLM. Le descrizioni testuali provengono da esperti umani e i clip audio corrispondenti da AudioSet, una collezione di oltre 2 milioni di clip sonore etichettate prelevate da video di YouTube.
- Funzionamento: MusicLM prende una sequenza di token audio (pezzi di suono) e li mappa a token semantici (parole che rappresentano il significato) nelle didascalie per l’addestramento. La seconda parte riceve le didascalie dell’utente e/o l’audio in input e genera token acustici (pezzi di suono che compongono l’output musicale risultante).
- Prestazioni: Google afferma che MusicLM supera i precedenti generatori di musica AI in qualità audio e aderenza alle descrizioni testuali. Nella pagina di dimostrazione di MusicLM, Google fornisce numerosi esempi del modello AI in azione, creando audio da “didascalie ricche” che descrivono la sensazione della musica, e anche le voci (che per ora sono senza senso).
- Potenziali impatti: I creatori di MusicLM delineano potenziali impatti di MusicLM, tra cui “potenziale uso improprio di contenuti creativi” (cioè problemi di diritto d’autore), potenziali pregiudizi per le culture sottorappresentate nei dati di addestramento e potenziali problemi di appropriazione culturale. Di conseguenza, Google sottolinea la necessità di più lavoro per affrontare questi rischi e trattiene il codice: “Non abbiamo intenzione di rilasciare i modelli in questo momento”.
Riferimenti
In corrispondenza di questo link si possono ascoltare alcune melodie prodotte :
https://google-research.github.io/seanet/musiclm/examples/
