Donderdag 07/07/2022

AchtergrondVoice cloning

Wanneer de doden weer kunnen spreken. Artificiële intelligentie bootst stem van Andy Warhol na

Andy Warhol in ‘The Andy Warhol Diaries’. Beeld Andy Warhol Foundation/Netflix
Andy Warhol in ‘The Andy Warhol Diaries’.Beeld Andy Warhol Foundation/Netflix

In Netflix-docuserie The Andy Warhol Diaries leest de in 1987 overleden popartkunstenaar voor uit zijn dagboeken. De makers hadden daar echter geen geluidsopnames van: het voorlezen gebeurde door artificiële intelligentie die werd getraind in het nabootsen van Warhols stem. De technologische kracht om de doden weer te doen spreken is stilaan in opmars, maar ze wordt niet door iedereen op evenveel enthousiasme onthaald.

Ronald Meeus

Tussen halfweg de jaren zeventig en vlak voor zijn overlijden in 1987 hield popartkunstenaar Andy Warhol een reeks persoonlijke dagboeken bij, vol observaties over zijn eigen leven en dat van anderen, waaronder de jetset van Manhattan. Die vormen nu de raamvertelling van The Andy Warhol Diaries, een zesdelige Netflix-documentairereeks waarin tv-maker Ryan Murphy (vooral bekend van fictiewerk als American Horror Story en Nip/Tuck) en regisseur Andrew Rossi (documentairemaker, van onder meer Page One: Inside the New York Times) een portret van de kunstenaar en diens werken schetsen, vanaf zijn kindertijd in het Amerikaanse Pittsburgh.

Er zitten ook interviews in met bekenden van Warhol, zoals regisseur John Waters en acteur Rob Lowe. Maar met Warhol zelf die uit zijn dagboeken vertelt, probeerden de makers naar eigen zeggen ook diep door te dringen in het persoonlijke leven van de kunstenaar, dat hij bij leven zorgvuldig afschermde voor de buitenwereld. De makers beschikten echter niet over geluidsopnames van de dagboeken in kwestie: ze lieten ze inspreken door acteur Bill Irwin, waarna ze artificiële intelligentie gebruikten om Irwins stem te vervormen totdat ze op die van Warhol lijkt.

Beeld van de kunstenaar in 'The Andy Warhol Diaries'. Beeld Andy Warhol Foundation/Netflix
Beeld van de kunstenaar in 'The Andy Warhol Diaries'.Beeld Andy Warhol Foundation/Netflix

Voice cloning

“Andy Warhol was beroemd omwille van zijn persoonlijke gedachten en meningen”, zei regisseur Andrew Rossi daarover in het Amerikaanse blad Entertainment Weekly. “Dat is een van de redenen waarom zijn dagboeken zo’n zeldzaam en fascinerend venster op hem vormen. Hij kon ongelooflijk rauw en emotioneel zijn wanneer hij telefonisch met zijn dagboekschrijver praatte. Om de radicale kwetsbaarheid die Andy deelt in de Diaries ten volle te waarderen, vond ik dat we de woorden in Andy’s eigen stem moesten horen.”

Voor het technische werk trommelden de makers in San Francisco de AI-start-up Resemble AI op, die er een technologie op toepaste die voice cloning heet. Het werkt op dezelfde manier als deepfake-video’s worden gemaakt: de kunstmatige intelligentie haalt specifieke kenmerken en eigenaardigheden uit de stem die moet worden gekloond, en past die toe op een andere stem.

“De techniek werkt met twee AI’s, die met elkaar wedijveren: de ene probeert de stem na te bootsen, de andere verifieert en corrigeert constant”, zegt Steven Latré, professor computerwetenschappen aan de Universiteit Antwerpen en het Leuvense onderzoeksinstituut Imec. “Daar heb je natuurlijk data voor nodig van de originele stem, zoals stemopnames. Maar de technologie is de afgelopen vijf à zes jaar zo sterk geëvolueerd dat er minder en minder data voor nodig zijn. Aanvankelijk hadden onderzoekers in dit veld uren en uren aan data nodig, vandaag krijg je al sterke resultaten met een stemopname van een half uur.”

Warhol in 'The Andy Warhol Diaries'. Beeld Andy Warhol Foundation/Netflix
Warhol in 'The Andy Warhol Diaries'.Beeld Andy Warhol Foundation/Netflix

Warholiaans portret

Is de stem die de kijker toespreekt in The Andy Warhol Diaries op die manier nu krek dezelfde geworden als die van Warhol zelf? Kunstcriticus en Warhol-biograaf Blake Gopnik is niet helemaal overtuigd. “Als je daadwerkelijk naar Warhols stem luistert op tapes, dan besef je dat hij inderdaad raar is, maar er zit ook een sprankelende intelligentie onder”, vertelde hij op de blog van kunstenwebsite Artnet. “Het is moeilijk om te weten of artificiële intelligentie dat kan vastleggen. De paar seconden van de AI-stem die we in de Netflix-trailer horen, hebben me tot nu toe niet overtuigd. Ze klonken behoorlijk mechanisch.”

Maar het ‘klonen’ van Warhols stem, ook al is het niet 100 procent accuraat, past volledig bij de essentie van de popartmeester, zei Rossi: “Ik dacht dat het klonen van Andy’s stem kon functioneren als een warholiaans portret.”

Voice cloning is een techniek die in de entertainmentsector in opmars is. Eerder werd ze al toegepast voor Peter Jacksons Beatles-documentaire Get Back, waarvoor de Nieuw-Zeelandse filmmaker via AI de muziek uit de studio-opnames wegfilterde om te laten horen wat de Fab Four zeiden tijdens het spelen. En in Roadrunner, een documentaire die vorig jaar werd gemaakt over het leven van de in 2018 overleden schrijver en culinair reportagemaker Anthony Bourdain, werd eveneens een AI-kloon van diens stem gebruikt.

Niet iedereen is even blij met die evolutie. Voor The Andy Warhol Diaries gaven de erven-Warhol hun instemming voor de AI-vertolking, maar de nabestaanden van Bourdain trokken de documentairemakers achter Roadrunner voor het gerecht omwille van het gebruik van diens AI-kloon. Het is beladen om de doden weer te doen spreken, en er hangen menselijke, ethische en wettelijke implicaties aan vast.

“Maar de evolutie van de technologie is niet langer iets wat we kunnen tegenhouden”, zegt Latré. “Ik schat dat de technologie binnen een jaar al in consumentenapps zal opduiken. Zo snel gaat het momenteel. Dat zal inderdaad ethische consequenties hebben, maar we moeten daar volgens mij opnieuw een bewustwording over kweken. Zoals met Photoshop: bij beelden die vandaag op het internet verschijnen, is het ook een reflex geworden om via technologische wegen te checken of ze niet gemanipuleerd zijn. Datzelfde bewustzijn zullen we ook moeten krijgen bij deepfakes, waartoe voice cloning-opnames behoren.”

The Andy Warhol Diaries, vanaf 9 maart op Netflix.

Meer over

Nu belangrijker dan ooit: steun kwaliteitsjournalistiek.

Neem een abonnement op De Morgen


Op alle artikelen, foto's en video's op demorgen.be rust auteursrecht. Deeplinken kan, maar dan zonder dat onze content in een nieuw frame op uw website verschijnt. Graag enkel de titel van onze website en de titel van het artikel vermelden in de link. Indien u teksten, foto's of video's op een andere manier wenst over te nemen, mail dan naar info@demorgen.be.
DPG Media nv – Mediaplein 1, 2018 Antwerpen – RPR Antwerpen nr. 0432.306.234