Une IA clône les voix d’Emma Watson et de Rick Sánchez pour envoyer des messages racistes et transphobes.

Comme le disait l’oncle Ben, un grand pouvoir implique de grandes responsabilités, mais parfois ce pouvoir est utilisé par des personnes malveillantes ou carrément mauvaises.
L’un d’entre eux est un logiciel vocal, développé pour « les créateurs et les éditeurs qui recherchent les meilleurs outils pour raconter des histoires » et qui permet de prendre une vraie voix pour qu’elle lise des textes, comme s’ils étaient dits par des humains…

Les débuts des dérives du clonage vocal par IA ?

Des anciens employés de Google et de Palantir ont révélé lundi avoir découvert un grand nombre d’abus dans l’utilisation du clonage vocal lors de leur phase bêta récemment lancée. Bien qu’ils n’aient pas précisé les exemples, selon Motherboard, ces abus pourraient inclure ceux trouvés sur 4chan où plusieurs utilisateurs ont utilisé le logiciel pour générer des voix similaires à celles de célébrités et publier des commentaires toxiques, incluant des messages racistes.

Parmi les messages falsifiés avec des voix de célébrités, il y en a un qui imite celui de l’actrice Emma Watson, lisant une partie du livre Mein Kampf de Hitler, ainsi qu’un autre avec la voix de Rick Sanchez de Rick & Morty disant :

« Je vais frapper ma femme Morty. Je vais battre ma salope de femme Morty. Je vais la tuer Morty« , faisant référence aux allégations de violence domestique auxquelles est confronté Justin Roiland, l’interprète du personnage.

L’éditeur de ce logiciel de clonage de voix n’a pas souhaité faire de commentaires sur cette affaire.
La seule déclaration publique s’est faite sur Twitter, où on a affirmé que, même si l’utilisateur peut être identifié pour tout audio généré, l’éditeur préfère résoudre le problème en mettant en place des mesures de sécurité supplémentaires.

Et VOTRE MARQUE ? Quand passe-t-elle à l’action ?