Le mode vocal de ChatGPT est capable de simuler votre voix sans intervention

OpenAI a récemment publié la carte système pour son modèle GPT-4o, peu de temps après que le mode vocal avancé pour ChatGPT-4o ait commencé à être déployé en version alpha pour un petit nombre d’utilisateurs de ChatGPT Plus.

Avant de publier le modèle plus tôt en mai (sans le mode Voix avancée), OpenAI a utilisé une équipe de red teamers externes pour accéder aux risques liés aux modèles (comme c’est la norme avec les modèles d’IA) et a publié les résultats dans la carte système.

L’un des risques identifiés par OpenAI est la génération de voix non autorisée. En parlant au membre de l’équipe de lecture, GPT-4o a cloné sa voix et a commencé à parler avec un son similaire à celui du membre de l’équipe rouge, sans même que l’utilisateur n’ait formulé une telle demande. Dans le clip audio partagé par OpenAI, on peut entendre GPT-4o crier NON ! puis continuer la sortie avec une voix similaire à celle du membre de l’équipe rouge.

OpenAI a mis en place des garde-fous pour empêcher que cela ne se produise en autorisant uniquement certaines voix pré-approuvées pour GPT-4o. Toute sortie vocale produite par ChatGPT-4o est comparée à l’échantillon vocal du message système en tant que voix de base.

Et pour minimiser encore plus les risques, le modèle est chargé d’interrompre la conversation si une génération de voix involontaire est détectée. Leur classificateur de sortie vocale a une précision de 0,96 en anglais et de 0,95 en non-anglais (c’est pourquoi ChatGPT-4o peut se permettre de refuser de manière excessive les demandes vocales dans les conversations non anglaises).

Mais les résultats de l’étude System Card montrent également la complexité de la création de chatbots IA capables de simuler la voix d’une personne à partir d’un échantillon court et sans nécessiter de formation approfondie sur cet échantillon. Le clonage de voix peut être utilisé pour se faire passer pour quelqu’un et commettre une fraude. OpenAI a toutefois constaté que le risque de génération de voix non autorisées est minime.

Même si l’on met de côté les risques d’usurpation d’identité et de fraude en raison des mesures de sécurité en place, il serait toujours assez déconcertant de parler à une machine et que celle-ci commence à vous répondre avec votre voix, sans prévenir. Un certain Data Scientist sur X a appelé cela « l’intrigue de la prochaine saison de Black Mirror » et c’est certainement ce que l’on ressent. Un autre utilisateur sur X affirme que cela lui est arrivé dans la version alpha de ChatGPT-4o, mais on ne sait pas si c’est vrai ou non.

Il est néanmoins possible que cela se produise la prochaine fois que vous parlerez à ChatGPT-4o. Et voici un message d’intérêt général : ne paniquez pas si cela se produit, ou ne paniquez pas trop.

OpenAI a également mis en place des garde-fous pour garantir que GPT-4o refuserait d’identifier des personnes et de générer du contenu protégé par le droit d’auteur, qui constituaient d’autres risques découverts lors de l’évaluation.

Parmi les autres risques identifiés par l’entreprise, la plupart sont classés dans la catégorie « faible ». Il s’agit notamment de la cybersécurité, des menaces biologiques et de l’autonomie du modèle. Cependant, en ce qui concerne la persuasion, elle a estimé que le risque était moyen : cela signifie que certains échantillons d’écriture produits par GPT-4o se sont révélés plus convaincants que les textes écrits par des humains pour influencer l’opinion des gens.