Utilisation des lunettes intelligentes de Meta avec l’IA et le LLM pour dénoncer des inconnus

Les dernières lunettes de réalité augmentée (AR) de Meta, baptisées Orion, ont peut-être suscité une attention considérable la semaine dernière, mais un projet initié par deux étudiants de Harvard relance les discussions autour des lunettes intelligentes Ray-Ban de Meta.

Les lunettes connectées Ray-Ban Meta sont équipées d’une caméra haute définition (HD) et d’un haut-parleur intégré, permettant aux utilisateurs de profiter d’une expérience numérique en mode mains libres. Avec ces lunettes, les utilisateurs peuvent passer des appels, écouter de la musique et capturer ou diffuser en direct des photos et des vidéos en toute transparence.

Une démonstration réalisée par les étudiants AnhPhu Nguyen et Caine Ardayfio montre comment les images vidéo des lunettes, combinées à la technologie de reconnaissance faciale, peuvent potentiellement révéler des informations privées d’inconnus dans les espaces publics. Bien que la technologie sous-jacente soit disponible depuis des années, cette démonstration suscite un sentiment d’inconfort, d’autant plus que de nombreuses personnes ignoraient à quel point cette technologie était facilement accessible au citoyen moyen. Cela a conduit de nombreux utilisateurs à qualifier cette technologie de dystopique, reflétant la façon dont beaucoup l’imaginaient. Pourtant, c’est aujourd’hui une réalité.

Nguyen a publié une vidéo sur X (anciennement Twitter) qui présente la technologie, baptisée I-XRAY, en action.

Sommes-nous prêts pour un monde où nos données sont exposées en un coup d’œil ? @CaineArdayfio et moi vous proposons une réponse pour vous protéger ici : https://t.co/LhxModhDpk
pic.twitter.com/Oo35TxBNtD

– AnhPhu Nguyen (@AnhPhuNguyen1) 30 septembre 2024

Cette technologie utilise la caméra des lunettes pour diffuser des vidéos en direct sur leur compte Instagram. Ils ont programmé une application informatique pour surveiller le flux et utiliser l’IA pour identifier les visages.

Une fois le visage reconnu, il est traité par des services de reconnaissance faciale comme PimEyes, qui comparent l’image avec des photos de l’individu accessibles au public en ligne. Ces images sont ensuite analysées à l’aide de grands modèles linguistiques (LLM) pour extraire des informations telles que le nom de la personne, sa profession, etc. Ces données peuvent ensuite être recoupées avec des bases de données accessibles au public pour découvrir des numéros de téléphone et même des numéros de sécurité sociale partiels.

Comme mentionné précédemment, presque toute la technologie utilisée dans I-XRAY est disponible depuis des années, englobant des caméras, des outils de reconnaissance faciale comme PimEyes et des bases de données telles que FastPeopleSearch et Cloaked.com.

Ce qui rend cette démonstration encore plus troublante, c’est la manière discrète et instantanée dont elle fonctionne. Les lunettes Ray-Ban Meta 2 présentées dans la vidéo ressemblent à des lunettes standard et, bien qu’elles soient dotées d’un indicateur de confidentialité lorsque l’enregistrement vidéo est actif, il peut être difficile de les remarquer dans des environnements extérieurs très éclairés. Par conséquent, une personne portant ces lunettes pourrait vous enregistrer à votre insu.

De plus, le caractère autonome de la collecte d’informations exacerbe le malaise. Les LLM concernés peuvent découvrir des détails tels que des noms et des informations personnelles à partir de diverses sources en ligne automatiquement, sans aucune intervention humaine. La vidéo montre ces étudiants qui divulguent des informations sur une personne dans la rue, en utilisant avec désinvolture les informations recueillies pour feindre la familiarité, comme s’ils s’étaient rencontrés lors d’une activité communautaire.

L’objectif premier de ce projet est de mettre en évidence la facilité avec laquelle des inconnus peuvent accéder à des informations personnelles dans le paysage numérique actuel. Le duo d’étudiants a choisi de ne divulguer aucun code au public, mais a partagé des méthodes permettant aux individus de protéger leur vie privée. Bon nombre de ces bases de données proposent des services gratuits pour aider à supprimer des informations personnelles. Cependant, éliminer complètement votre présence en ligne reste une tâche ardue. Grâce à ces mesures, vous pouvez tenter de rendre vos informations légèrement moins accessibles.

Source