Qu’il s’agisse de Siri, Cortana ou encore Google Assistant, les assistants IA sont présents sur les smartphones depuis quelques temps déjà. Et avec les progrès rapides des technologies d’intelligence artificielle dans tous les domaines, ces assistants ne feront que s’améliorer avec le temps.
Le premier exemple que nous en avons est Gemini de Google, qui a remplacé Google Assistant sur les smartphones Android en tant qu’assistant IA par défaut. Alors que Gemini était auparavant assez limité dans ce qu’il pouvait faire par rapport à Google Assistant, Google a récemment annoncé des mises à jour majeures qui rendront le chatbot incroyablement puissant et plus utile.
Cela est particulièrement vrai pour Gemini Nano, qui a été annoncé sur les téléphones Pixel 8 et Samsung Galaxy S24 en janvier. Voici comment Google prévoit de mettre à jour ce modèle pour qu’il devienne encore meilleur.
La conscience contextuelle des Gémeaux connaît une amélioration majeure
Comme les autres chatbots, Gemini peut généralement comprendre le contexte dans lequel vous interagissez avec lui, même si ce n’est pas toujours le cas. C’est pourquoi l’un des changements les plus importants à venir est une amélioration significative de ses capacités de sensibilisation contextuelle.
Gemini peut désormais facilement comprendre ce qui se passe sur votre écran et même l’application que vous utilisez à un moment donné. Selon Google, les utilisateurs pourront afficher la superposition Gemini et utiliser l’IA tout en utilisant une autre application en même temps. Par exemple, vous pouvez générer des images avec Gemini et les glisser-déposer directement dans Google Messages, Gmail ou une autre application.
Un autre exemple est que lorsque vous regardez une vidéo YouTube, vous pouvez utiliser la fonction « Demander cette vidéo » de Gemini pour obtenir des informations sur cette vidéo. Ceci est similaire à la fonctionnalité « Ask This PDF » de Gemini Advanced qui peut vous aider à obtenir rapidement des informations à partir d’un PDF sans avoir besoin de le lire complètement.
Enfin, Gemini proposera des suggestions dynamiques en vérifiant votre écran. Cela peut même se produire sans que vous ayez besoin de taper quoi que ce soit puisque Gemini comprendra automatiquement le contexte de tout ce sur quoi vous travaillez.
Par exemple, si vous discutez dans Google Messages au sujet d’un café, Gemini peut automatiquement vous recommander les meilleurs cafés près de chez vous dans Google Maps.
Les utilisateurs pourront bientôt accéder à Gemini depuis son panneau de superposition qui sera présent même lors de la fourniture de résultats, vous n’aurez donc pas besoin de l’ouvrir en mode plein écran à chaque fois.
Gemini Nano bénéficiera de capacités multimodales complètes
Jusqu’à présent, Gemini s’appuyait sur des saisies textuelles ou vocales pour comprendre la requête d’un utilisateur et fournir des réponses pertinentes. Désormais, Google améliore ses capacités et l’appelle Gemini Nano avec multimodalité. En effet, le modèle mis à jour peut également utiliser des visuels, des langues parlées et des sons pour comprendre ce que veut un utilisateur.
Il s’agit d’une mise à niveau énorme mais très bienvenue qui changera radicalement ce que les smartphones dotés d’assistants IA peuvent faire. Vous pourrez utiliser votre smartphone Pixel pour obtenir des informations sur votre environnement grâce à sa caméra et son microphone au lieu de vous fier uniquement au texte.
Circle to Search a été mis à jour pour aider les étudiants
En janvier dernier, Google a annoncé une nouvelle fonctionnalité pour certains smartphones Android – Circle To Search, qui vous permet d’utiliser un simple geste pour rechercher des informations sans quitter l’application que vous utilisez. Cela fonctionne avec la recherche multiple, vous permettant d’utiliser à la fois des images et du texte pour poser une question à Google sur tout ce qui apparaît sur votre écran.
Depuis son lancement, Circle To Launch a été mis à jour avec des fonctionnalités telles que la traduction plein écran, mais lors de sa conférence des développeurs I/O, Google a annoncé une autre mise à jour. Il peut désormais aider les élèves dans leurs devoirs en les aidant à résoudre facilement des problèmes de mathématiques et de physique.
Les étudiants doivent simplement encercler le problème pour lequel ils souhaitent obtenir de l’aide, et Gemini leur fournira les étapes à suivre pour obtenir la réponse.
Google a également annoncé que Circle To Search serait bientôt en mesure d’aider à résoudre des problèmes complexes impliquant des graphiques, des diagrammes, des formules, etc. Google étend également cette fonctionnalité à davantage de smartphones Pixel et Samsung.
Talkback offrira de meilleures descriptions
Talkback est une fonctionnalité Android conçue pour aider les personnes ayant une déficience visuelle en expliquant ce qui est affiché sur les écrans de leur smartphone. Avec Gemini Nano gagnant en capacités multimodales, Talkback devient également bien meilleur dans la description des objets et des éléments.
Ce qui est le plus impressionnant, c’est que cela fonctionne même lorsque votre appareil est hors ligne. Le modèle Gemini Nano mis à jour peut offrir des descriptions très similaires à celles fournies par un humain, ce qui le rend beaucoup plus utile par rapport au fonctionnement actuel de Talkback.
Les Gémeaux peuvent désormais vous alerter des appels frauduleux
À mesure que les protections contre les escroqueries sont devenues plus robustes au fil des années, les appels frauduleux sont également devenus plus sophistiqués. Ainsi, malgré ces protections, de nombreuses personnes ne parviennent toujours pas à distinguer les appels frauduleux des véritables. C’est pourquoi Google teste une nouvelle fonctionnalité qui permettra à Gemini Nano de fournir des alertes en temps réel pour la protection contre les arnaques.
Il sera capable de détecter des modèles de conversations généralement présents dans les appels frauduleux et de vous alerter immédiatement. Par exemple, si vous recevez un appel d’une personne prétendant être un représentant bancaire vous demandant de transférer des fonds ou quelque chose du même genre, vous recevrez une alerte. Et comme il s’agit d’une protection intégrée à l’appareil, votre vie privée ne sera pas compromise.
Gemini Nano a été introduit avec la série de téléphones Pixel 8 et le Samsung Galaxy S24 plus tôt cette année. Le modèle mis à jour devrait arriver sur les téléphones Pixel plus tard cette année, tandis que des fonctionnalités telles que les alertes d’appel frauduleux seront disponibles sur tous les appareils Android.
Avec ces mises à jour, Google rend Gemini plus puissant et meilleur en tant qu’assistant virtuel qui peut vous aider chaque fois que vous en avez besoin. Cependant, la plupart de ces fonctionnalités seront limitées aux téléphones phares, du moins pour le moment, nous devrons donc peut-être attendre un certain temps pour les voir sur d’autres appareils.
Laisser un commentaire