Google a levé le voile sur Project Astra lors de sa conférence I/O et ça devrait bien être le futur de nos smartphones et lunettes connectées. Il s’agit d’un assistant s’appuyant sur l’intelligence artificielle Gemini avec qui vous pouvez parler et utiliser la caméra de votre smartphone pour avoir des réponses sur ce qui est devant vous.
Présentation du Project Astra de Google
Dans la vidéo de démonstration de Google, Project Astra est une application dont l’interface principale est un viseur. Une personne brandissant un téléphone pointe sa caméra vers différentes parties d’un bureau et dit : « Dis moi quand tu vois quelque chose qui émet un son ». Lorsqu’un haut-parleur situé à côté d’un écran est apparu, Gemini a répondu : « Je vois un haut-parleur qui émet un son ».
La personne qui tient le téléphone s’arrête et dessine une flèche sur l’écran vers le cercle supérieur du haut-parleur et dit : « Comment s’appelle cette partie du haut-parleur ? ». Gemini s’est empressé de répondre : « C’est le tweeter. Il produit des sons à haute fréquence ».
Ensuite, la personne se déplace vers une tasse de crayons plus loin sur la table et demande : « Donne-moi une allitération créative à propos de ces crayons », ce à quoi Gemini a répondu : « Les crayons créatifs colorent joyeusement. Ils réalisent certainement des créations colorées ».
Capable de retrouver des objets et plus encore
La suite de la vidéo montre Gemini avec Project Astra identifiant et expliquant des parties de code sur un écran, indiquant à la personne dans quel quartier elle se trouve en fonction de la vue par la fenêtre. Le plus impressionnant, c’est qu’Astra a pu répondre à la question « Te souviens-tu de l’endroit où tu as vu mes lunettes ? », même si ces lunettes étaient complètement hors du cadre et qu’elles n’avaient pas été signalées auparavant. « Oui, je m’en souviens », a répondu Gemini, ajoutant : « Tes lunettes étaient sur un bureau, près d’une pomme rouge ».
Après qu’Astra a localisé ces lunettes, la personne les a mises et la vidéo est passée à la perspective de ce que l’on voit depuis son point de vue. À l’aide d’une caméra embarquée, les lunettes scannent l’environnement du porteur pour voir des choses comme un diagramme sur un tableau blanc. La personne dans la vidéo demande alors : « Que puis-je ajouter ici pour rendre ce système plus rapide ? ». Pendant qu’elle parle, une forme d’onde à l’écran se déplace pour indiquer qu’elle écoute, et lorsqu’elle répond, des légendes apparaissent en tandem. Astra répond : « L’ajout d’un cache entre le serveur et la base de données pourrait améliorer la vitesse ».
Quand pourra-t-on réellement utiliser un équivalent du Project Astra ? Google ne donne pas encore une date de sortie.
