Développée à Stanford, PIGEON (Predicting Images Geolocations) est une IA d’analyse d’image dotée d’une fonction unique en son genre. De base, PIGEON est dotée d’une système de reconnaissance faciale particulièrement sophistiqué (similaire en performances à Clearview AI), mais se distingue surtout par sa capacité à localiser relativement précisément l’origine d’une photo en analysant… son arrière-plan. PIGEON s’appuie sur l’énorme banque d’ images de Google Street View pour identifier quasi instantanément la provenance des clichés. Le taux de réussite est impressionnant puisque PIGEON peut identifier le pays où a été pris la photo pour 92% des clichés qui lui sont présentés, et dans 40 % des cas, elle peut reconnaître un lieu à moins de 25 km de la position réelle où a été prise la photo. La précision n’est donc pas encore ultime, mais les résultats sont déjà largement convaincants.
Plus insolite, on note que PIGEON excelle également dans le jeu GeoGuessr, où les joueurs doivent deviner l’emplacement d’images aléatoires de Street View. L’IA se classe ainsi dans le top 0,01 % des meilleurs joueurs mondiaux, et a même réussi à battreTrevor Rainbolt, qui est l’un des meilleurs joueurs professionnels à GeoGuessr. Pour obtenir un tel niveau de performances, PIGEON a été entraînée avec le réseau neuronal CLIP d’OpenAI (qui relie images et textes). Elle a ensuite été affinée avec un dataset de 100 000 emplacements et 400 000 images.
Un modèle connexe, PIGEOTTO, a également été développé par la même unité de recherche, ce dernier ayant été entraîné avec 4 millions de photos (principalement de Wikipédia et Flickr). PIGEOTTO peut lui aussi identifier des lieux à partir d’une seule image, avec des résultats encore plus saisissants. Les risques éthiques étant conséquents pour ce type d’IA (espionnage, divulgations de localisations sensibles, etc.), les paramètres du modèle n’ont pas été rendus publics et le code est uniquement disponible dans le cadre de vérifications académiques.
