Comment trois chercheurs ont révolutionné le deep learning et ouvert la voie à Chat GPT
Il y a 12 ans, Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton ont marqué le point de départ d’une véritable révolution de l’intelligence artificielle
©Jack Guez—AFP/Getty Images
2012. Dans le cadre de la compétition ImageNet, trois chercheurs de l’université de Toronto - Alex Krizhevsky, Ilya Sutskever et Geoffrey Hinton, le futur lauréat du prix Turing - publient le fruit de leurs recherches en IA sous le titre : « ImageNet Classification with Deep Convolutional Neural Networks ».
Les chercheurs veulent faire redécouvrir à leurs pairs le potentiel des réseaux profonds, qu’ils estiment sous-exploités.
Sans le savoir, ils vont marquer le point de départ d’une véritable révolution de l’intelligence artificielle, qui aura des retombées considérables.
Leurs découvertes reposaient sur deux principales innovations.
- L’implémentation d’un réseau de neurones convolutif (CNN) à huit couches, entraîné directement sur des images brutes, permettant au modèle de découvrir automatiquement les représentations les plus pertinentes des données. Les CNN avaient déjà été étudiés dans les années 1990, notamment par Yann LeCun, mais jamais à cette échelle de profondeur ni sur des ensembles de données aussi vastes.
- L’utilisation « détournée » de puces graphiques (GPU), au lieu des processeurs classiques (CPU) qui limitaient l’entraînement des modèles de réseaux de neurones et rendait impraticable le traitement de grands ensembles de données.
Cet article, connu sous le nom d’AlexNet, a jeté les bases d’un nouveau paradigme si déterminant qu’à ce jour, il a été cité plus de… 160 000 fois, selon Google Scholar.
Mais ce n’est pas tout.
L’un des trois chercheurs, Ilya Sutskever (celui qui se lève au-dessus de Sam Altman sur la photo), co-fondera OpenAI après un passage chez Google.
Mais en 2024, il quitte le leader des LLM pour fonder « Safe Superintelligence Inc » (SSI), pour laquelle il revendique une approche différente de celle d’OpenAI qu’il estime trop soumis à des pressions commerciales.
Quelle ambition poursuit Ilya Sutskever en créant SSI ?
Le développement d’une « superintelligence sûre », pour laquelle il a levé plus d’un milliard de dollars.
Ilya Sutskever compare la démarche de son projet à celle de « la sécurité nucléaire », où il est crucial de « prévenir des risques catastrophiques tout en avançant rapidement sur les capacités techniques ».
Ilya Sutskever voudrait donc nous prémunir d'un risque de « Tchernobyl » de l’IA ?