Ce français a bossé chez OpenAI pendant 3 ans.
Ce qu’il y a fait est tout simplement hallucinant.
Pour bien comprendre son histoire, revenons en Juillet 2019.
Stan vient juste de quitter Stripe pour se lancer dans l’IA.
Il faut dire que le domaine est en pleine ébullition.
3 ans plus tôt, le monde entier a vu arriver AlphaGo.
L’IA qui a dépassé l’humain au go.
Un jeu que l’on pensait encore complètement hors de portée de la machine.
Depuis, les résultats s’enchainent.
Tous les jours, c’est un nouveau jeu qui tombe.
L'heure de gloire du “deep learning” est arrivé.
Sans plus tarder, Stan décide d’explorer plusieurs idées.
La voiture autonome ?
Une IA de hacking ?
Ou un programme capable de prouver des théorèmes mathématiques ?
Son choix se porte finalement sur la dernière option, la plus théorique.
Rapidement, ses travaux sont remarqués par un certain Ilya Sutskever.
Qui n’est autre que…
Le Chief Scientist et co-fondateur d’OpenAI 🤯
Pendant 3 ans, Stan va donc tenter de faire des démonstrations mathématiques avec des IA génératives.
Et, spoiler…
Il y arrive.
Mais ça, ce n’est rien comparé au résultat du papier scientifique qu’il publie avec Ilya.
Car ils viennent de mettre le doigt sur un résultat complètement inattendu.
Une hypothèse un peu farfelue mais qui va s’avérer d’une puissance folle.
L’idée ?
Entraîner l’IA à partir de “tout internet”, sans nettoyer les données, et la spécialiser ensuite.
Et ça marche.
Même si la majorité des données n'a rien à voir avec le schmilblick 🤷
C’est la magie du “pre-training”.
La suite de l’histoire, vous la connaissez.
Quelques mois plus tard, c’est l’ouragan ChatGPT.
Alors forcément, quand j’ai réussi à mettre la main sur le “phénomène” Stanislas Polu…
J’avais quelques questions à lui poser 😉
Parce que lui, quand il donne son avis sur le \"futur des développeurs\", on a plutôt intérêt à le prendre au sérieux 😅
Ne manquez donc surtout pas ce nouvel épisode.
Car vraiment…
Il vaut le détour.
Bonne écoute !
PS : dites-nous ce que vous pensez de l'épisode en commentaire (et surtout, abonnez-vous !)
Notes de l'épisode :
- le papier scientifique de Stan, écrit avec le CTO d'OpenAI : https://arxiv.org/abs/2009.03393
---------------------------------
Retrouvez Stan sur Linkedin : https://www.linkedin.com/in/spolu/
--------------------------------
Je suis Mathieu Sanchez, CTO d'Acasi, et pour me suivre, c'est principalement sur Linkedin : https://www.linkedin.com/in/matsanchez/
Vous pouvez aussi suivre Tronche de Tech, sur vos réseaux favoris :
- Linkedin : https://www.linkedin.com/company/tronche-de-tech/
- Instagram : https://www.instagram.com/tronchedetech/
- TikTok : https://www.tiktok.com/@tronchedetech
- Twitter : https://twitter.com/TroncheDeTech
","author_name":"Mathieu Sanchez"}