2024-04-04
La technologie derrière ChatGPT, Dall-E et autres n’est pas révolutionnaire, elle est spectaculaire. C’est très différent. Et, comme souvent, le spectaculaire attire une attention démesurée du grand public par rapport aux capacités réelles de la technologie. C’est ce qu’on appelle « une bulle ».
Et une bulle, ça finit toujours par imploser.
Rappelons qu’un logiciel est un ensemble d’instructions données à un ordinateur par un programmeur pour donner un résultat (un « output ») basé sur des paramètres modifiables (« l’input »). Un programme « classique » est donc un programme qui donnera toujours un résultat prévisible. Je vous expliquais d’ailleurs cela en détail dans un article précédent.
L’histoire d’un bit (ploum.net)
Ce que nous appelons « intelligence artificielle » est un ensemble de techniques, parfois très diverses, pour qu’un logiciel puisse être « entrainé ». Au lieu de définir exactement comment va fonctionner le logiciel, on va lui fournir des « données d’apprentissage » pour qu’il en tire une forme de moyenne statistique. Exemple : lui montrer des photos de terroristes et des photos de gens innocents pour, ensuite, tenter de voir s’il détecte des terroristes inconnus parmi une foule sur laquelle on n’a aucune information.
Mais qui est responsable si le programme développé de cette manière désigne un innocent comme terroriste et entraine son élimination par un drone ? Le programmeur qui a développé l’algorithme ? Il n’avait pas conscience du cadre d’utilisation, il a juste fait un logiciel pour différencier deux types de personnes sur base de photos. Celui qui a sélectionné les données et qui a « oublié » d’inclure des barbus parmi les innocents ? Celui qui, à la base de tout ça, a imaginé qu’un terroriste était reconnaissable à son visage ?
La fameuse intelligence artificielle, ce n’est que ça : des algorithmes statistiques sont très utiles dans certains cas très spécifiques à condition d’être très surveillés. Mais qui diluent toute responsabilité en cas d’erreur.
Un algo de type ChatGPT ne fait pas autre chose : pour simplifier à outrance, il prend à chaque fois le texte de la conversation et tente de prédire quel mot a la plus grande probabilité de suivre. Il prend littéralement tous les mots de son dictionnaire, les rajoute à la fin de la phrase et évalue un score pour le texte résultant basé sur la moyenne statistique calculée durant son apprentissage.
Si je lui demande :
Ploum: Quelle est la couleur d’un schtroumpf ?
Il va voir que, dans toutes ses données d’apprentissage, la suite de mot « Quelle est la couleur de X ? La couleur de X est » est plus probable que « Quelle est la couleur de X ? Banane volante à pistons ». Du coup, il répond :
IA: La couleur de…
Ben oui, parce que ça fonctionne aussi pour la couleur d’un marsupilami ou de n’importe quoi d’autre. C’est une des raisons qui fait que ChatGPT ne vous répond pas platement « bleu » comme n’importe quel humain le fait. Parce que dans ses données d’apprentissage apparait régulièrement qu’une réponse commence souvent en reformulant sa question.
IA: La couleur d’un schtroumpf est…
Cette reformulation reprend des parties de la phrase. Ce n’est pas du tout évident, mais cela donne l’impression que ChatGPT comprend ce qu’il dit. C’est faux. C’est simplement le plus probable parmi les milliards de possibilités de la langue française (ou de la langue schtroumpf).
IA: La couleur d’un schtroumpf est bleue
Parce que, dans tous les textes du corpus où apparait le mot « schtroumpf », c’est le mot « bleu » qui revient le plus souvent et qui est souvent associé avec le mot « couleur ».
��videmment, ce qui est le plus probable n’est pas toujours ce qui a le plus de sens. Les personnages générés par Dall-E ont, par exemple, souvent bien plus de doigts que nécessaire. Pour une raison toute simple : sur une image, la probabilité est très grande que ce qui est à côté d’un doigt soit un autre doigt. En fait, si vous me montriez une partie de photo représentant un doigt en me demandant de parier sur ce qu’il y a juste à côté, j’aurais tout intérêt à répondre : « un autre doigt ! ». Ce n’est pas une hallucination, c’est un résultat entièrement logique, statistique !
Quelques exemples de poignées de mains générées par AI. Les doigts sont innombrables.
Nonobstant ce que nous appelons des « hallucinations » (un mot choisi à dessein pour anthropomorphiser et rendre encore plus attirantes et mystiques les IA), les résultats sont très impressionnants, spectaculaires, imprévus. C’est un véritable show qui nous est offert dont les hallucinations font intégralement partie.
À la base de tous les ChatGPT et consorts, on trouve une nouvelle méthode de programmation appelée « Transformers » (oui, comme les robots de mon enfance) inventée par 8 types chez Google (qui sont, depuis, tous partis pour fonder leur startup AI sauf un qui a fondé une startup blockchain).
[1706.03762] Attention Is All You Need (arxiv.org)
Le papier décrivant la méthode est devenu un « landmark paper ». Pour les spécialistes, il est bouleversant, car il introduit de nouvelles techniques, de nouvelles perspectives. Mais, pour le grand public, il n’est finalement qu’une énième optimisation (impressionnante, je le répète) de méthodes de machine learning qui existent et s’améliorent depuis 40 ans. La grosse révolution, outre une amélioration significative des performances générales, c’est d’avoir permis une mise en parallèle des calculs. Du coup, plutôt que de devoir sans cesse optimiser des algorithmes ou créer des superordinateurs, on peut se contenter de mettre beaucoup d’ordinateurs en parallèle. Beaucoup comme dans « beaucoup beaucoup beaucoup ». Et donc multiplier les performances des algorithmes existants. Ce qui est très cool mais, selon ma définition, pas vraiment « révolutionnaire ».
Ces améliorations de performances ont permis d’entrainer les algorithmes sur des quantités astronomiques de données. De l’ordre de « tout ce qui nous tombe sous la main ». Et de créer des produits attractifs pour le grand public (ChatGPT, Dall-E, …) alors qu’à la base, l’algorithme visait surtout à automatiser les traductions.
Si ces nouvelles techniques sont spectaculaires, la vitesse avec laquelle les investisseurs et les entreprises se sont engouffrées dans le buzz l’est encore plus. Comme le dit très bien Cory Doctorow, de nombreuses boites AI se sont créées avec des technologies incapables de remplacer un travailleur humain, mais avec une équipe marketing capable de convaincre votre patron que c’est bien le cas.
Et chaque patron découvrant ChatGPT se sent soudain dans l’urgence d’investir dans l’AI, de peur que le concurrent le fasse avant lui. C’est parfois très con un CEO. Surtout quand ça a peur de rater le coche.
Petit aparté : si vous apprenez l’existence d’une technologie à travers la presse généraliste, c’est trop tard. C’est que vous êtes le dernier couillon à en ignorer l’existence. Et c’est vous qui allez constituer la dernière couche de la pyramide de ponzi qu’est la bulle spéculative sur ce sujet. Bref, vous êtes le pigeon. Face à un enthousiasme exubérant dans un domaine qui n’est pas le vôtre et sur lequel vous arrivez sur le tard, il n’y a qu’une chose à faire : rien. Attendre que tout se tasse et tirer les leçons des échecs ou réussites des uns ou des autres.
Se jeter dans la bulle AI, c’est un peu comme aller voir Titanic en pariant qu’il ne va pas couler à la fin. D’ailleurs, ils sont déjà en train de se casser la gueule : les fournisseurs d’AI ont dépensé 50 milliards de dollars pour des pelles, pardon des puces Nvidia et ont fait… trois milliards de chiffre d’affaires. L’action Nvidia, elle, a vu sa valeur multipliée par 9 en 15 mois. Comme dit le proverbe « Pour s’enrichir durant une ruée vers l’or, vendez des pelles ! »
Tous les CEO qui ont investi dans l’AI commencent à se rendre compte que c’est, en fait, très compliqué ce machin, qu’il y a peu de résultats, qu’on ne peut pas faire confiance dans ces résultats et qu’ils ne dorment plus la nuit par peur que des données privées soient exposées par les AI ou qu’ils soient attaqués pour non-respect du copyright.
When Will the GenAI Bubble Burst? (garymarcus.substack.com)
D’ailleurs, je vous alertais déjà l’année passée sur la problématique d’utiliser des datas privées pour entrainer une IA et sur le fait que, à un moment ou un autre, un petit malin arriverait à les faire ressortir. Ou, du moins, à faire croire qu’il les a ressorties, même si ce sont des hallucinations.
Modern AI and the end of privacy (ploum.net)
La fin du film est encore plus prévisible qu’un Marvel du mois d’août : les boites IA commencent à couler.
Stability AI reportedly ran out of cash to pay its AWS bills • The Register (sebsauvage.net)
La technologie a beau être géniale, elle nécessite énormément d’électricité et coute un pognon de dingue. Et puis il faut l’entrainer sur le plus de données possible. C’est-à-dire sur tout ce qui a jamais été posté sur Internet auquel on a accès. Sauf que, ben… ce n’est pas suffisant. Surtout que les gens ne postent plus sur Internet, mais sur des plateformes privées avec lesquelles il faut signer des contrats pour avoir accès aux données.
Pour résumer, on assiste, comme d’habitude, à une belle bulle, une parfaite ruée vers l’or. Avec des vendeurs de pelles (Nvidia) et des vendeurs de mines (Reddit, Facebook et tous ceux qui ont les données). Les mineurs vont, pour la plupart, faire faillite. Toute bulle finit par imploser. La seule question est de savoir si ce que la bulle laissera comme débris sera utile (comme l’ont été les infrastructures réseau financées pendant la bulle du web en 2000) ou s’il ne restera que ruines et destruction (comme la bulle des subprimes en 2008).
Ces dernières sont les pires bulles : elles détruisent activement une infrastructure existante. Exactement ce que la bulle AI est en train de faire avec le web en le merdifiant au-delà de tout espoir de sauver quoi que ce soit. Et en pourrissant toutes les données avec lesquelles s’entraineront les prochaines générations AI.
La bulle actuelle est peut-être en train d’utiliser la connaissance accumulée pendant des décennies pour la diluer irrémédiablement dans sa propre merde, détruisant, en quelques mois, le travail de milliers de chercheurs pour les décennies à venir. Car, dans dix ans, comment pourra-t-on créer des jeux de données importants dont on soit sûrs qu’ils ne contiennent pas de données générées par d’autres algorithmes ?
Drowning in AI Generated Garbage : the silent war we are fighting (ploum.net)
Finalement, l’AI ne fait que répéter, en vitesse accélérée, ce que le consuméro-capitalisme inspiré d’Ayn Rand applique à toute la planète depuis Thatcher et Reagan : promettre un futur incroyable en détruisant le présent pour en revendre les décombres dix fois le prix, ne léguant finalement que des cadavres, des ruines fumantes, des déserts de déchets et un air irrespirable.
Je me pose cette simple question : et maintenant ?
On a ChatGPT, on a Dall-E. On ne peut pas leur donner plus de données d’apprentissage. On ne peut pas leur donner plus d’électricité ni plus d’ordinateurs. Les augmentations de performance purement algorithmique sont incroyablement rares, difficiles et imprévisibles. Du coup, on fait quoi avec nos bots de discussion qui spamment tous le web ? On rend les codeurs plus rapides avec Github Copilot ? Super, on va pondre encore plus de code que personne ne comprend, dont personne n’a la responsabilité. Mais pourquoi ?
Keynote Touraine Tech 2023 : Pourquoi ? (ploum.net)
Beaucoup pensent que ChatGPT est l’aube d’une révolution, d’un nouveau paradigme. Je pense, au contraire, qu’il représente la fin, l’aboutissement technologique à la fois des techniques algorithmiques, mais également de la parallélisation et de la mise en réseau globale des connaissances humaines.
Nous avons trop souvent tendance à confondre l’aube avec le crépuscule.
----
Email:
permalinks:
