Depuis son lancement en novembre dernier, ChatGPT, l’outil développé par OpenAI a beaucoup fait parler de lui dans la presse et sur les réseaux sociaux. Capable de (pratiquement) répondre à tout, il impressionne autant qu’il inquiète. Ce modèle basé sur la technologie GPT-3.5 a connu un vif succès à tel point que moins d’une semaine après son lancement, plus de 1 million d’utilisateurs avaient déjà testé la version bêta.
À l’heure où nous écrivons ces lignes, l’outil a tellement de succès que son réseau est saturé et qu’il est très difficile d’y avoir accès. L’occasion peut être de prendre du recul et de se poser la question : S‘agit-il d’une réelle technologie disruptive ou d’une simple avancée technologique ?
Dans cet article, nous allons essayer de comprendre comment cette technologie fonctionne, mais aussi ses limites pour expliquer ses impacts positifs et négatifs sur notre environnement.
Qu’est-ce que ChatGPT ?
ChatGPT (Generative Pre-trained Transformer) est un modèle de traitement de langage développé par OpenAI. Il est basé sur une architecture de réseaux de neurones appelée Transformer, qui a été théorisée et introduite pour la première fois en 2017 dans un article scientifique intitulé «Attention Is All You Need».
Le modèle de ChatGPT est construit à partir d’un pré-entraînement, qui consiste à utiliser une grande quantité de données pour apprendre en amont les règles grammaticales, les contextes et les connaissances sémantiques nécessaires pour comprendre le langage. Il a été entraîné sur des millions de textes, tels que des articles de presse, des livres et des pages web, pour acquérir ces connaissances jusqu’en 2022.
Afin d’être le plus performant possible, le modèle d’apprentissage compte pas moins de 175 milliards de paramètres d’apprentissage. En comparaison, le modèle Turing-NLG de Microsoft comptait 17 milliards de paramètres, soit 10 fois moins.
The use cases à l’utilisation de ChatGPT sont multiples. Étant un modèle entraîné sur des textes et des règles de grammaire, ChatGPT génère des réponses textuelles.
Dans la mesure où les modèles de Machine Learning dépendent en grande partie des données en entrée (c’est le fameux adage “Garbage In, Garbage Out”), l’augmentation du nombre de paramètres d’apprentissage permet de mieux gérer cette quantité de données impressionnante.
Jusqu’à présent les chatbots pouvaient souffrir d’une réputation où leur « intelligence » et leur faible taux de pertinence étaient décriés. Cet entraînement massif est couplé à des nouvelles techniques d’apprentissage qui ont modifié profondément le rendu « humain » des réponses de chatGPT.
Dans ce contexte. ChatGPT est une réelle révolution dans son domaine, un changement de paradigme, tant d’un point de vue technologique que de la mise en valeur de sa technologie par son accessibilité.
Quels sont les cas d’usage de ChatGPT ?
Le modèle Chat GPT développé par OpenAI permet de répondre à différents cas d’usage, parmi lesquels figurent :
Génération de contenu personnalisé
Ayant été entraîné sur des millions de textes au préalable, ChatGPT peut générer des contenus personnalisés avec précision en fonction d’un sujet préétabli. Il peut écrire des articles de blogs, des scripts, des histoires ou bien même des paroles de chanson en fonction du style demandé.
Dans l’industrie, cela représente une avancée technologique non négligeable. En effet, cette technologie va pouvoir à terme simplifier le travail des humains en les assistant dans la génération de réponse personnalisée.
La traduction simultanée
Le modèle développé par OpenAi peut aussi traduire et corriger for textes, son entraînement s’étant fait sur plusieurs langues, il peut comparer les différentes langues et générer de nouveaux textes dans des langues différentes en corrigeant les fautes d’orthographe.
De plus ChatGPT est capable de générer du texte dans plusieurs langues en simultané, en utilisant des modèles d’entraînement spécifiques pour chaque langue. Cette caractéristique de l’outil peut trouver de nombreuses applications notamment pour les entreprises internationales qui communiquent dans différentes langues en même temps.
Génération de code
ChatGPT peut être utilisé pour générer du code informatique à partir de descriptions de programmes écrites en langage naturel. L’observation des exemples de codes qui lui ont été soumis lors de son entraînement lui permet de résoudre des problèmes de programmation communs. Il est également possible d’extrapoler à partir de ces exemples de codes, même si ses connaissances de certains schémas de programmation sont parfois déjà obsolètes.
Il y a beaucoup d’autres applications de ChatGPT en cours de développement dans des domaines variés où la compréhension et la génération de textes sont cruciales. Nous constatons que de nombreuses applications sont possibles étant donné qu’il se base sur un corpus de texte considérable. La manière dont il gère les informations permet de faire gagner du temps à son utilisateur, ainsi ce dernier peut se concentrer sur des tâches où l’intelligence et la réflexion humaines sont nécessaires.
De nombreuses applications de cette technologie devraient voir le jour ces prochains mois, avec l’ouverture de cette technologie à l’industrie, de nombreuses entreprises vont s’approprier cet agent conversationnel et trouver des applications propres à leurs secteurs pour faciliter le travail des collaborateurs et optimiser la performance des entreprises.
Quelles sont les limites de ChatGPT ?
ChatGPT est un outil puissant pour la compréhension et la génération de textes, et le produit développé par OpenAI a un très fort potentiel pour l’industrie. Cependant certaines limites liées à son utilisation apparaissent déjà :
La scalabilité
La scalabilité est un enjeu crucial pour l’utilisation de ChatGPT dans l’industrie, car de nombreuses applications nécessitent la capacité de gérer de nombreuses requêtes, avec des volumes de texte élevés. Sans une API officielle pour ChatGPT, il est difficile pour les développeurs de l’intégrer dans des systèmes ou des applications existants.
Cela limite également la capacité des développeurs à créer des applications qui peuvent gérer des volumes élevés de trafic comme des systèmes de réponse automatique pour les entreprises, ou des assistants virtuels pour les particuliers.
À ce jour, plusieurs entreprises travaillent déjà sur des applications utilisant ChatGPT en attendant qu’une API officielle ne soit déployée.
ChatGPT a un potentiel énorme pour l’industrie, les limites liées à sa scalabilité sont un obstacle majeur pour son utilisation dans des applications commerciales à grande échelle. Les prochains mois seront cruciaux, l’entreprise californienne devant apporter une réponse à ces questions pour pouvoir ouvrir son produit à des perspectives industrielles.
L’impact écologique
L’impact écologique est un autre problème lié à l’utilisation de ChatGPT, car le modèle nécessite des quantités massives de données pour être entraîné, ce qui entraîne des coûts énergétiques importants.
Nous constatons que la quantité d’énergie nécessaire au pré entrainement du modèle GPT-3, qui est pourtant inférieure à GPT-3.5 utilisé par ChatGPT, est déjà considérable. Cela représente 552.1 tonnes de CO2 rien que pour la phase d’entraînement de l’algorithme. Si nous prenons l’exemple d’une étude récente mené par Greenly sur un million d’emails traités, le modèle GPT-3 produit 240 tonnes KgCO2e.
Pour entraîner un modèle de cette envergure, il faut des centaines de millions d’heures de calcul sur des superordinateurs, qui consomment une grande quantité d’énergie. Ce problème est encore plus important pour les modèles de dernière génération tels que GPT-4, bien plus complexes que GPT-3.
Il est important de noter que cette technologie est encore jeune et que les conséquences de son utilisation sur l’environnement sont encore à surveiller de près. Certaines entreprises de recherche et de développement de l’IA étudient actuellement des solutions pour réduire l’impact écologique de l’entraînement des modèles utilisant le machine learning.
L’absence d’explicabilité dans ses décisions
Utilisant des mathématiques très complexes en plusieurs couches, il est très compliqué pour l’utilisateur de savoir comment l’outil de Machine Learning ChatGPT a pris une décision. Cette incapacité de retrouver le raisonnement est communément appelée l’effet de “boite noire” dans le domaine de l’intelligence artificielle et soulève des problèmes de gouvernance and risque à la prise de décision.
Sovereignty
The souveraineté de la technologie est un enjeu crucial pour l’utilisation de ChatGPT et d’autres outils utilisant l’intelligence artificielle par apprentissage. Comme ChatGPT est développé et entraîné par une entreprise privée, il y a des préoccupations quant à la manière dont les données utilisées pour entraîner le modèle sont collectées et utilisées.
Par ailleurs, il existe déjà sur le marché des IA qui contournent ses limites technologiques de part leur conception. En effet, la solution Inboxcare développée par Golem.ai permet une totale transparency dans sa prise de décision et évite l’effet « boîte noire ». Etant basée sur une approche symbolique, la solution ne se base pas sur un modèle d’entrainement ce qui lui permet d’être explainable, frugale and facilement opérationnelle pour les entreprises. Cela représente un réel avantage pour les sociétés notamment dans le secteur de l’assurance, du e-commerce/retail, du transport et de la logistique and the secteur de la défense.
De plus, Microsoft est actuellement en pourparlers avec OpenAI et serait prêt à investir 10 Milliards de dollars dans la société cofondée par Sam Altman, ce qui soulève encore plus la question de la souveraineté et de la centralisation des informations, au mains d’entreprises américaines.
Pour conclure
Chat GPT constitue une réelle révolution dans le secteur des agents conversationnels et nous verrons quelles seront les utilités et les cas d’usages pour l’industrie dans les mois à venir. Même si le modèle développé par la société californienne impressionne par la précision de ses réponses, avec des cas d’usages compréhensibles pour le grand public, il est nécessaire de rester vigilant quant à la véracité des informations qu’elle génère.
La technologie utilisée par OpenAI se base sur du machine learning, consommatrice de beaucoup d’énergie en période de build et de run et par conséquent a un impact environnemental.
Utilisant pas moins de 175 milliards de paramètres préétablis et des millions de données en entrée, ses modèles voués à se développer consommeront de plus en plus d’énergie et auront un impact de plus en plus négatif sur l’environnement à comparer au modèle utilisé par Golem.ai qui produit 1000 fois moins de KgCO2e.
Le CEO d’Open Ai, Sam Altman, vient de diffuser la nouvelle version de son modèle GPT-4, qui ne cesse de faire parler de lui tant par la performance que par les applications qui en découleront. Sujet à suivre dans un prochain article !
Sources :
