Alternatives open source au GPT : peuvent-elles vraiment rivaliser ?
Ouvrir l'IA est largement connu dans le domaine de l’intelligence artificielle générative, mais il n’est pas le seul acteur du jeu. Il existe des alternatives open source au GPT qui offrent des performances similaires, une plus grande transparence et des exigences de puissance de calcul inférieures. Ces alternatives sont attractives pour les utilisateurs qui apprécient la confidentialité de leurs données et souhaitent un meilleur contrôle sur le processus de formation. Mais peuvent-ils vraiment rivaliser avec les modèles OpenAI ?
Défis et craintes liés à l’adoption de l’IA générative
L’IA générative est la tendance technologique de l’année, attirant énormément d’attention, d’investissements et de financements. Toutefois, son adoption n’est pas exempte d’inquiétudes et d’incertitudes. Bien qu'il offre des avantages significatifs tels que l'efficacité et les économies de coûts, il existe également des reportages sur les violations de données, les poursuites contre les sociétés d'IA générative et l'interdiction d'outils comme ChatGPT en raison de problèmes de sécurité des données.
L'open source peut-il être la solution ?
L'open source peut être la solution à ces défis et craintes. Dans cet article, nous explorerons les alternatives disponibles à ChatGPT et aux modèles GPT de base. Un récent rapport de Digital Ocean montre que plus de 30% des startups et PME et 28% des entreprises choisissent des solutions open source pour la moitié de leurs logiciels. De plus, les 80% des entreprises interrogées s'attendent à augmenter ces valeurs pour les technologies émergentes. Pour ceux qui ont déjà opté pour l’open source, c’est un élément clé de leur stratégie de sécurité.
Flexibilité et personnalisation
La deuxième raison, évoquée par 79% parmi ceux qui utilisent des solutions open source dans leur entreprise, est que l'open source offre la flexibilité nécessaire pour personnaliser les solutions afin de répondre aux besoins spécifiques et aux normes de l'entreprise. Dans le cas de l’IA générative, il est particulièrement important de surveiller le processus de formation et de comprendre les biais potentiels.
Alternatives populaires au GPT
Appelle
LLaMA, développé dans le laboratoire de recherche en IA de Meta, est l'un des modèles open source les plus importants. Bien que ses paramètres puissent paraître moins impressionnants par rapport à ceux du GPT-4 ou du GPT-3, il ne faut pas le sous-estimer. Malgré moins de paramètres, les modèles LLaMA ont été entraînés avec un plus grand nombre de jetons, ce qui signifie qu'ils sont plus faciles à recycler et à ajuster pour des cas d'utilisation spécifiques. En conséquence, LLaMA-13B surpasse GPT-3 dans les tâches de raisonnement de bon sens. Cependant, l'accès à LLaMA est limité au cas par cas aux chercheurs universitaires, aux organisations affiliées au gouvernement, à la société civile et aux laboratoires de recherche.
OPTER
Le modèle de langage Open Pretrained Transformer (OPT), publié par Meta en mai 2022, contient 175 milliards de paramètres (identiques à GPT-3) et a été formé sur plusieurs ensembles de données publiques. Malheureusement, comme LLaMA, OPT n'est actuellement disponible à des fins de recherche que sous une licence non commerciale.
MPT-7B
MPT-7B fait partie des modèles MosaicPretrainedTransformer (MPT) développés par MosaicML. Il a été formé sur 1T de texte anglais et de jetons de code ; Il est dit optimisé pour une formation et une inférence efficaces et, nous devons l'admettre, semble très prometteur en tant qu'alternative open source au GPT.
GPT-J et GPT-NeoX
GPT-J et GPT-NeoX sont des modèles de génération de texte développés par EleutherAI. Bien qu'ils soient de plus petite taille, ces modèles offrent des performances presque identiques aux modèles Babbage et Curie d'OpenAI (famille GPT-3) sur les tâches de modélisation de langage standard. Mieux encore, ces modèles sont totalement gratuits et permettent une utilisation commerciale.
Chariot
Dolly est un autre modèle de langage open source qui peut être utilisé dans les chatbots, la synthèse de texte et l'alimentation des moteurs de recherche de base. Surtout, il est autorisé à des fins de recherche et d’utilisation commerciale.
Chatbots de type ChatGPT construits avec des modèles d'IA génératifs
Alpaga
Alpaca, développé dans le cadre d'un projet de recherche à l'Université de Stanford, aborde le problème croissant des hallucinations et des biais dans les modèles d'IA génératifs. Cependant, son utilisation est limitée à la recherche universitaire et son utilisation commerciale est interdite.
Vigogne
Vicuna, développé par l'équipe de l'UC Berkeley, de la CMU, de Stanford et de l'UC San Diego, a été formé en affinant LLaMA sur 70 000 conversations partagées par les utilisateurs collectées à partir de ShareGPT avec des API publiques. Bien qu’il utilise moins de paramètres que ChatGPT (13B contre 175B), Vicuna a été présenté comme un « chatbot open source qui impressionne GPT-4 avec une qualité ChatGPT comparable au 90% » et a bien performé dans les tests effectués.
GPT4Tous
GPT4All, développé par Nomic AI, a été affiné à partir du modèle LLaMA et formé sur un corpus organisé d'interactions avec les participants, y compris du code, des histoires, des descriptions et des dialogues à plusieurs tours. GPT4All est un écosystème logiciel open source qui permet à quiconque de former et de déployer des modèles de langage volumineux et puissants sur du matériel quotidien.
Assistant Ouvert
OpenAssistant est un projet lancé il y a à peine un mois par le Réseau ouvert d'intelligence artificielle à grande échelle (LAION) et plus de 13 000 bénévoles à travers le monde. Son objectif est de démocratiser l’IA générative et d’empêcher les grandes entreprises de monopoliser le marché des modèles linguistiques. Ils prévoient d'ouvrir en source tous leurs modèles, ensembles de données et le processus de collecte de données de manière totalement transparente.
Considérations finales
Le principal problème des alternatives open source aux modèles de base ChatGPT et GPT est qu'elles sont principalement développées en tant que projets de recherche. Ils sont destinés aux chercheurs, universitaires et amateurs du traitement du langage naturel, de l’apprentissage automatique et de l’intelligence artificielle, et non aux utilisateurs commerciaux. Bien que ces modèles contribuent au développement du domaine de l’IA générative, le nombre d’alternatives open source pouvant être utilisées commercialement est limité et n’inclut pas les modèles les plus puissants.
Cependant, les avantages de l’utilisation de modèles open source peuvent dans certains cas contrebalancer leurs moindres performances. Ces modèles peuvent être développés et ajustés au sein des organisations pour obtenir de bons résultats dans des cas d'utilisation spécifiques. LLaMA, développé par Meta, est l'un des modèles open source les plus importants. Même si ses paramètres ne semblent pas aussi impressionnants que ceux du GPT-4 ou du GPT-3, il ne faut pas le sous-estimer. Malgré moins de paramètres, les modèles LLaMA ont été entraînés avec un plus grand nombre de jetons, ce qui signifie qu'ils sont plus faciles à recycler et à ajuster pour des cas d'utilisation spécifiques. En conséquence, LLaMA-13B surpasse GPT-3 dans les tâches de raisonnement de bon sens.
conclusion
En conclusion, même si les alternatives open source au GPT ne sont pas aussi puissantes que les modèles OpenAI, elles offrent un certain nombre d’avantages qui peuvent les rendre attractives pour certains utilisateurs et entreprises. Cependant, il est important de garder à l’esprit que l’adoption de l’IA générative n’est pas sans défis et sans craintes, et que le choix du bon modèle dépendra des besoins et priorités spécifiques de chaque utilisateur ou entreprise.
Nos partenaires en sécurité et technologie
