Nous Research et Psyche, la révolution de l’IA open source et décentralisée

Note : En clin d’oeil, cet article a été en partie rédigé à l’aide du modèle Hermes de Nous Research, que nous avons utilisé à travers l’interface Nous Chat.

---

Qu’est-ce que Nous Research ?

Nous Research est un collectif de chercheurs et développeurs en intelligence artificielle (IA) qui s’est formé autour d’une vision commune : prioriser le développement de modèles open source et promouvoir des systèmes distribués et décentralisés afin de rendre ces technologies plus accessibles.

Actuellement, la majorité des modèles et logiciels d’intelligence artificielle est propriétaire, c’est-à-dire que le code appartient à l’entreprise qui l’a développé. Certes, il existe des initiatives pour promouvoir l’open source, notamment soutenues par Meta. Néanmoins, cette dynamique pourrait s’interrompre, laissant l’ensemble de la communauté open source dépendante de solutions entièrement centralisées.

L’ambition de Nous Research est de mener des recherches fondamentales sur l’entraînement, le fine-tuning et l’inférence de modèles d’IA afin de rendre ces technologies plus facilement utilisables, sans dépendance vis-à-vis d’entreprises centralisées.

Nous Research ne s’est pas constitué comme une entreprise classique. Il s’agit d’un regroupement de chercheurs, de développeurs et d’enthousiastes de l’IA qui se sont rencontrés via des serveurs Discord ou Reddit, avant de s’unir pour mener des initiatives plus ambitieuses. Le projet a levé 5,2 millions de dollars et a récemment obtenu une subvention de la part du célèbre fonds a16z, dans le cadre de leur Open Source AI Grant Program.

Nous Research est derrière plusieurs produits et innovations marquants (nous en parlerons un peu plus loin), dont :

• Hermes 3 : Un modèle de langage optimisé, plus efficace et moins biaisé que ses concurrents.
• DisTrO : Un framework pour l'entraînement distribué de modèles d'IA via des GPUs répartis dans le monde entier.
• Forge API : Une API combinant plusieurs modèles pour des résultats plus riches et diversifiés.
• Nous Chat : Une interface utilisateur permettant une expérience simplifiée avec Hermes 3.
• Nous Psyche : La dernière initiative, visant à démocratiser l’entraînement collaboratif d’IA sur Solana.

---

Nous Psyche, l’entraînement collaboratif d’IA sur Solana

Le 27 janvier 2025, Nous Research a annoncé le lancement de Nous Psyche, une nouvelle étape dans son ambition de démocratiser l’entraînement et l’inférence des modèles d’intelligence artificielle. Nous Psyche est une plateforme décentralisée, reposant sur une infrastructure distribuée, et conçue pour permettre à n’importe qui de collaborer à l’entraînement de modèles d’IA de pointe.

Un réseau d’entraînement décentralisé

La première phase de Psyche exploite la technologie Nous DisTrO, un framework d’entraînement distribué qui permet à divers types de GPUs de participer de manière collaborative à l'entraînement de modèles d'IA. La blockchain Solana joue un rôle central en coordonnant les contributions des participants, garantissant l’intégrité et la traçabilité des tâches d’entraînement.

L'un des aspects clés de Psyche est sa tolérance aux pannes et sa flexibilité. Lors des tests initiaux, Nous Research a démontré que de nouveaux nœuds de calcul pouvaient être ajoutés dynamiquement en cours d'entraînement, et que la structure pouvait absorber les échecs individuels de certains nœuds sans perturber le processus global.

Dans un premier temps, le réseau Psyche est semi-permissionné, c’est-à-dire que les fournisseurs de puissance de calcul doivent être validés par Nous Research. À terme, l’objectif est d’aboutir à un réseau totalement permissionless, où n’importe quel utilisateur pourra contribuer à l’entraînement des modèles.

Inférence décentralisée et renforcement des modèles

Si la première phase de Psyche est principalement axée sur l’entraînement collaboratif des modèles, la seconde phase introduira une infrastructure d’inférence accessible et une approche avancée de l’apprentissage par renforcement (Reinforcement Learning).

L’un des défis majeurs du développement de modèles IA sophistiqués réside dans leur capacité à améliorer leur raisonnement de manière autonome. Psyche vise à intégrer des méthodologies de reinforcement learning distribuées, dans lesquelles l’inférence fait partie intégrante de l’entraînement des modèles. Ce type d’architecture est fondamentalement différent des approches classiques, où l’entraînement et l’inférence sont traités séparément.

Avec cette approche, Nous Research prévoit de pré-entraîner, fine-tuner et servir ses futurs modèles de langage directement sur Psyche. Ce système permettra d’instaurer un processus continu d’amélioration des modèles, tout en assurant une distribution instantanée des avancées en IA.

Optimisation grâce à Nous DisTrO

Psyche repose sur Nous DisTrO, l’un des composants les plus avancés développés par Nous Research. Cette technologie permet de réduire drastiquement les besoins en bande passante et d’optimiser la communication entre GPUs. Lors d’un test grandeur nature, DisTrO a permis de :

• Réduire la consommation de bande passante d’un facteur allant de 1 000x à 10 000x par rapport aux solutions classiques.
• Éviter l’utilisation d’interconnexions matérielles coûteuses tout en maintenant un niveau de performance élevé.
• Démontrer la robustesse du système : plus de 11 000 étapes d’entraînement ont été complétées avec succès, et l’ajout dynamique de nouveaux nœuds a permis d’augmenter les taux d’entraînement sans perte de stabilité.

Le développement de DisTrO a été piloté par certains des chercheurs les plus influents du domaine, dont Diederik P. Kingma, cofondateur d’OpenAI et co-auteur de l’algorithme d’optimisation Adam, largement utilisé dans l’entraînement des modèles IA modernes.

Le rôle de Solana et l’économie de Psyche

L’un des choix stratégiques les plus importants de Nous Research a été d’implémenter Psyche sur Solana, un réseau réputé pour ses faibles coûts de transaction et sa scalabilité. D’après une publication de l’internaute @0xElonMoney, le réseau Psyche fonctionnerait avec un système d’incitations qui récompense les contributeurs en fonction de leur participation au réseau :

• Récompenses pour l’entraînement des modèles : les participants qui mettent à disposition leur puissance de calcul recevront des tokens en échange de leur contribution.
• Récompenses pour la validation et l’observation : afin d’assurer l’intégrité du réseau, un mécanisme de validation est mis en place, où certains participants seront chargés de vérifier la qualité des contributions des autres.
• Sanctions contre les comportements malhonnêtes : un système de pénalités réduira les récompenses des nœuds qui ne respectent pas les exigences du protocole (ex : soumission de données incorrectes).

Si aucun token officiel n’a encore été annoncé, tout porte à croire que Nous Research en implémentera un pour inciter les contributeurs et assurer le bon fonctionnement de l’écosystème Psyche. Par ailleurs, dans la documentation du lancement du token VVV de Venice, on peut lire qu’une partie de l’allocation est prévue pour “le lancement du token de Psyche”.

Un tournant pour le développement de l’IA décentralisée ?

Avec Psyche, Nous Research ne se contente pas d’améliorer les modèles existants : l’objectif est de modifier en profondeur la manière dont l’IA est entraînée et distribuée. Le projet introduit une infrastructure décentralisée qui pourrait :

• Réduire la dépendance aux grands centres de données, rendant l'entraînement des modèles IA plus accessible.
• Encourager une approche collaborative, où chercheurs, entreprises et particuliers peuvent contribuer à l'amélioration des modèles.
• Assurer une résilience face à la censure et aux restrictions réglementaires, en s’appuyant sur un réseau distribué et autonome.

Nous Research prévoit d’intégrer Psyche dans l’ensemble de son écosystème, notamment en hébergeant ses futurs modèles Hermes directement sur le réseau. Cela inclut Hermes 3 et ses prochaines versions, qui seront affinées et améliorées grâce à l’infrastructure distribuée de Psyche.

L’avenir de Psyche pourrait également inclure l’intégration de modèles multimodaux, capables de traiter à la fois du texte, des images et des vidéos, ainsi qu’une ouverture vers des applications avancées dans le gaming, la simulation et les agents IA autonomes.

En combinant intelligence artificielle open source, infrastructure distribuée et incitations économiques basées sur Solana, Nous Psyche pourrait bien devenir l’un des projets les plus ambitieux de l’écosystème IA décentralisé.

---

Les autres produits de Nous Research

→ Pour en savoir plus sur Nous Research, consultez la vidéo complète de notre contributeur, Victor (@victor_crypto_).

Hermes 3

L’un des développements les plus marquants de Nous Research est Hermes 3, une famille de modèles de langage optimisés à partir de Llama 3 (le modèle de Meta). Grâce à un fine-tuning avancé, Nous Research a permis d'améliorer plusieurs aspects clés du modèle, notamment sa capacité de raisonnement, son respect des instructions et sa rétention du contexte sur des conversations longues.

Contrairement aux modèles dominants développés par les entreprises centralisées, Hermes 3 a été conçu pour être moins biaisé et plus neutre dans ses réponses. Nous Research a mis en avant cette caractéristique en publiant des comparaisons avec d'autres LLMs (comme Claude ou GPT), montrant que Hermes 3 ne filtre pas artificiellement certains sujets et respecte les requêtes des utilisateurs sans déformation idéologique.

Son succès ne s’est pas limité à la recherche. Hermes 3 est aujourd’hui l’un des modèles open source les plus téléchargés (plus de 50 millions de téléchargements), et il alimente une grande partie des agents IA sur X (ex-Twitter), Discord, Telegram et d’autres plateformes.

L’entraînement d’Hermes 3 a été réalisé en collaboration avec Lambda Labs, et le modèle est accessible via Hugging Face pour les chercheurs et développeurs souhaitant l'exploiter dans leurs applications.

DisTrO

Nous Research a également développé DisTrO (Distributed Training Over-the-Internet), un framework d’entraînement collaboratif permettant de pré-entraîner et fine-tuner des modèles d’IA de manière décentralisée, en utilisant des GPUs répartis dans le monde entier.

Le principal problème de l’entraînement des modèles IA est qu’il nécessite d’énormes ressources informatiques, souvent centralisées dans des data centers appartenant à quelques grandes entreprises. DisTrO propose une alternative plus ouverte, en permettant d’entraîner des modèles IA sur des infrastructures distribuées, sans nécessiter d’interconnexions haut débit coûteuses.

Les performances de DisTrO ont été testées à grande échelle avec l’entraînement d’un modèle de 15 milliards de paramètres, utilisant des GPUs fournis par Oracle, Northern Data, Lambda Labs, Crusoe Cloud et Andromeda Cluster. L’expérience a démontré plusieurs avancées majeures :

• Compression de la bande passante jusqu’à 10 000x par rapport aux méthodes classiques, rendant l’entraînement accessible avec une connexion internet standard.
• Tolérance aux pannes : le système peut s’adapter aux interruptions sans interrompre l’entraînement global.
• Scalabilité : de nouveaux nœuds de calcul peuvent être ajoutés dynamiquement pour accélérer le processus.

L’algorithme derrière DisTrO, appelé DeMo (Decoupled Momentum Optimization), a été développé en collaboration avec Diederik P. Kingma, cofondateur d’OpenAI et co-auteur de l’algorithme Adam, l’un des plus utilisés en deep learning.

Note : DisTrO constitue le socle technologique de Nous Psyche, mais son usage dépasse largement ce projet. Il représente une avancée majeure dans le domaine du machine learning collaboratif et de l’open science en IA.

Forge API

L’un des autres projets clés de Nous Research est Forge API, une API permettant d’orchestrer plusieurs modèles d’IA afin d’améliorer la qualité des réponses générées. Plutôt que de se limiter à un unique LLM, Forge API propose une approche Mixture of Models (MoM), dans laquelle plusieurs modèles spécialisés peuvent être utilisés ensemble pour fournir des résultats plus précis et nuancés.

Concrètement, Forge API permet de :

• Combiner des modèles comme Hermes 3, GPT, Claude ou Gemini pour améliorer les performances globales.
• Définir des chaînes d’agents IA, où plusieurs modèles interagissent entre eux pour résoudre des tâches complexes.
• Optimiser les réponses en sélectionnant dynamiquement le modèle le plus adapté en fonction du contexte.

Cette approche multi-modèles améliore considérablement la robustesse et l’efficacité des systèmes IA, notamment dans des cas d’usage comme la recherche avancée, la synthèse d’informations et l’analyse décisionnelle.

Nous Chat

Nous Research a récemment lancé Nous Chat, une interface permettant d’interagir facilement avec Hermes 3, à la manière de ChatGPT ou HuggingChat.

Jusqu’alors, les utilisateurs devaient télécharger et exécuter le modèle sur leurs propres machines ou passer par des plateformes partenaires. Avec Nous Chat, l’accès à Hermes 3 est désormais simplifié et accessible directement via une interface web intuitive.

Nous Chat se distingue par plusieurs fonctionnalités :

• Une interface minimaliste et fluide, inspirée des premiers terminaux informatiques.
• Un accès direct à Hermes 3-70B, sans filtrage excessif des réponses.
• Des catégories de prompts prédéfinis, permettant d’explorer diverses applications de l’IA (analyse, écriture créative, résolution de problèmes, etc.).

Contrairement aux solutions d’OpenAI ou d’Anthropic, Nous Chat ne collecte pas les données des utilisateurs et reste fidèle aux valeurs de confidentialité et de contrôle open source prônées par Nous Research.

Simulators

Nous Research explore également des concepts d’IA interactive et immersive, notamment avec les Simulators.

Ces systèmes IA visent à reproduire des environnements dynamiques et autonomes, où les modèles peuvent apprendre en interagissant directement avec leur environnement. Quelques exemples d’expérimentations en cours :

• TEE, un agent IA sur X (Twitter) capable de prouver son autonomie réelle.
• God & Satan, deux comptes X extrêmement suivis et anciennement gérés par des individus sont en train d’être entraînés et fine-tuné afin de devenir autonomes et entièrement pilotés par IA pour interagir et créer du contenu.
• Le "World Simulator", un projet visant à simuler des scénarios complexes en IA, comme des dynamiques sociales ou économiques.

---

Conclusion

Nous Research s’est imposé comme l’un des collectifs les plus ambitieux dans la course à l’intelligence artificielle décentralisée. Là où les géants comme OpenAI, Anthropic ou Google avancent avec des milliards en financement et une infrastructure centralisée, Nous Research trace sa propre voie, portée par une vision radicale de l’open-source et du partage des ressources de calcul.

Avec Nous Psyche, l’équipe ambitionne de rendre l’entraînement de modèles d’IA aussi accessible que le minage de cryptomonnaies à ses débuts. Si le projet atteint son plein potentiel, il pourrait redistribuer les cartes dans le domaine de l’IA, en donnant aux chercheurs, aux développeurs et aux utilisateurs lambda un rôle actif dans le développement des modèles.

Mais une question demeure : cette approche peut-elle rivaliser avec les monstres d’optimisation des Big Tech ? L’avenir nous dira si la décentralisation et la collaboration ouverte peuvent offrir une alternative viable face aux clusters de supercalculateurs et aux modèles fermés.