Robotique agricole et IA à l’Edge
Aigen fait progresser l’agriculture durable grâce à des robots à énergie solaire et à NVIDIA Cosmos
Aigen
Objectif
Aigen développe des robots autonomes alimentés par l'énergie solaire qui éliminent mécaniquement les mauvaises herbes, aidant ainsi les agriculteurs à protéger leurs cultures tout en réduisant leur dépendance à l'égard de l'application d'herbicides et des passages sur le terrain avec des véhicules fonctionnant au diesel. Étant donné que les champs agricoles évoluent rapidement, le fait de collecter et d'étiqueter suffisamment de données réelles pour entraîner une IA fiable est à la fois long et coûteux.
Pour remédier à ce problème, Aigen a mis en œuvre Alchemy, un modèle de monde extérieur qui génère des variations réalistes et synthétiques des cultures, des mauvaises herbes, du sol, de l’éclairage et de la profondeur. Alchemy inclut une technologie NVIDIA Cosmos post-entraînée et personnalisée pour l’autonomie à l’extérieur et tout terrain. Les données synthétiques d’Aigen permettent le désherbage autonome sur le terrain tout en économisant un temps et des ressources essentiels. Les derniers robots d’Aigen utilisent trois modules NVIDIA Jetson Orin NX pour une perception, une navigation et un contrôle mécanique écoénergétiques.
Principaux enseignements
99 % de données synthétiques avec Cosmos
- Aigen a développé Alchemy, son modèle de monde extérieur personnalisé et formé avec 99 % de données synthétiques, grâce au post-entraînement de NVIDIA Cosmos 3 pour être adapté à des environnements agricoles plus réalistes et diversifiés.
Réduction de l’utilisation des capacités de calcul à 30 % avec NVIDIA Jetson
- Le passage du calcul embarqué sur NVIDIA Jetson Orin NX a permis de réduire l’utilisation du calcul d’environ 100 % à environ 30 %, améliorant la stabilité et libérant des capacités pour des charges de travail supplémentaires d’IA, sans avoir à ajouter du matériel ni dépasser le budget consacré à l’énergie solaire du robot.
Matériel efficace, modèles plus intelligents
- NVIDIA Jetson : capacité accrue des robots tout en réduisant le matériel embarqué de cinq appareils de calcul à trois modules NVIDIA Jetson Orin NX, permettant ainsi une conception à quatre bras et des actions robotiques plus complexes.
- NVIDIA Cosmos : réduisez le temps et les coûts liés à l'expansion de la couverture d'entraînement en remplaçant des mois de collecte manuelle de données sur le terrain et l'étiquetage par la génération de scénarios synthétiques.
Mise à l’échelle du contrôle des mauvaises herbes sans produits chimiques
Faire progresser le contrôle des mauvaises herbes sans produits chimiques dans des champs imprévisibles
Dans le domaine de l’IA physique, la robotique agricole est confrontée à certains des environnements visuels les plus complexes et les plus incontrôlés. Au cours d'une seule saison de croissance, un champ de soja subit une transformation totale, passant du premier semis à la totalité de la frondaison, tandis que des facteurs tels que l'éclairage, les conditions du sol et la pression variable des mauvaises herbes modifient continuellement la scène pour les systèmes autonomes.
L’approche traditionnelle de l’IA agricole repose sur des années de collecte et d’annotation manuelles de données, mais cette méthode peine à évoluer. Étant donné que chaque champ est unique et que les données visuelles sont souvent limitées à de courts moments saisonniers, la capture et l'étiquetage de toute l'étendue des variations de terrain deviennent trop coûteux et chronophages.
L’impact des mauvaises herbes est immédiat : les plantes invasives réduisent la productivité des récoltes, et la gestion de ces mauvaises herbes sur de vastes superficies présente une charge financière importante. L’émergence de variétés résistantes aux herbicides constitue un défi croissant pour de nombreux agriculteurs, mais le recours à la main-d’œuvre humaine pour les éliminer n’est ni évolutif, ni rentable. En outre, les dérives chimiques présentent des risques pour le personnel et la végétation environnante, tandis que le ruissellement menace les écosystèmes aquatiques locaux. En déployant une robotique entièrement autonome et alimentée par l’énergie solaire pour le contrôle mécanique des mauvaises herbes, Aigen permet aux producteurs de protéger leurs récoltes tout en minimisant leur dépendance aux herbicides traditionnels et aux opérations sur le terrain à forte consommation de diesel.
Le principal défi concernait le décalage entre les environnements agricoles en constante évolution et la lenteur de la collecte et de l'étiquetage manuels des données. Pour capturer différents types de cultures, de stades de croissance, de densité de mauvaises herbes, de conditions d’éclairage et de scénarios de maladies, l’équipe d’Aigen a mis à profit la génération de données synthétiques pour étendre les entraînements. Cela a permis à l’équipe d’entraîner des modèles de perception afin de les généraliser aux types de cultures, aux espèces de mauvaises herbes et aux conditions de terrain non représentées dans le jeu de données après l’entraînement.
Développement de l’IA agricole avec NVIDIA Cosmos
Mise à l’échelle des données d’entraînement pour l'agriculture avec NVIDIA Cosmos
Avec 275 espèces de mauvaises herbes résistant aux herbicides répertoriées dans le monde entier, la collecte saisonnière de données sur les champs ne peut pas fournir à elle seule la diversité visuelle dont l’IA agricole a besoin. Aigen utilise Alchemy et NVIDIA Cosmos 3 pour générer et étiqueter des scénarios d’agriculture synthétique. Dans des travaux précédents, Aigen avait post-entraîné Cosmos Transfer 2.5 à partir d'environ 3 000 clips RGB et de profondeur capturés par sa flotte, soit environ 8,3 heures de séquences de soja, de coton et de tomates couvrant différentes densités de mauvaises herbes, étapes de croissance et conditions d'éclairage.
Le modèle post-entraîné a amélioré les résultats dans des environnements jamais vus auparavant, notamment :
- Davantage de formes et de couleurs de feuilles appropriées à chaque espèce, une plus grande diversité des mauvaises herbes, des textures de sol plus détaillées, un éclairage et des ombres extérieurs plus cohérents, ainsi qu'un alignement plus précis avec les cartes de profondeur.
- Descriptions de scènes utilisant le type de culture, l'angle de caméra et les conditions sur le terrain, produisant des exemples étiquetés pour l'entraînement des modèles de perception.
Sur la base de ces travaux, Aigen a post-entraîné une politique sur des données de conduite conditionnées par l'action, ce qui permet à l'entreprise de générer un million d'heures de données de vidéos d'action en quelques mois, fournissant ainsi une source évolutive de données d'entraînement associées pour les futures politiques.
À l’aide de données d’entraînement synthétiques provenant d’Alchemy, Aigen a mis en place un désherbage autonome sur le terrain grâce à un modèle de perception entraîné sur 1 % de données réelles et 99 % de données synthétiques. Cette approche permet de réduire les délais et les coûts associés à la collecte de données sur le terrain et à l’annotation manuelle. À mesure que le travail passe de la perception à l’action, le prochain défi consiste à gérer des modèles de plus en plus performants avec le budget consacré à l’énergie solaire de chaque robot.
"Alchemy, ainsi que Cosmos, nous permettent de mettre en œuvre des modèles de contrôle des mauvaises herbes en production et d’analyse sur champ si rapidement que nous pouvons désormais les déployer pendant la saison au cours de laquelle nous étudions une récolte. Il faut normalement trois à quatre ans pour collecter des données, les étiqueter et entraîner des modèles. Les étiquettes accompagnent les données par construction plutôt que de provenir d'un annotateur manuel, nous ne sommes donc plus dépendants de la saisonnalité, le délai de traitement des modèles se compte en heures plutôt qu'en saisons, et des modèles efficaces sont désormais déployés directement sur NVIDIA Jetson Orin NX sur nos robots Element à énergie solaire."
Richard Wurden
Co-fondateur et Directeur technique chez Aigen
"Les distributions pré-entraînées a priori et l’architecture extensible de Cosmos 3 constituent une excellente base pour créer un modèle de monde personnalisé. Cela a contribué à accélérer le développement d’Alchemy, qui permet de débloquer de nouvelles capacités en matière d’autonomie non structurée en plein air."
Usman Khan
, Data scientist senior chez Aigen
Expansion des capacités des robots avec NVIDIA Jetson
Création d’un robot à quatre bras avec trois modules NVIDIA Jetson
Le remplacement de cinq systèmes sur puce (SoC) par trois modules NVIDIA Jetson Orin NX a permis à Aigen d'avoir davantage de capacités d'IA intégrées malgré une consommation énergétique moindre. Cette capacité supplémentaire prend en charge une conception à quatre bras, ce qui augmente le débit de désherbage tout en maintenant la perception en temps réel, la navigation basée sur la vision sans GPS et le contrôle mécanique du robot.
Lors des tests de développement, Aigen indique que l’architecture basée sur Jetson fonctionnait avec une utilisation de calcul d’environ 30 %, contre une utilisation à 100 % sur son système précédent. La capacité restante améliore la stabilité du système et permet à Aigen d'ajouter des capacités au-delà du contrôle des mauvaises herbes, sans avoir à faire appel à du matériel de calcul ni avoir à dépasser le budget du robot consacré à l'énergie solaire.
Mise à l’échelle de l’agriculture sans produits chimiques, des essais sur le terrain à la flotte
Aigen prévoit d’utiliser la puissance de calcul disponible pour ajouter des capacités allant au-delà du désherbage, sans avoir à repenser le matériel ni dépasser son budget consacré à l’énergie solaire. Cette flexibilité est au cœur du modèle de développement d'Aigen, car elle permet à de nouvelles capacités logicielles de s'appuyer sur la même base d'Edge Computing à mesure que la flotte se développe. Pour élargir l'assistance dans les cultures et les conditions sur le terrain, Aigen adopte NVIDIA Cosmos 3 comme principal modèle de base d’Alchemy afin d’étendre ses capacités en matière de données synthétiques. Cette combinaison de l’IA agricole et de la robotique alimentée par l’énergie solaire offre à Aigen une voie évolutive vers le contrôle des mauvaises herbes, réduisant ainsi le recours aux herbicides et aux passages dans les champs alimentés au diesel. Ensemble, l’IA agricole d’Aigen et les robots à énergie solaire contribuent à faire évoluer la lutte contre les mauvaises herbes sans produits chimiques et à créer un avenir plus durable pour l’agriculture.
"Aigen est la seule entreprise à pratiquer un contrôle mécanique entièrement autonome des mauvaises herbes à l'aide de l'énergie solaire, et chaque watt de calcul compte. Le passage à NVIDIA nous a permis de passer de cinq à trois SoC et a offert davantage de capacités à chaque robot. C’est ce qui permet à notre robot à quatre bras d’exécuter une IA complète à l'Edge à grâce à l’énergie solaire, de naviguer sans GPS et de conserver une marge de calcul pour des capacités allant au-delà du contrôle des mauvaises herbes."
Richard Wurden
Co-fondateur et Directeur technique chez Aigen
Découvrez comment NVIDIA Cosmos aide les développeurs à concevoir plus rapidement l'IA physique grâce aux principaux modèles de fondation mondiaux, mais aussi à des frameworks ouverts de traitement, d'entraînement et d'évaluation.