Greenmorrow : le jumeau numérique des plantes

‍

Greenmorrow, le projet de recherche de Younup, vise à réaliser un outil permettant de prédire la croissance des plantes. C’est un projet qui agrège des données issues du machine learning et de l’internet des objets pour alimenter un modèle prédictif. Les simulations, issues de ce modèle et retranscrites au travers de la réalité augmentée, permettront de visualiser et d’optimiser le développement d’une plante au cours du temps. Ce projet ambitionne de construire le jumeau numérique des plantes.

Jumeau numérique, kézako ?

Un jumeau numérique est «un modèle numérique d’un process ou d’un objet réel, rendu dynamique par les données issues de ce même process ou objet ». C’est « un véritable jumeau individuel conçu pour suivre en temps réel les transformations de l’objet ou du process spécifique auquel il est attaché, de sa conception jusqu’à sa destruction ».

Le jumeau numérique s’appuie sur un ensemble de modèles physiques utilisés pour réaliser des simulations. La spécificité du jumeau numérique réside dans le fait que ces modèles vont être alimentés en continu par des données collectées via des capteurs disposés sur le système réel, ou issues de la dernière inspection en date.

Au travers du jumeau numérique, nombre d’informations sur l’état de vie d’un système sont diffusées aux différents utilisateurs. La visualisation des résultats des simulations s’effectue le plus souvent sur un tableau de bord, en 3D.

‍

‍

Pour quelle utilisation ?

Pour les entreprises, et en particulier le secteur industriel, les applications sont multiples et offrent de nombreux bénéfices, dans un environnement où les acteurs économiques sont contraints de s’adapter toujours plus vite, de réduire leurs coûts, de faire preuve d’une grande réactivité et capacité à anticiper l’évolution de leur marché. Les secteurs les plus développés en la matière sont l’aéronautique ou la défense. Mais de nombreux exemples se développent en dehors de ces secteurs.

La grande majorité des cas d'utilisation identifiés sont liés à la fabrication avec quelques exemples spécifiques liés à l'industrie 4.0, les smart usines et l’apprentissage. D'autres cas d'utilisation incluent : la conception de produits (vélo, pompe et faisceau de câbles automobile), l’ingénierie basée sur des modèles, la communication 5G, la surveillance de la santé des avions, l’optimisation des composites, les voitures intelligentes, la santé et l’agriculture [5].

Dans le secteur agricole

Les jumeaux numériques peuvent agir comme un moyen central de gérer les exploitations agricoles et ont le potentiel de révolutionner l'agriculture. Ils suppriment les contraintes concernant le lieu, le temps et l'observation humaine. Les opérations agricoles ne nécessiteraient plus la proximité physique, ce qui permet une surveillance, un contrôle et une coordination à distance des opérations agricoles. De plus, les jumeaux numériques peuvent être enrichis d'informations issues de capteurs et qui ne peuvent pas être observées par les sens humains.

Les jumeaux numériques ne représentent pas seulement des états réels, mais peuvent également reproduire des états historiques et simuler des états futurs. Les modèles du jumeau numérique peuvent fournir à chaque instant des informations sur l’état actuel de fonctionnement du système réel auquel il est relié. Il peut également fournir des prédictions en temps réel sur ce qui, au regard de son fonctionnement actuel, va se produire dans les secondes, les minutes, les heures, ou les semaines à venir.

En conséquence, les applications basées sur les jumeaux numériques, si elles sont correctement synchronisées, permettent aux agriculteurs et autres parties prenantes d'agir immédiatement en cas d'écarts.

En optimisant les apports en eau, en ensoleillement, en nutriments ou en identifiant à un stade précoce les agressions extérieures (champignons, parasites, etc…), le jumeau numérique d’une plante permettrait de diminuer les recours aux engrais et aux pesticides. Il serait également capable d’évaluer rapidement l’impact d’un changement dans l’environnement de la plante. Suivant l’objectif visé par l’utilisateur (croissance rapide, productivité optimale, etc…), les simulations permettraient de définir les actions à mener pour les atteindre.

C’est sympa tout ça, mais Greenmorrow ?

Bien que suivant les bonnes pratiques de l’écoconception, le projet que nous menons s’inscrit avant tout dans le Green by IT (Green IT 2.0) avec l’idée que les technologies du numérique pourraient être des catalyseurs du développement durable. C’est une « démarche d’amélioration continue qui vise à réduire l’empreinte économique, écologique et sociale d’un produit ou d’un service, grâce aux TIC »[4]. On vise avant tout à réduire les impacts/externalités métier et non directement le produit ou service lui-même.

Pour arriver au jumeau numérique de la plante, Greenmorrow s’articule autour de ces axes :

• La récolte des informations sur l’état actuel de la plante (au travers de l’intelligence artificielle et l’internet des objets);
• La mise en œuvre d’un modèle physique pour la simulation de la croissance de la plante;
• La visualisation des résultats par réalité augmentée.

Actuellement nous travaillons sur le phénotypage (obtenir l'ensemble des traits observables) de la plante à partir d’une image de celle-ci.

Les solutions basées sur les réseaux de neurones convolutifs (en anglais CNN pour Convolutional Neural Networks) ont démontré leur grand potentiel pour résoudre les problèmes les plus difficiles rencontrés dans diverses applications destinées aux plantes [1].

La reconnaissance peut être réalisée à des degrés de précision différents, par rapport au type d’information ou de concept recherché. En effet, un modèle ou algorithme est capable de détecter un élément spécifique du phénotype de la plante, tout comme il peut simplement attribuer une image à une grande catégorie. Il existe donc différentes tâches que la reconnaissance d’image peut effectuer :

• La classification : Il s’agit de l’identification de la catégorie, à laquelle une image appartient. Une image ne peut appartenir qu’à une seule catégorie.
• La détection : Cela est nécessaire lorsque l’on souhaite situer un objet dans une image. Une fois la localisation réussie, un rectangle va encadrer l’objet en question.
• La segmentation : Elle représente également une tâche de détection. La segmentation peut situer au pixel près un élément sur une image.

‍

‍

Les algorithmes d’apprentissage nécessitent souvent d'énormes quantités de données pour établir une base pour des modèles d'apprentissage fiables. Les données destinées à l'apprentissage doivent être étiquetées ou annotées en fonction de caractéristiques de données qui aident le modèle à organiser les données en modèles qui produisent une réponse souhaitée. Les étiquettes doivent être informatives, discriminantes et indépendantes pour produire un algorithme de qualité. Un ensemble de données correctement étiqueté fournit une vérité terrain que le modèle utilise pour vérifier l'exactitude de ses prédictions et pour continuer à affiner son algorithme.

Bien que certains ensembles de données soient accessibles au public (par exemple, ImageNet et MS COCO), ils ne sont pas bien intégrés et conçus pour des applications destinées aux plantes.

Un rapport de la société de recherche et de conseil en intelligence artificielle (IA) Cognilytica a révélé que plus de 80% du temps que les entreprises consacrent à des projets d'IA est dévoué à la préparation, au nettoyage et à l'étiquetage des données [2].

Un très grand nombre d'outils existent pour l’étiquetage des images. Pour la segmentation, les outils les plus courants reposent fortement sur des outils de sélection d’objet point par point lents, où l'annotateur doit passer par les bords des objets. Ceci est non seulement extrêmement long et coûteux, mais est également très sensible aux erreurs humaines.

Actuellement, les algorithmes permettant de labelliser les images s’orientent vers des méthodes visant à réduire les interactions avec l’annotateur. Ces méthodes s’appuient sur les CNN dits semi-supervisés ou faiblement supervisés [3, 6].

Un des objectifs du projet est donc de construire un outil d’annotation performant qui nous permettrait d’obtenir différents jeux de données en vue d’entrainer notre modèle de phénotypage de plantes. Cet outil pourrait être partagé en open-source avec la communauté.

Références :

[1] Jiang, Y., & Li, C. (2020). Convolutional Neural Networks for Image-Based High-Throughput Plant Phenotyping: A Review. Plant Phenomics,2020, 4152816.

[2] Cognilytica (2019). Data Engineering, Preparation, and Labeling for AI 2019 https://www.cognilytica.com/2019/03/06/report-data-engineering-preparation-and-labeling-for-ai-2019/

[3] Rajchl, M., Lee, M. C., Oktay, O., Kamnitsas, K., Passerat-Palmbach, J., Bai, W., ... & Rueckert, D. (2016). Deepcut: Object segmentation from bounding box annotations using convolutional neural networks.IEEE transactions on medical imaging, 36(2), 674-683.

[4] CIGREF, Du Green IT au Green by IT : Exemples d’applications dans les Grandes Entreprises, 2017.

[5] Lim, K. Y. H., Zheng, P., & Chen, C. H. (2019). A state-of-the-art survey of Digital Twin: techniques, engineering product lifecycle management and business innovation perspectives. Journal of Intelligent Manufacturing, 1-25.

[6] Ilyas, T., Khan, A., Umraiz, M., & Kim, H. (2020). SEEK: A Framework of Superpixel Learning with CNN Features for Unsupervised Segmentation. Electronics, 9(3), 383.

‍