Outils d’évaluation FAIR : comment comparer ce qui est comparable ?
Rapport de la task force “Fair metrics and data quality”
Décembre 2022
>> Lien vers le document original
TABLE DES MATIÈRES
Résumé
- Contexte
- La comparaison de ce qui est comparable au banc d’essai
- Conclusions provisoires
- Suites
- Conformité aux standards de métadonnées
- Impliquer les principaux acteurs
- Pérennité du système
- Remerciements
- Références
Résumé
Dans le cadre de la Task Force (TF) de l’EOSC « FAIR Metrics and Data Quality », le sous-groupe FAIR Metrics a pour tâche d’examiner l’adoption et l’application des indicateurs de compatibilité FAIR et le recours aux évaluations de celle-ci et leur utilité. Une gamme d’outils d’évaluation FAIR a été créée pour mesurer la conformité avec les indicateurs FAIR établis, en appliquant des mesures sur un ou plusieurs objets numériques (objets en eux-mêmes, comme jeux de données et entrepôts de données numériques compris). Malheureusement, pour de mêmes objets les différents outils produisent souvent des résultats très différents en raison d’interprétations indépendantes des indicateurs, des paradigmes inspirant la diffusion des métadonnées et même de l’intention des principes FAIR eux-mêmes.
Face au statu quo, le sous-groupe FAIR Metrics (représenté par les auteurs de ce rapport) a réuni les développeurs de plusieurs outils d’évaluation FAIR et services de base (énumérés dans les remerciements) pour une séquence de travaux pratiques sous forme de hackathons destinés à identifier une méthodologie commune apte à permettre la production de métadonnées qui pourrait être mise en œuvre par tous les diffuseurs de données que sont les producteurs de bases de données, les entrepôts et les gestionnaires de catalogues de données. Cela a conduit à l’identification d’un processus de publication de (méta)données basé sur des standards du Web bien établis et déjà utilisés quotidiennement par les communautés qui diffusent des données, même si ce n’est pas de manière uniforme. Un document de spécification décrivant l’approche et une série de critères de comparaison normalisés dit « Apples-to-Apples »[1] (A2A) destinés à évaluer la conformité envers cette approche de publication de (méta)données ont été élaborés au cours de ces « hackathons » successifs. Les concepteurs d’outils d’évaluation FAIR ont également commencé à coder leurs programmes pour s’assurer que leurs outils chacun de leur côté se comportent de la même manière lorsqu’ils rencontrent ces environnements d’étalonnage A2A, permettant ainsi d’offrir la garantie que les diffuseurs de données qui suivent ce paradigme seront évalués d’une manière harmonisée par tous les outils de mesure. D’autres points de réflexion relatifs à l’harmonisation des outils d’évaluation seront abordés plus loin. Le présent rapport décline la logique de ces ateliers et hackathons, met en avant les résultats produits et le travail accompli, en dresse un état et aborde ensuite les prochaines étapes. Les auteurs proposent que l’Association EOSC, la Task Force de l’EOSC « Long-term Data Preservation » et d’autres groupes et projets en Europe et dans le monde prennent en compte cette approche destinée à fournir des outils précis à tous les acteurs qui interviennent dans l’application des principes FAIR dans les données de recherche.
1. Contexte
Les informations qui contextualisent la raison d’être des événements organisés par les parties prenantes de l’évaluation FAIR sont décrites en détail dans le livre blanc intitulé « Community-driven Governance of FAIRness assessment : an Open Issue, an Open Discussion », et sont résumées dans les chapitres qui suivent.
Le statu quo : d’où vient le problème
La conformité aux principes FAIR se trouve actuellement « engluée » dans une situation où elle est à la fois une nécessité de plus en plus courante dans le domaine de la recherche et de la publication tout en restant un cortège d’idéaux non mesurables.
Ces dernières années, plusieurs activités se sont centrées sur l’élaboration de systèmes de mesure sur les principes FAIR et d’indicateurs de compatibilité, qui restituent les caractéristiques d’un objet numérique mis en rapport avec sa conformité avec des principes FAIR précis [2], et sur des tests qui appliquent ces indicateurs de manière totalement automatique, ou semi-automatique. Une série d’outils d’évaluation FAIR ont été conçus pour mesurer la conformité FAIR moyennant des combinaisons de tests pour évaluer un ou plusieurs objets numériques. Aujourd’hui, en novembre 2022, FAIRassist décrit 22 outils, et une comparaison d’une sélection de ceux étiquetés comme « automatiques » est disponible sur [3].
Malheureusement, les principes FAIR dans leur énoncé sont insuffisants pour circonscrire les mécanismes valides qui réaliseraient les comportements qu’ils décrivent. Cette souplesse laissée à l’interprétation de cette notion a conduit à un large éventail de mises en œuvre se décrivant comme « FAIR ». Parallèlement à cela, les créateurs d’outils d’évaluation FAIR ne disposaient d’aucune orientation sur la façon d’appliquer des indicateurs à un objet numérique. Ils ont librement interprété l’intention de départ de chacun des Principes, ce qui doit être testé et la manière de le faire. Par conséquent, le même objet numérique évalué par différents outils se voit souvent attribuer des résultats très différents, ce qui entraîne de la frustration et de la confusion au sein de la communauté des diffuseurs de données scientifiques.
L’hétérogénéité de l’évaluation FAIR : les risques pour les acteurs dans leur globalité
Sans cohérence dans les tests, les évaluations FAIR tendront à la « gamification ».
Le fait de se conformer aux principes FAIR devient une exigence imposée par les agences et les éditeurs qui souhaitent amplifier l’utilité et la réutilisation de leurs données. Cependant, compte tenu de ce statu quo, les dispositifs d’évaluation de la compatibilité FAIR ne doivent pas être mal employés ou mal interprétés, surtout lorsqu’ils deviennent un instrument décisionnel au cours de scénarios de financement.
Il n’en demeure pas moins que les organismes de recherche, les chercheurs et les administrateurs de la recherche ont besoin de mesures objectives et d’éléments d’orientations pour aboutir à un niveau raisonnable de conformité aux Principes et pour les aider à interpréter les facettes de compatibilité atteintes par un objet numérique donné. C’est sur ce point que les outils de validation, d’évaluation et d’assistance appliqués à la maturité FAIR seraient utiles, mais à la seule condition qu’ils présentent une cohérence les uns envers les autres et, plus important encore, qu’ils inspirent la confiance de l’ensemble de la communauté des intervenants.
Malheureusement, la situation actuelle est calamiteuse. À sélectionner simplement deux des outils d’évaluation FAIR automatisés – The FAIR Evaluator [4] et F-UJI [5] – on constate des problèmes liés à leur comparabilité. La figure 1 montre ce qui sort de FAIR Evaluator (version commerciale) (figure 1A) et de F-UJI (figure 1B) lorsqu’ils sont testés sur le même URI qui représente l’enregistrement du catalogue correspondant au point de données FAIR issu du registre des patients du « Duchenne Parent Project » (version 1.0.26 de l’évaluateur Metrics; version 0.4 de l’évaluateur F-UJI Metrics; septembre 2021). Trois problèmes importants au moins apparaissent dans cette comparaison côte à côte. Premièrement, ces deux outils d’évaluation appliquent un nombre de tests différents, et ni l’un ni l’autre ne couvre complètement l’ensemble des 42 indicateurs de maturité identifiés par le groupe de travail RDA « Fair Data Maturity Model ». Deuxièmement, la distribution des tests diffère, F-UJI opérant la plupart de ses tests dans le domaine de la « Réutilisabilité ».
En revanche, Fair Evaluator applique la plupart de ses tests à la facilité de découverte et à l’interopérabilité.
Ce qui est peut-être le plus frappant, cependant, c’est la différence dans les scores. Là où FAIR Evaluator attribue à ce point de données FAIR un score presque parfait, en parallèle, F-UJI génère une note de qualité insuffisante pour la même ressource numérique.
A | ![]() | Score 20/22 |
B | ![]() | Score 2/24 |
On peut s’interroger sur ce qui engendre cette incohérence. A la suite de différents échanges personnels, les auteurs de F-UJI et de FAIR Evaluator savaient que leurs flux de travaux consacrés au « moissonnage » de métadonnées – autrement dit la collecte d’informations sur lesquels les tests de compatibilité FAIR étaient appliqués – n’étaient pas identiques. Il n’est pas clair dans quelle mesure ce phénomène résultait de ces différences, ou de la conception de base des tests eux-mêmes ; cependant, il y avait de nombreuses raisons pour que l’on prenne le moissonnage des métadonnées comme un point de départ pour l’harmonisation, car, en l’absence de fondement commun pour ces tests, il n’est pas possible de circonscrire les différences entre les tests en eux-mêmes ou de discerner comment le poids de ceux-ci se différencie d’un outil d’évaluation à l’autre. Toutefois, il n’y aurait rien de surprenant que des systèmes d’évaluation différents ne suivent pas les mêmes méthodes de moissonnage en raison de la large diversité entre approches pratiquées dans la publication de métadonnées. Pour se rendre compte de la gravité du problème dans la fourniture de métadonnées, il est utile d’examiner le processus de fonctionnement appliqué à la recherche de métadonnées dans l’un des cas d’utilisation les plus courants : un objet déposé dans une archive et identifié à l’aide d’un DOI. La Figure 2 présente un cas opérationnel typique appliqué pour collecter les métadonnées associées à un dépôt dans Zenodo, et identifié par un DOI.
A | ![]() |
B | ![]() |
C | ![]() |
Figure 2 : Processus de collecte des métadonnées d’un dépôt à partir d’un DOI. A. Le processus de négociation de contenu en quatre étapes sur le fournisseur de DOI (par exemple, DataCite) commence par (a) la négociation de contenu pour vnd.citationstyles.csl+json, qui renvoie (b) des métadonnées sur le dépôt dans le format JSON, format préféré de DataCite. Le processus se poursuit avec (c) une demande de « représentation par défaut » (*/*), qui amène les serveurs de DataCite à émettre une redirection HTTP de plage 300 (d) vers la page de destination (landing page) du dépôt de données – dans notre cas, Zenodo. B. Dans cette case, la vue par le navigateur de la page de destination de Zenodo dans la case A a été modifiée pour montrer un extrait du code HTML lui-même, faisant apparaître des métadonnées intégrées dans différents formats. Apparaissent ce qui semble être les balises standard de Highwire Press dans la partie supérieure des métadonnées affichées et les balises Open Graph (« “og : ») dans la partie inférieure. C. D’autres parties de l’enregistrement de métadonnées intégré dans la page de destination prennent la forme d’en-têtes de lien, la capture d’écran mettant en évidence des en-têtes de type « alternate ». Un exemple de lien « alternatif », mis en évidence dans l’encadré rouge, est une URL renvoyant à l’un des fichiers csv du dépôt sur Zenodo.
La légende de la figure 2 détaille les étapes du moissonnage, mais plusieurs questions doivent être mises en évidence. Tout d’abord, dans la figure 2A, le serveur doi.org est appelé avec le DOI dans l’URL, et la négociation de contenu HTTP est utilisée pour demander les métadonnées de Data Cite au serveur. Bien qu’il existe des méthodes pour annoncer quel type de contenu est correct pour cet appel web (c’est-à-dire vnd.citationstyles.csl+json), dans le cas de DataCite, la méthode d’appel HEAD sur le serveur renvoie une réponse qui ne contient pas cette information. En conséquence, le moissonneur de métadonnées doit déjà connaître cette option – ou quels sont les autres formats autorisés par DataCite – pour récupérer ces métadonnées (ou alors, il doit les deviner). Deuxièmement, dans la figure 2B, différents formats sont utilisés pour intégrer des métadonnées dans la page web de Zenodo. Ces métadonnées sont partiellement, mais pas entièrement, redondantes avec les métadonnées fournies par DataCite. Par exemple, dans la figure 2C, nous voyons des métadonnées qui utilisent le standard HTML Link Header, où la zone IANA définit la liste des relations de lien approuvées (par exemple, « alternate »). Selon l’IANA, la signification de l’attribut « alternate » est la suivante :
« Si le mot-clé alternate est utilisé avec l’attribut type, celui-ci indique que le document référencé est une reformulation du document courant dans le format spécifié. »
Cela voudrait donc dire, pour un agent de moissonnage de métadonnées, que les différents fichiers ZIP et CSV qui apparaissent en tant que liens en association à chaque mot-clé « alternate » sont chacun une reformulation de l’ensemble de l’enregistrement sous Zenodo (parce que le « document courant » dans ce contexte est la page de destination du dépôt). Il s’agirait d’une interprétation déroutante de ces métadonnées si un agent venait à le faire. Il serait facile de coder un agent pour qu’il interprète ces liens comme étant des pointeurs vers des données, ce qui constituerait un moyen lisible par une machine d’identifier les liens de la page de destination qui renvoient à des données par rapport à d’autres types d’hyperliens web ; toutefois, cette interprétation ne serait forcée que pour se limiter aux enregistrements sur Zenodo. Enfin, nous sommes en présence de deux autres limitations importantes dans l’exemple décrit ci-dessus (et dans de nombreux autres exemples similaires). Tout d’abord, l’auteur des données ne dispose d’aucun moyen fiable pour soumettre des métadonnées spécifiques à un domaine qu’une machine puisse découvrir, car il n’y a pas de pointeur partant de la page de destination vers un fichier de métadonnées spécifique à l’intérieur des données déposées. Deuxièmement, la page de destination elle-même est une source d’ambiguïté, car sa fonction ou son objectif n’a pas été universellement défini. La page de destination est l’endroit où vous arrivez après que plusieurs serveurs vous ont redirigé depuis l’identifiant unique universel (en l’occurrence, le DOI) jusque tout au bout de de la chaîne de redirections. Cela signifie-t-il que la page de destination est celle qui est identifiée par le DOI ? Ou est-ce que le DOI identifie l’enregistrement associé aux données ? Dans le même ordre d’idées, une annotation « auteur » sur la page de destination fait-elle référence à l’auteur du dépôt des données ou à celui de la page de destination ? Cette ambiguïté n’est pas facile à gérer car il existe également des DOI dont la résolution renvoie directement à l’enregistrement des données sans page de destination associée, de sorte que le résultat du processus de résolution est incohérent à cet égard, ce qui rend difficile de généraliser le comportement d’un agent de moissonnage.
Alors que ce scénario assez typique présente de nombreux exemples d’ambiguïté et de devinettes auxquelles un agent de moissonnage de métadonnées est confronté lorsqu’il tente de rassembler de manière complète et précise des métadonnées se rapportant à un dépôt, celui-ci n’en est qu’un parmi d’autres ! D’autres méthodes sont employées pour ramener des métadonnées :
- JSON ou JSON-LD intégrés
Ce procédé introduit une ambiguïté puisque le « sujet » des instructions JSON[-LD] est ambigu : comme pour le problème de la page de destination, il peut y avoir (et il y aura) des métadonnées sur le dépôt de données, en plus de la présence de métadonnées sur la page de destination elle-même (par exemple, la dernière mise à jour, l’identité de la personne publiant les données, etc.). Ces ambiguïtés sont difficiles à lever pour un agent.
- Mécanisme de négociation de contenu sur la page de destination
De nombreux fournisseurs de pages de destination accepteront la négociation de contenu sur l’URI de la page de destination elle-même et l’utiliseront comme alternative à la fourniture de métadonnées intégrées (ou en plus), encourageant ainsi l’utilisation de ce mécanisme pour l’obtention de métadonnées se rapportant à l’enregistrement. Strictement parlant, la négociation de contenu ne vise qu’à récupérer une forme différente de la même ressource (par exemple, un GIF, un JPEG ou un PDF de la même image). Il n’est pas certain que l’utilisation de la négociation de contenu pour fournir des métadonnées basées sur l’URI d’une page de destination soit vraiment conforme à l’utilisation prévue de cette technologie.
- En-tête avec liens et liens typés
De nombreux fournisseurs utiliseront des liens – qui se présentent avec deux syntaxes standard distinctes et peuvent apparaître dans les en-têtes HTTP (« En-têtes avec liens ») du message web ou dans les en-têtes HTML d’une page web (« Liens typés ») – comme méthode de publication des métadonnées, mais aussi (et/ou) pour pointer vers d’autres enregistrements de métadonnées. Ce procédé peut comporter des pointeurs vers des fichiers de métadonnées individuels, mais sans aucune garantie qu’il s’agisse d’une liste complète de fichiers de métadonnées connue de la ressource où les données sont déposées. Dans ce cas, ils utilisent un lien spécifique qui pointe vers un document appelé “LinkSet”, lequel devrait être la liste complète de tous les liens de métadonnées connus par entité éditrice.
Ces Linksets se présentent sous deux formats, un format texte original et un format JSON plus actuel, et l’éditeur peut utiliser l’un ou l’autre.
Il existe d’autres zones d’ambiguïté ou d’erreur, non détaillées dans ce qui précède, notamment le fait que le nombre d’étapes de redirection entre un identifiant unique global et une page de destination n’est pas défini et ne peut être déterminé par aucun « signal » fourni par le serveur. Ce qui fait qu’un agent pourrait choisir de tenter toutes les voies de collecte de métadonnées à chaque étape de la chaîne de redirection. Pour finir, si l’on peut généralement en confiance compter que les grands entrepôts d’aujourd’hui se conforment aux normes du web, il n’en va pas de même d’autres de plus petite échelle, qui peuvent avoir été créés pour des données très spécialisées et sont mis en ligne par des experts d’un domaine peu versés dans les normes du web. Aussi, les techniques courantes comme la négociation de contenu seront souvent problématiques, car l’hôte ne met pas en ligne des données pour lesquelles il est en mesure de proposer des métadonnées abordables par négociation de contenu, ni n’indique quel standard il applique, ce qui en réduit l’agent à conjecturer ou procéder par essai-erreur.
Fléchage ou « signposting »
Une méthode simple de détection de métadonnées lisibles par machine
Le signposting [6, 7] est un ensemble de patrons de conception (design patterns) qui utilisent le standard du web des en-têtes de lien et des relations de lien associées pour créer un environnement exempt d’ambiguïté dans lequel un agent peut « comprendre » où il se trouve dans l’écosystème des données/métadonnées et savoir comment y naviguer efficacement. Cette approche se concentrait initialement sur la « longue traîne » des acteurs mettant des données en ligne – ceux peut-être les moins expérimentés dans la construction d’infrastructures de métadonnées riches. Cependant, n’importe quel protagoniste peut utiliser les mêmes modèles dans l’écosystème de publication de données, que ce soit à des niveaux comme des fournisseurs d’infrastructure de données tels que DataCite ou ceux de référentiels généralistes comme Zenodo, Dataverse, ou encore des acteurs publiant des données hautement spécialisées.
2. La comparaison de ce qui est comparable au banc d’essai
- Les ateliers
Dans le cadre de la Task Force « EOSC FAIR Metrics and Data Quality », le sous-groupe FAIR Metrics a pour tâche d’examiner l’utilité et l’application des indicateurs FAIR et les problèmes liés à l’ensemble des outils d’évaluation FAIR existants. Face à cette problématique, le sous-groupe s’est associé à la Fondation GO FAIR pour co-organiser une série d’ateliers[1] où ces problèmes ont été abordés. L’objectif des réunions était d’identifier et, à terme, de formaliser une solution commune au problème du moissonnage des métadonnées qui pourrait être mise en œuvre pour tous les indicateurs FAIR et tous les outils d’évaluation correspondants. C’est ainsi que ces réunions ont fini par être connues sous le nom de « Apples-to-Apples » (A2A), s’inspirant de l’expression l’idiomatique anglaise s’appliquant à la futilité de comparer des choses entièrement différentes. Les participants représentaient à la fois les membres de cette Task Force et d’autres acteurs de la communauté, y compris plusieurs représentants des outils d’évaluation FAIR accessibles au public (FAIR Evaluator, F-UJI, FAIR Enough/SATIFYD (manuel), FAIR Enough (automatique), FAIR Checker, ENVRI-FAIR et FAIRshake et des programmeurs et concepteurs de plusieurs projets d’infrastructure de données et de standards orientés FAIR, tels que RO-Crate [9], et FAIRsharing, menés à terme et approuvés sous l’égide de la RDA. À la fin de deux ateliers d’une demi-journée, avec des présentations proposées par les participants, suivies de discussions ouvertes, la question directrice suivante a été décidée : qu’est-ce qu’un acteur publiant des données doit faire au minimum pour diriger un agent, sans ambiguïté, depuis l’identifiant vers les métadonnées de ses données, ou vice versa ?À la suite d’une présentation des représentants des projets sur le signposting, les participants à l’atelier ont convenu de travailler sur un sous-ensemble limité de patrons de conception sur ce sujet qui s’avèrent suffire à répondre à cette exigence de base par rapport aux principes FAIR. On désignera ici ce sous-ensemble de la spécification complète sur le signposting par le vocable de « FAIR Signposting »[10].
- FAIR Signposting
FAIR Signposting propose qu’un petit nombre de relations de lien suffise à aiguiller sans ambiguïté un agent automatisé pour découvrir et récupérer correctement le ou les enregistrements de données, l’identifiant unique et les métadonnées d’un objet numérique. FAIR signposting se compose d’un sous-ensemble de cinq relations de lien recommandées ou obligatoires déclinées à partir de la spécification complète sur le signposting. Trois d’entre elles ont été sélectionnées pour constituer l’objectif principal des Hackathons A2A : cite-as, describedby et item. Ces relations de lien, ainsi que leur utilisation définie, sont présentées dans le tableau 1.
Tableau 1 : Relations de lien utilisées par FAIR Signposting | |
Relation | Utilisation |
cite-as | Une relation univoque entre l’entité et son identifiant unique mondial |
describedby | Une relation de type “un à n” entre l’entité et tous les enregistrements de métadonnées connus sur cette entité |
item | Une relation de type “un à n” entre une entité représentant un dépôt et le(s) fichier(s) de données qu’elle contient. |
FAIR Signposting clarifie le rôle d’une page de destination qu’un agent doit interpréter comme une zone de courtage d’informations qui pointe depuis cette page de destination vers l’identifiant canonique, les enregistrements et/ou les métadonnées associées à l’enregistrement. De la sorte l’interprétation que l’agent fait de son environnement est cohérente et sans ambiguïté, qu’il soit arrivé à cet emplacement à partir d’un moteur de recherche sur le web ou par un processus de résolution d’identifiant. Ceci permet aux en-têtes de liens d’apparaître ou dans les en-têtes de messages HTTP, ou dans la partie <HEAD> d’un document HTML (ou les deux), ce qui offre ainsi la possibilité aux utilisateurs de logiciels web d’ajouter leurs références de métadonnées même s’ils n’ont pas accès au serveur web en lui-même. Pour plus de détails sur la spécification, par exemple sur l’utilisation recommandée des jeux de liens (les LinkSets), il convient de lire l’intégralité de la spécification FAIR Signposting [10].
Cette méthode offre une solution à un grand nombre des problèmes non résolus auxquels font face les agents de moissonnage de (méta)données. Par exemple, si l’identifiant renvoie par résolution à une entité de données plutôt qu’à une page de destination ou si l’agent est arrivé directement à un objet de données après une recherche, il peut simplement examiner les en-têtes pour trouver l’identifiant de l’entité qu’il examine actuellement et les liens vers ses métadonnées. En outre, comme les liens peuvent se trouver dans les en-têtes HTTP, il est possible d’utiliser cette solution de manière fiable dans le contexte d’objets numériques non HTML, comme des images ou des films, pour lesquels il n’existe pas de standards de métadonnées intégrées généralisées qui prennent en charge des liens vers l’extérieur.
- Les Hackathons A2A
Des acteurs importants nous ont indiqué, au cours des premiers ateliers, que s’ils étaient disposés à tenir compte des résultats de ces réunions entre intervenants (c’est-à-dire d’adopter les recommandations dans leur base de codes), cela allait dépendre des conditions suivantes :
- Une spécification claire, bien rédigée et raisonnable dont la capacité à résoudre le problème était démontrable
- Preuve que les outils d’évaluation FAIR, une fois confrontés au paradigme de publication de (méta)données proposé, se sont tous comportés de manière identique (et certaine)
- Preuve que des acteurs importants comme les agences de financement et l’EOSC souscrivent à cette proposition en la considérant comme un moyen d’optimiser les avantages de leur patrimoine numérique grâce à des instruments de mesure cohérents et fiables de sa compatibilité FAIR.
Une fois le premier objectif atteint, à savoir que le choix du FAIR Signposting avait été retenu au cours de la première série d’ateliers, nous nous sommes ensuite concentrés sur le deuxième objectif : harmoniser les flux de travaux de moissonnage de métadonnées des différents outils d’évaluation FAIR de manière à ce qu’ils répondent tous de la même manière lorsque ceux-ci rencontrent une ressource numérique qui suit le paradigme FAIR Signposting.
Le hackathon s’est scindé en deux groupes principaux : le groupe FAIR Metric testing/evaluation et un second qui s’est consacré en particulier à la création d’un banc d’essai constitué d’un ensemble complet d’environnements par rapport auxquels les outils d’évaluation pourraient être testés et comparés, et lesquels étaient réunis dans un entrepôt d’étalonnage. Ce référentiel A2A est essentiel car il nous permet de concevoir en permanence des campagnes d’essais à mesure que nous rencontrerons différentes interprétations de la spécification de signalisation FAIR elle-même et/ou que le champ d’application de FAIR s’étend à de nouveaux domaines d’expertise qui peuvent posséder des standards propres qu’il faut prendre en charge par FAIR Signposting. Cette manière de procéder garantit une uniformité permanente entre les outils d’évaluation FAIR. Il existe déjà des moissonneurs de métadonnées qui se conforment aux points de référence A2A (par exemple, le FAIR Champion Harvester).
3. Conclusions provisoires
FAIR Signposting est une approche conforme aux standards du web, facilement mise en œuvre, explicite, non ambiguë et lisible par machine pour répondre aux aspects les plus fondamentaux de la publication de données FAIR : association des données avec un identifiant unique au niveau mondial et une association explicite entre les données et leurs métadonnées. Des systèmes d’évaluation FAIR sont en cours d’élaboration pour évaluer de manière cohérente et certaine les ressources publiées à la suite de ces recommandations.
A | ![]() |
B | ![]() |
C | ![]() |
D | ![]() |
La figure 3 montre une interaction comparable à celle de la figure 2, cette fois en utilisant l’approche FAIR Signposting. En raison de cette méthode, la négociation de contenu est toujours guidée par les instructions de type contenu (content-type) présentes dans l’en-tête de lien. Ainsi, il n’est pas nécessaire d’avoir une connaissance préalable des formats de données fournis par exemple par DataCite, ni même que le fournisseur de métadonnées soit DataCite, car l’agent est amené à découvrir ses métadonnées grâce à l’en-tête described by (figure 3B). La figure 3B est également à remarquer parce qu’elle montre comment il est maintenant possible de pointer sans ambiguïté « vers le bas » à partir de la page de destination vers un enregistrement contenu dans un dépôt : le comportement tenté par les liens alternatifs de la figure 2C est maintenant satisfait sans ambiguïté par l’en-tête de lien de l’élément de la figure 3B. En outre, la figure 3C révèle une autre avancée significative par rapport au statu quo, en ce sens qu’il est désormais possible pour un créateur de données de publier ses propres métadonnées contextuelles d’expertise de son domaine de sorte à permettre sa découverte automatique en suivant un en-tête avec le paramètre described by pointant vers son dépôt de données. Le fait d’aller au-delà des métadonnées de citation et de rendre accessibles les métadonnées spécifiques à un domaine aux agents informatiques améliorera sans aucun doute la découverte, l’interprétation et la réutilisation des données spécifiques à un problème à l’avenir, un objectif majeur pour tous les acteurs concernés par les principes FAIR. Enfin, la figure 3D montre que cette même méthode peut être utilisée pour une large gamme d’objets numériques sur le web et que, où que se trouve un agent informatique dans l’écosystème de données, ce dernier est en mesure de naviguer de là vers les trois facettes décisives de FAIR : l’identifiant unique, les données et leurs métadonnées.
4. Suites
Conformité aux standards de métadonnées
Si la méthode du FAIR Signposting offre une approche uniforme pour que les outils d’évaluation FAIR moissonnent des métadonnées, ces mêmes métadonnées doivent respecter certains standards acceptés par la communauté. Nous formulons la proposition que des ressources comme FAIRsharing, en tant que registre mondial des données, métadonnées et standards d’identification utilises par la communauté pour toutes les disciplines, sont favorablement bien positionnées pour servir de validateur utilisé par les outils d’évaluation FAIR en tant que service de recherche pour les milliers de types et de noms de modèles ou formats, de terminologies, de listes de contrôle d’informations minimales et de schémas d’identification (éléments clés des principes FAIR) que lesdits outils rencontrent au cours de processus d’évaluation testant la compatibilité FAIR. Pour l’instant, cet objectif est limité par le fait que les outils d’évaluation FAIR ne peuvent déterminer si un résultat de recherche est conforme aux standards de données et de métadonnées pertinents qu’en opérant leur vérification par rapport au nom et au type de ce standard, mais pas sur sa structure ou sur sa formulation, à moins qu’ils ne soient « codés en dur » dans l’outil. Si l’emploi de FAIR Signposting permet (et encourage) le fournisseur de métadonnées à déclarer le standard qu’il suit en utilisant l’attribut « profile », cela n’est pas obligatoire. Cet attribut de profil fonctionnera au mieux dans le cas des standards génériques, sans lien avec un domaine, tels que DCAT ou schema.org, qui sont couramment utilisés par les catalogues de métadonnées et les pages publiées sur le web, et où des technologies robustes telles que les schémas XML ou un certain nombre de tests de « forme » de données liées peut être appliqué automatiquement pour valider la conformité. MAGE-TaIl n’en va pas de même pour plus d’un millier de standards communautaires s’appliquant au niveau des données (données et métadonnées), telles que MAGE-Tab (un modèle et un format d’échange pour les jeux de données en microbiotechnologies), ou CharDM (un modèle pour la caractérisation des ensembles de données astronomiques) que des communautés seront désireuses d’évaluer en procédant à un contrôle de leur conformité avec le principe FAIR R1.3 (respect des standards communautaires). Actuellement, ces standards portant sur le niveau des jeux de données ne peuvent être testés qu’au moyen d’une recherche de profils dans FAIRsharing (MAGE-Tab ou CharDM) mais leur validation ne peut aller plus loin. Ce n’est que lorsque les standards sont « calculables » que nous pouvons disposer des mesures quantitatives et vérifiables nécessaires pour déterminer dans quelle mesure un résultat de recherche répond au standard [11]. Il s’agit d’une question extrêmement difficile en raison de son ampleur et du fait qu’elle concerne fréquemment des communautés très spécialisées. A ce niveau, les communautés d’experts devront chacune décider de la granularité à laquelle les évaluations FAIR sont à effectuer. Si des validateurs de standards par calcul s’avèrent nécessaires, ceux-ci doivent être développés par les communautés concernées et enregistrés de la même façon dans FAIRsharing, de sorte que les outils d’évaluation FAIR puissent les détecter, les récupérer et les appliquer automatiquement.
Impliquer les principaux acteurs
Les ateliers que nous avons décrits ont été réalisés par un groupe relativement restreint de personnes qui ressentaient déjà un certain intérêt à développer, tester et mettre en œuvre des outils automatisés pour évaluer le niveau de compatibilité FAIR d’objets numériques. Nous pourrions désigner cette catégorie d’acteurs comme étant des « créateurs d’outils d’évaluation FAIR ». Les diffuseurs de données, comme les entrepôts de données, constituent une deuxième catégorie d’intervenants essentiels. Après tout, les données à évaluer sont dans leurs fonds et ce seront ces entrepôts qui devront mettre en place les dispositifs de relations de liens de type Signposting dans leurs services. Troisièmement, les principes FAIR et les données ouvertes font partie intégrante de la vision et de l’ambition de l’EOSC, et l’exploration du problème d’harmonisation des outils d’évaluation FAIR a été un objectif de la Task Force qui a coorganisé les ateliers et les hackathons que nous venons de rapporter. C’est pourquoi nous voyons l’Association EOSC jouer un rôle important en tant qu’acteur, comme celui de susciter l’amélioration et éventuellement la convergence des outils d’évaluation FAIR en soutenant ce type d’approches simples, et en veillant à ce que ces pratiques communes fassent partie intégrante de projets aujourd’hui comme à l’avenir.
En outre, les producteurs et les consommateurs de données, tout comme les financeurs de la recherche, ont tout intérêt à connaître à quel niveau de compatibilité FAIR se situent des objets numériques. Les financeurs de la recherche, parce qu’ils exigent de plus en plus que les données qu’ils financent soient FAIR ; les chercheurs et les équipes de recherche qui produisent des données parce qu’ils veulent satisfaire à ces exigences ou pratiquer la science ouverte ; et – potentiellement – les consommateurs de données, parce que le score FAIR d’un jeu de données spécifique peut intervenir dans leur décision de le réutiliser ou non. Cependant, ces acteurs sont relativement peu familiers à l’égard des recommandations techniques et politiques formulées dans ce rapport. En fin de compte, ils pourront tirer profit de scores FAIR qui sont transparents, équitables et bien compris, mais ils n’ont pas de rôle immédiat à jouer dans l’adoption de ces scores, si ce n’est d’encourager d’autres groupes intéressés par l’expression de leurs besoins.
C’est pourquoi nous identifions pour l’immédiat trois groupes d’acteurs :
- Les créateurs d’outils d’évaluation FAIR
- Les diffuseurs de données
- L’Association EOSC
En ce qui concerne les acteurs de type 1 : la spécification FAIR Signposting, que nous avons décrite précédemment, définit déjà les recommandations techniques que les créateurs d’outils d’évaluation FAIR doivent suivre dans leurs propres bases de code. On aura franchi une étape importante au moment où les participants des ateliers précités pourront démontrer que les résultats de leurs outils d’évaluation FAIR respectifs présentent moins de variations qu’auparavant. En outre, nous encourageons à ce que les nouveaux outils d’évaluation FAIR soient testés dans des environnements d’étalonnage similaires afin de réduire les divergences dans l’interprétation et la pratique des principes FAIR à l’avenir. Il s’agira d’un processus continu au cours des prochaines années, avec sans aucun doute de nouvelles contributions provenant d’outils qui visent à évaluer le niveau de compatibilité FAIR d’autres produits de la recherche que des données, comme des logiciels ou des flux de travaux, qui devraient adjoindre à l’environnement d’étalonnage A2A des caractéristiques spécifiques nouvelles. Enfin, nous encourageons vivement les concepteurs de tests et d’outils d’évaluation à être pleinement transparents sur leur processus de test, de sorte que les différences entre les résultats d’évaluations puissent être étudiées et expliquées plus facilement.
En ce qui concerne les acteurs de type 2 : les diffuseurs, que sont par exemple les entrepôts de données, jouent déjà un rôle crucial dans la production et la conservation des données FAIR. Ce sont eux qui fournissent généralement l’identifiant pérenne, offrent une assistance pour les métadonnées standardisées et les licences d’utilisation, voire les imposent, et les archives de conservation à long terme prolongent également leur action de maintien d’anciens formats de fichiers. Avec une amplification de l’attrait et des préconisations envers les principes FAIR, ce rôle prend de l’ampleur. Il va de soi que les diffuseurs de données sont autonomes dans la manière dont ils mettent en place leur entrepôt et leur mode de fonctionnement. La décision de mettre en œuvre ou non le signposting leur appartient donc. C’est pourquoi un raisonnement du type suivant pourrait être recommandé : « La demande de FAIR augmente. Les producteurs de données, c’est-à-dire les chercheurs, doivent démontrer à leurs financeurs que les données sont aussi FAIR que possible. Les automates d’évaluation FAIR ont leurs limites, mais ils seront de plus en plus utilisés. En tant que diffuseur de données, vous pouvez soutenir votre communauté de recherche en normalisant votre structure de dépôt pour que ces outils fonctionnent de manière optimale, ce qui signifie que vous implémentez le signposting si vous ne l’avez pas déjà fait. Cela rentre en conformité avec les recommandations de la Confédération des entrepôts à accès ouvert (Confederation of Open Access Repositories – COAR[12]) où le signposting fait partie des solutions technologiques que celles-ci préconisent. » Il est à noter que pour de nombreux entrepôts (peut-être la plupart), les en-têtes de liens sont déjà communément utilisés, comme le montre la figure 2C pour Zenodo. Il s’agit avant tout d’un effort d’harmonisation autour des liens nécessaires et l’utilisation à en attendre, ce qui, selon nous, ne constituera qu’un très faible obstacle que ces pratiques soient adoptées. En outre, les répertoires, à l’instar de FAIRsharing, qui ont participé aux manifestations que nous avons évoquées, devront continuer à jouer un rôle essentiel dans la mise en œuvre des fonctions de recherche et de documentation des informations nécessaires à l’évaluation des archives et entrepôts.
En ce qui concerne les acteurs de type 3 : dans son rapport « Recommendations on FAIR metrics for EOSC » [13], le groupe de travail FAIR du Bureau exécutif de l’EOSC adopte une attitude de prudence bien compréhensible à l’égard des indicateurs FAIR : « Les indicateurs FAIR ne doivent pas être utilisés pour juger injustement ; il est nécessaire d’accompagner le processus de maturation dans le temps et de communautés en communautés et éviter les jugements binaires » (p. 20). Nous sommes en accord avec cette position et voulons souligner que, par extension, cette prudence à l’égard des indicateurs va jusqu’aux outils d’évaluation qui les mettent en œuvre. En l’espèce, ces systèmes d’évaluation de la compatibilité FAIR doivent être accompagnés d’un effort de présentation, de pédagogie, voire de conseil. Bien que les objectifs des ateliers Apples-to-Apples ne couvraient pas cet aspect, l’existence d’environnements de référence univoques limiteront les incohérences constatées aujourd’hui entre les scores que les différents outils d’évaluation FAIR produisent et ceux-ci contribueront ainsi à dissiper la confusion et les risques d’erreur d’interprétation des scores FAIR. En effet, la cohérence qui se dégage déjà de l’utilisation des benchmarks A2A amène les principaux auteurs d’outils FAIR à s’engager dans une harmonisation de leurs structures de déclaration d’erreurs. Cette évolution permettra à son tour d’engendrer l’apparition d’un écosystème d’outils de visualisation et d’aide à l’utilisateur, fondé sur des rapports d’outils d’évaluation FAIR harmonisés. Les utilisateurs et les producteurs de données en tireront potentiellement le plus grand profit, car cela encouragera l’évaluation FAIR à passer d’un registre quantitatif à une fonction de conseils qualitatifs, réduisant ainsi l’incitation à détourner le système à son avantage. L’aspect (inter)communautaire sera également abordé dans de nouveaux projets, notamment FAIR-IMPACT,et d’autres projets génériques comme plus disciplinaires, et la collaboration avec les communautés par domaines sera essentielle. FAIR-IMPACT s’efforcera également d’identifier et d’atténuer les biais entre les outils d’évaluation FAIR. Il est à prévoir que ce projet et d’autres entérineront et mettront en œuvre ce que cette Task Force sur FAIR Metrics aura produit.
L’Association EOSC, avec sa Task Force sur la conservation des données à long terme, est l’instance appropriée pour approuver et promouvoir les processus recommandés dans ce cas, où la communauté des archives et entrepôts et les développeurs d’outils d’évaluation FAIR s’investissent pour mieux homogénéiser la mise en place, le moissonnage et l’interprétation des informations se rapportant aux objets numériques, afin de parvenir à des scores d’évaluation FAIR optimaux et transparents.
Pérennité du système
En présence d’une pluralité d’acteurs ayant des intérêts à la fois vitaux et diversifiés envers la fiabilité à long terme des outils d’évaluation FAIR, on peut tenir pour probable que cette communauté élargie puisse maintenir en place l’environnement d’étalonnage A2A pendant un laps de temps appréciable (il s’agit actuellement d’un dépôt public GitHub, gratuit, avec une couche de serveur mince autour). Un sujet plus important de préoccupation demeure : la continuité de la curation avec l’apparition de nouveaux standards et la conception d’indicateurs d’évaluation communautaires ou propres à des domaines spécifiques. Nous estimons que deux organismes – l’un existant et l’autre en émergence – suffiront à assumer cette charge. Ainsi, FAIRsharing couvre toutes les disciplines et s’attache à être le conservatoire scrupuleux des standards, à les relier aux entrepôts qui les mettent en œuvre et aux politiques qui les recommandent, et à offrir des graphes de connaissances informatifs, par exemple. Cela est rendu possible avec l’aide de curateurs communautaires, y compris des représentants des groupes scientifiques de l’EOSC, par l’intermédiaire du programme FAIRsharing Community Curation financé par RDA/EOSC-Future. FAIRsharing est donc un exemple de ressource à laquelle on peut se fier pour s’assurer que les “standards” nouvellement créés sont officiellement reconnus, véritablement soutenus par leurs communautés respectives et mis en œuvre par les entrepôts. En outre, une initiative de gouvernance naît autour des métriques et des tests FAIR [1], dont le rôle sera de conserver et d’administrer rigoureusement les métriques FAIR qui apparaissent dans les communautés de spécialistes et de créer des mécanismes d’étalonnage A2A par rapport auxquels les implémentations informatiques de ces outils d’indicateurs seront validées. Il semble donc que les résultats de ces ateliers et hackathons seront pérennisables à court et moyen terme grâce à l’action de ces deux instances.
Remerciements
Nous remercions la Fondation GO FAIR d’avoir soutenu et accueilli ces réunions, en particulier Erik Schultes et Jacintha Schultes. Les participants aux réunions qui ne sont pas membres de la Task Force FAIR Metrics and Data Quality, mais sans qui rien de tout cela n’aurait été réalisé : Herbert Van de Sompel, Leonidas Pispiratoras, Tim Smith, Sonia Barbosa, Wilko Steinhoff, Allyson Lister, Milo Thurston, Philippe Rocca-Serra, Avi Ma’ayan, Carole Goble, Ceilyn Boyd, Kristian Garza, Peter Doorn, Alban Gaignard, Thomas Rosnet, Stian Soiland-Reyes, Antonis Lempesis, Andreas Czerniak, Luiz Bonino, Michel Dumontier, Vincent Emonet, Robert Huber, Barbara Magagna, Marie-Dominique Devignes.
[1] Les ateliers et les hackathons se sont déroulés aux dates suivantes : 07-02-2022, 10-02-2022, 17-03-2022, 21-03-2022, et 26-04-2022.
Références
- Wilkinson MD, Sansone SA, Méndez E, David R, Dennis R, et al. Community-driven Governance of FAIRness Assessment: An Open Issue, an Open Discussion, https://doi.org/10.5281/zenodo.7390482
- Wilkinson MD, Dumontier M, Aalbersberg IJ, Appleton G, Axton M, Baak A, et al. The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data 2016;3:160018.
- {Aguilar F, Gomes J, Bernal I, Steinhoff W, Tykhonov V, EOSC-SYNERGY}. EOSC-SYNERGY EU DELIVERABLE D3.5: Final report on technical framework for EOSC FAIR data principles implementation 2022.
- Wilkinson MD, Dumontier M, Sansone S-A, Bonino da Silva Santos LO, Prieto M, Batista D, et al. Evaluating FAIR maturity through a scalable, automated, community-governed framework. Sci Data 2019;6:174.
- Huber R, Devaraju A. F-UJI : An Automated Tool for the Assessment and Improvement of the FAIRness of Research Data, ui.adsabs.harvard.edu; 2021, p. EGU21–15922.
- Klein M, Shankar H, Van de Sompel H. Signposting for Repositories. Proceedings of the 18th ACM/IEEE on Joint Conference on Digital Libraries, New York, NY, USA: Association for Computing Machinery; 2018, p. 355–6.
- Van de Sompel H, Rosenthal DSH, Nelson ML. Web Infrastructure to Support e-Journal Preservation (and More). arXiv [csDL] 2016.
- Clarke DJB, Wang L, Jones A, Wojciechowicz ML, Torre D, Jagodnik KM, et al. FAIRshake: Toolkit to Evalu ate the FAIRness of Research Digital Resources. Cels 2019;9:417–21.
- Soiland-Reyes S, Sefton P, Crosas M, Castro LJ, Coppens F, Fernández JM, et al. Packaging research artefacts with RO-Crate. Data Science 2022;5:97–138. https://doi.org/10.3233/ds- 210053.
- Van de Sompel H, Klein M, Jones S, Nelson ML, Warner S, Devaraju A, et al. FAIR Signposting Profile – Signposting the Scholarly Web 2022. https://signposting.org/FAIR/ (accessed July 5, 2022).
- Batista D, Gonzalez-Beltran A, Sansone S-A, Rocca-Serra P. Machine actionable metadata models. Sci Data 2022;9:592.
- Confederation of Open Access Repositories. COAR next generation repositories: Technologies. COAR next Generation Repositories: Technologies n.d. https://ngr.coar- repositories.org/technology/ (accessed July 8, 2022).
- Commission E, for Research D-G, Innovation, Aronsen J, Beyan O, Harrower N, et al. Recommendations on FAIR metrics for EOSC. Publications Office; 2021.
Collectif d’auteurs :
Mark D Wilkinson1,3,*, Susanna-Assunta Sansone2,4,*, Marjan Grootveld2,5, Josefine Nordling2,6, Richard Dennis2,7, David Hecker2,8 pour le compte du sous-groupe FAIR Metrics de l’EOSC
- Coprésident de la Task Force de l’EOSC FAIR Metrics and Data Quality
- Membre de la Task Force de l’EOSC FAIR Metrics and Data Quality
- Departamento de Biotecnología-Biología Vegetal, Escuela Técnica Superior de Ingeniería Agronómica, Alimentaria y de Biosistemas, Centro de Biotecnología y Genómica de Plantas. Universidad Politécnica de Madrid (UPM) – Instituto Nacional de Investigación y Tecnología Agraria y Alimentaria-CSIC (INIA-CSIC). Campus Montegancedo 28223 Pozuelo de Alarcón (Madrid), Espagne. 0000-0001-6960-357X
- Oxford e-Research Centre, Department of Engineering Science, University of Oxford, Royaume-Uni. 0000- 0001-5306-5690
- Data Archiving and Networked Services (KNAW-DANS), Pays-Bas. 0000-0002-2789-322X
- CSC – IT Center for Science, Finlande, 0000-0002-6974-2825
- Novo Nordisk Foundation Center for Stem Cell Medicine – reNEW, Université de Copenhague, Danemark, 00000-002-4472-7194
- German Aerospace Center, Research Data Management, Allemagne, 0000-0003-3836-2800
OpenEdition vous propose de citer ce billet de la manière suivante :
isabelled (27 mars 2024). Outils d’évaluation FAIR : comment comparer ce qui est comparable ? EOSC dans le texte. Consulté le 30 avril 2025 à l’adresse https://doi.org/10.58079/w49i