Gestion des imports / exports

[urien]

Cette discussion a pour objectif de faire le point sur les services que nous offrons pour réaliser des imports / exports, sur l'évolution que l'on pourrait envisager pour ces services et les nouvelles fonctionnalités que nous pourrions offrir

Export

C'est le plus simple car ce n'est pas lié à un service fourni par un tiers mais il faut essayer de répondre aux demandes.
Actuellement nous offrons deux solution : csv et Apis

Export via csv

Il est possible de faire une recherche avancée et de récupérer le résultat sous forme de fichier csv. Le nombre de lignes est limité à 10000 ce qui est déjà très important

Une évolution possible serait de fournir un fichier csv au Format Karstlink. Cela permettrait de renforcer notre engagement sur ce modèle pour partager des données, cela permettrait également de disposer de fichier déjà au bon format pour réimporter des données après les avoir mises à jour. Un exemple concret concerne les articles du BBS qu'il faut récupérer pour les réinjecter en les associant au numéro de la revue qui convient

Export via les Apis

Ce n'est pas a proprement parlé un outil d'export mais il est parfois utilisé à cette fin. L'usage adapté consiste à récupérer les données pour les afficher dans un site tiers, sans les archiver dans une base de données. Utiliser les Apis pour récupérer l'ensemble des données provoque une surcharge de notre infrastructure. A priori la licence des données de Grottocenter n'est pas respectée.

Un certain nombre de solutions ont été envisagées pour favoriser le respect de la licence et limiter les coûts pour l'association Wikicaves

• Mettre en place une limite au nombre de requêtes par unité de temps en fonction du profil de la personne
• Mettre en place une clé d'Api et des outils statistiques pour monitorer l'usage des Apis
• Mettre en place des outils adaptés pour télécharger l'ensemble des données

Mise en place de nouveaux outils pour télécharger les données

Il conviendra de déterminer si ces outils sont librement accessibles ou s'ils sont accessibles aux partenaires afin de favoriser le partage et le respect des licences retenues

• Mise à disposition d'un fichier Json-LD ce qui permettra l'exploitation par toutes les applications mais en particulier par des serveurs SPARQL (Web sémantique - Projet Karstlink)
• Mise en place, pour les documents, d'un fichier OAI, ce format permettant à tous les logiciels de gestion documentaire de collecter les données
• Mise en place d'un flux WMS ou WFS pour permettre l'utilisation des données sur un logiciel SIG.

Imports

Pour l'instant un outil d'import via csv existe et est utilisé. Des améliorations pourraient être apportées et un travail sur la gestion des doublons doit être poursuivi

Import via CSV

Les améliorations pouvant être apportées sont les suivantes

• Lorsqu'on réalise un import régulier de la même base de données la mise à jour des données pourrait se faire automatiquement
• Les liens vers les bases de données d'origine pouvant être multiples, ils pourraient être stockés dans une table de jonction et les liens vers ces fiches dans la base d'origine pourraient être affichés sur la fiche de l'entrée ou du document
• Actuellement il est obligatoire de désigner une base d'origine et un id d'origine. Cependant bien souvent l'outil d'import est utilisé pour accélérer la création de documents sans qu'il existe réellement une base de données ou le document dispose d'une URL. Il faudrait donc pouvoir distinguer ces deux types d'utilisations

Import via des Apis

De très nombreuses ressources publiques offrent des données accessibles via des Apis. Cela concerne pour l'essentiel des ressources documentaires et des observations scientifiques.
Les démarches pour collecter les données sont différentes pour chaque ressource, il va être difficile de mettre en place et de maintenir un grand nombre de liens.
Pour sélectionner des ressources il est possible de s'appuyer sur des spécifications décrites dans Karstlink
http://uisic.uis-speleo.org/wiki/karstlink/index.php/Karstlink_Applications_-_Applications_Karstlink
Une solution pourrait consister à développer un service indépendant de collecte des données sur des ressources tiers et de n'utiliser Grottocenter que pour interroger ce service indépendant

Gestion des doublons

L'outil existant doit être améliorer pour assurer son fonctionnement de manière permanente. Des évolutions doivent être envisagées

• La fusion de deux entités existantes dans la base doit faire que l'un des deux est supprimé et que soit indiqué l'entité qui est conservée dans la fiche de l'entité supprimée
• Un outil de détection des doublons doit être développé, éventuellement à partir du travail initié par les étudiants
• Des solutions pour automatiser la fusion des doublons doivent être recherchées

[BTHOM]

Globalement, je ne me sens pas compétent sur ces sujets.
J'attire simplement l'attention sur les risques de perte/faussage d'information liés à "Des solutions pour automatiser la fusion des doublons".