Tutoriels d'importation et de consultation des données


Import de données étape 1 : création des métadonnées


Avant tout import de données, il vous sera demandé de selectionner les métadonnées (jeu de données) en lien avec vos données. Pour savoir comment constituer vos métadonnées, veuillez consulter la page de présentation des métadonnées.

Import de données étape 2a : module import


Les données versées via le module Import doivent être contenues dans un csv avec un séparateur ";" encodé en UTF-8, de préference. Le standard v3.0 d'ODIN est proche de celui utilisé par l'INPN et des autres plateformes qui utilisent GeoNature afin de faciliter les échanges de données.

Standard d'ODIN v3.0

Vous pouvez utiliser le fichier csv type ci-dessous pour formater vos données. Cependant, le fichier csv n'a pas besoin d'être identique.
Le module Import fonctionne avec un système de mapping des champs et des nomenclatures (valeurs). Par conséquent, les noms des champs et des nomenclatures utilisés dans les données sources n'ont pas besoin d'être identiques à ceux utilisés par la plateforme. Une fois créé, ce mapping de champs peut être sauvegardé afin de le réutiliser lors d'un prochain import des données.
Pour faciliter le mapping des champs, il est préférable que le csv versé ne contienne que les champs utilisés.

CSV Exemple

* Il est possible d'importé ce fichier sur QGIS en sélectionnant : "Couche" -> "Ajouter une couche" -> "Ajouter une couche de texte délimité..."

Un certain nombre des champs sont obligatoires pour réussir l'importation de données. Ces champs sont les suivants :

  • Date début : Correspond à la date d'observation
  • Observateur : Personne ayant réalisé l'observation, le format demandé est : 'Nom Prénom (Structure)'
    Important : L'anonymisation doit être faite en amont du versement, dans ce cas le format du champ observateur sera 'Anonyme (Structure)'
  • Localisation : Un paramètre de localisation doit être saisi pour valider l'import,
    soit longitude/latitude, soit la géométrie en WKT (peut contenir des points, lignes et polygones), soit le code INSEE de la commune, soit le code maille INPN.
    À noter que les coordonnées peuvent être saisies en Lambert 93 (mètres) ou en WGS 84 (degrés décimaux)
  • Floutage : Un floutage de la localisation a-t-il été effectué ? (oui/non)
  • Nom du taxon : Nom latin du taxon saisi
  • CD_Nom : Code taxref de l'espèce (Taxref v.16)
    Pour récuper ce code, vous pouvez vous aider des documents Taxref ou bien de l'application TaxHub
  • Statut de la source
  • Naturalité
  • Type de dénombrement
  • Object du dénombrement
  • Nombre minimum
    Important : Si le chiffre renseigné est le nombre exact observé, il faut également le mettre dans 'Nombre maximum'
  • Existance d'une preuve
  • Type de relevé
  • Nature de l'objet géographique
  • Etat biologique*
* Ce champ est obligatoire pour que les données apparaissent dans l'Atlas.

Sensibilité des données

La sensibilité d'une donnée sera, à terme, attribuée de manière automatique, conforménent à la liste régionale, ou, à défaut, la liste nationale.

Floutage de données

Il y a la possibilité - pour les données acquises sur les fonds privés seulement - de flouter les données en amont du versement. Le champ 'Niveau de floutage' doit alors avoir la mention "Oui".
Les données acquises sur fonds publics doivent obligatoirement être diffusées de manière précise.

Récupération du WKT

Le plus simple est d'utiliser QGIS comme indiqué dans la vidéo ci-dessous.


Récupération des uuid

Le uuid d'une donnée doit être identique au sein de toutes les bases dans lesquelles se trouve la donnée. Il permet d'identifier la donnée, d'éviter les doublons et la mise à jour. Plusieurs moyens existent pour les générer :

  • Récuperation via des sites internet dédiés : Certains sites internet permettent de récuperer un grand nombre d'uuid, comme le site UUID Generator, il suffit alors de copier ces uuid et de les intégrer dans sa base.
  • Génération via R, SQL, QGIS ou Excel :
    Les uuid peuvent être récuperés de cette manière :
    SQL
    --Création de l'extention si cette dernière n'existe pas
CREATE EXTENSION IF NOT EXISTS "uuid-ossp";
--Ajout du champ qui contiendra les uuid
ALTER TABLE schema.table ADD uuid_test uuid NULL;
--Ajout des uuid dans le champ nouvellement crée 
UPDATE table SET uuid_test = uuid_generate_v1() WHERE uiid_test IS NULL;
    R
    # Installer et charger la bibliothèque uuid
install.packages("uuid")
library(uuid) 
#Si aucun uuid n'est présent dans le jeu de données :
table$uuid_test<-UUIDgenerate(n=nrow(table), output = "string")

                                                    
#Si des uuid sont déjà présents dans la table uuid_test:
lignes_a_generer <- is.na(table$uuid_test)
table$uuid_test[lignes_a_generer] <- UUIDgenerate(n = sum(lignes_a_generer), output = "string")
    QGIS
    substr(uuid(),2,36)


    La commande ci-dessus doit être rentrée dans la calculatrice de champ, le nouveau champ uuid devra être au format texte avec une longueur de 36 caractères.


    Attention la commande suivante génère des uuid, il est important de ne pas l'utiliser directement dans le tableur contenant vos données !
    Cette commande est à utiliser dans une feuille Excel à part puis copier et coller les valeurs obtenues dans son fichier de données.

    Excel
    =MINUSCULE(CONCATENER(DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;8));8);"-";DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;4));4);"-";"4";DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;3));3);"-";DECHEX(ALEA.ENTRE.BORNES(8;11));DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;3));3);"-";DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;8));8);DECHEX(ALEA.ENTRE.BORNES(0;PUISSANCE(16;4));4)))

    La commande ci-dessus est issue de GiTHub, vous pourrez l'y retrouver en anglais.

  • Intégration sans uuid :
    Si les données sont intégrées à la base sans uuid, ces derniers seront alors générés par la plateforme au moment de l'intégration. Les uuid ainsi générés devront obligatoirement être récuperés et intégrés à la base d'origine. Pour cela, il faudra télécharger les observations venant d'être integrées à la base, via le module Synthèse et garder le champs 'uuid_perm_sinp'.

Obtenir un csv (séparateur point-virgule) encodé en UTF-8 à partir d'un Excel

Pour cela, il faut commencer par enregistrer son fichier Excel, en passant par "Enregistrer sous..." et en sélectionnant 'CSV (séparateur : point-virgule)'.
Maintenant que vous avez votre csv, il faut encore changer l'encodage. Pour ce faire, on peut utiliser un éditeur de texte, comme Notepad++, en sélectionnant l'onglet "Encodage" puis "Convertir en UTF-8". Il ne reste plus qu'à enregistrer et le csv est prêt à être importé.

Enregistrement

Enregistrer en CSV

changement d'encodage

Changement d'encodage (Notepad++)


Passage de l'ancien standard au nouveau

La plus grande différence entre les deux standards réside dans le fait que l'ancien fonctionnait avec plusieurs tableurs alors que, pour le nouveau, toutes les informations sont réunies dans un unique tableur.
La première étape pour passer de l'un à l'autre sera de fusionner les tableurs OBSERVATION et SITUATION afin que chaque observation ait une localisation. Si le fichier SITUATION est au format shapefile il faudra récupérer les géométries au format WKT comme montré ci-dessus.
Vous trouverez ci-dessous une correspondance de champs entre l'ancien et le nouveau standard, avec les champs à ajouter en bas du tableau.

Tableau de correpondance des standards



Import de données étape 2b : module OccTax

C'est un module de saisie de données en direct sur la plateforme. Le standard utilisé par le module OccTax est identique à celui du module Import. La vidéo ci dessous montre la saisie des données via le module OccTax : Les observations effectuées sur la même localisation (point, polygone ou polyligne) font partie d'un même relevé. Si les observations sont effectuées au niveau des localisations différentes, il faut changer de relevé pour chaque observation.


Modification de données

La modification des données doit rester exeeptionelle. Elle peut impliquer des modifications dans plusieurs bases du SINP et une revalidation de la donnée. Pour pouvoir modifier une donnée, il faut au préalable contacter les administrateurs de la plateforme.

Attention :
Après import des données, si vous modifiez le fichier importé via le module Import (en modifiant le mapping, par exemple), il faut absolument revalider l'import de données. Dans le cas contraire, les données, précedemmant importées, seront supprimées du module Synthèse et de la base de données. Pour savoir si les données sont correctement importées, verifiez qu'une date est bien visible dans le module Import au niveau de Fin import.


Suppression de données

La suppression de données n'est pas possible dans le cadre du SINP. Si une donnée est considerée comme douteuse ou erronée, veuillez contacter les administrateurs. Le statut de validation de la donnée sera mis à jour en 'Invalide'.


Requêtage et téléchargement de données


Module Synthèse

Ce module permet de rechercher des données à l'aide de filtres (Espèces, Communes, Dates...). Les données ainsi recherchées apparaîtront de manière précise sur la carte, accompagnées de la liste des observations. Au-dessous de cette liste se trouve un bouton permettant de télécharger les données recherchées. Les données peuvent être téléchargées au format csv, geojson et shapefile.
En plus de la liste des observations, il est aussi possible de télécharger la liste des taxons compris dans la recherche ainsi que leur statut. Il est aussi possible de télécharger la liste des métadonnées en lien avec les observations recherchées.

Exemple de recherche et de téléchargement des données "oiseaux" présentes sur un périmètre défini en utilisant un KLM.



Le module synthèse, permet, pour le moment, de visualiser et de télécharger uniquement les données non sensibles. Pour accéder aux données sensibles il faut compléter et nous envoyer par mail (agata.wodka-gosse@anbdd.fr, ludmilla.treffle@anbdd.fr) le formulaire ci-dessous:

Formulaire de demande d'accès aux données sensibles


Module Metadonnées

Il permet de rechercher les informations relatives au contexte d'acquisition des données entourant les données que l'on vient d'extraire de la synthèse. Il permet aussi de rechercher des métadonnées en particulier et d'afficher les données en lien dans la synthèse.
Par exemple, si l'on veut afficher toutes les données en lien avec mam'route, on peut rechercher et afficher le jeu de données correspondant (Extraction de la base de données Mam'route), puis cliquer sur "Afficher les données". Cela envoie sur la synthèse avec le filtre correspondant à ce jeu de données.