Skip to content

Documenter le schéma, contrôler et valider les données

Jump to bottom
mathieu rajerison edited this page Feb 18, 2022 · 1 revision

Installation

Installer frictionless

C:\Python39\Scripts\pip install -r requirements.txt

Installer table_schema_to_md

C:\Python39\Scripts\pip install table_schema_to_markdown

Générer la doc' au format Markdown

schema-to-md-table.py

Le requirements.txt est celui du repo, avec la version de frictionless ad-hoc

Voir le script scripts/schema-to-md.bat

Reformater un JSON et le contrôler

https://jsonformatter.curiousconcept.com/#

Indique si des clés sont dupliquées, et rend le JSON joli et bien formaté (retours à la ligne, etc...)

Contrôle

Contrôler un schéma

C:\Python39\Scripts\frictionless validate --type schema schema.json

Lancer scripts/tester-exemples.bat pour tester le schéma

Contrôler un fichier CSV

C:\Python39\Scripts\frictionless validate --schema schema.json exemple-valide.csv

Attention, l'ordre des colonnes doit être respecté par rapport au schema.json

Lancer scripts/tester-exemples.bat pour tester les différents fichiers.

Son contenu est le suivant :

:: exemple générique
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-valide.csv

:: exemples
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-carros-valide.csv
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-fuveau-valide.csv
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-gignac-valide.csv
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-le-rove-valide.csv
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-st-victoret-valide.csv
C:\Python39\Scripts\frictionless validate --schema schema.json examples\exemple-vence-valide.csv

pause

Autres

Branche develop

Elle contient différentes ressources utiles à l'admin et au créateur de schéma.

Comparer master à une version taggée

https://github.com/CEREMA/schema-arrete-circulation-marchandises/compare/v0.4.1...master

Tester des regexes

Aller sur le site regexr. Exemple pour les multivalues séparées par une virgule : https://regexr.com/5t28l

Clone this wiki locally