Sommaire :

Ressources portail OneGate

Documentation et guide de remplissage de la Banque de France

https://www.banque-france.fr/stabilite-financiere/securite-des-moyens-de-paiement-scripturaux/collectes-statistiques-reglementaires-espace-declarants/collecte-cartographie-des-moyens-de-paiement

Source des données

Index Transaction

L'index Transaction est un index Elastic Search qui regroupe l'ensemble des transactions de l'Etablissement de Paiement. Il est mis à jour avec les données provenant des CRE et complété par des données tierces provenant de Payline et PayAvenue.

Documentation des données tierces : Données tierces

Documentation de l'index Transaction : Index Transaction

Données statiques

Les données de Virement ne sont pas exploitées de manière dynamique. Il est prévu de consolider ces informations dans un nouvel index Elastic Search. Pour l'instant, les données sont récupérer manuellement.

Le nombre de TPE fournis par l'EP n'est pas spécifié dans le système. Ces données sont également fournies manuellement.

Les régulations de doublon ne sont pas taguées automatiquement. Baptiste BAUDELET tient un registre de toutes les régulations faites. Ces données sont également fournies manuellement.

Génération du fichier XML

Vue d'ensemble technique

Récupération des données

Un fichier CSV de configuration permet de faire le mapping entre le tag utilisé dans le fichier XML final et les données.

2 cas de figure :

• soit la donnée est forcée en dur. Le "volume" et la "valeur" sont alors spécifiés dans la configuration,
• soit cette donnée est disponible sur l'index Transaction et dans ce cas, la requête ElasticSearch est fourni pour aller récupérer dynamiquement le "volume" et la "valeur".

Les "valeurs" sont toutes arrondies à l'entier avec le mode HALF_UP https://docs.oracle.com/javase/8/docs/api/java/math/RoundingMode.html.

Ne sont généralement mappés que les tags enfants avec la granularité la plus fine car les ventilations intermédiaires sont calculées automatiquement.

Fichier CSV de mapping : oscamps-mapping-v1.0.10.csv à positionner sur AWS s3 dans le répertoire s3://config.ep.monext.prod/oscamps/mapping.csv

Calcul des totaux

A chaque import du fichier XML dans l'interface de OneGate, une série de contrôles est déclenchée sur les "valeur" et "volume" de chaque tag.

Cette liste de tests est publique et est fournie dans la documentation. Nous avons donc fait le choix d'intégrer cette liste de contrôles pour calculer les totaux intermédiaires et finaux du fichier XML.

Fichier CSV de calculs : oscamps-calculation-v1.0.10.csv à positionner sur AWS s3 dans le répertoire s3://config.ep.monext.prod/oscamps/calculation.csv

Création du fichier XML

A partir du fichier XML d'origine fourni, l'étape 1 du script récupère le fichier CSV de mapping et pour chacun des tags remplace la valeur et le volume soit fourni directement dans la configuration, soit en exécutant la recherche sur l'index Transaction d'ElasticSearch.

L'étape 2 permet de calculer les totaux intermédiaires et finaux de chaque catégorie à partir du CSV de calculs. 

L'étape 3 fourni un compte rendu de tous les tags qui ont été modifiés. Tous les autres tags sont initialisés à zéro.

Fichier XML initialisé à zéro input.xml à positionner sur AWS s3 dans le répertoire s3://config.ep.monext.prod/oscamps/oscamps-carto-v2.xml

Exécution manuelle

Pour lancer la génération d'un fichier XML OSCAMPS Carto, il faut créer un manual_job comme celui ci dessous :

Il se basera sur :

• le fichier de mapping s3://config.ep.monext.prod/oscamps/mapping.csv
• le fichier de calcul s3://config.ep.monext.prod/oscamps/calculation.csv
• le fichier XML de travail s3://config.ep.monext.prod/oscamps/oscamps-carto-v2.xml
• et sur les données de l'index Transaction

{ 
    "operations" : [{ 
        "job":"oscamps-job-manual", 
		"business-date":"20210101,20210630" 
    }] 
}

Le fichier généré sera déposé et historisé dans le répertoire AWS s3 s3://out.ep.monext.prod/reporting/

Upload du fichier XML

OneGate propose un environnement de Recette pour tester que le XML est valide sur la structure (CTRL1) et sur la cohérence des données (CTRL2).

Une fois le fichier valide, il peut être déposé en Production.

Pascal COURNANDest pour l'instant le seul à avoir un accès à ces environnements.

Contrôles

Une fois le fichier XML généré et validé en recette, des contrôles manuels sont effectués par Baptiste BAUDELET pour valider les chiffres.

Itérations

Septembre 2021 (période 1er semestre 2021)

Fichier OSCAMPS final : output_20210924_115646.xml (uploadé en Prod le lund27 sept. 2021)

Eléments support de la vérification faite par Baptiste BAUDELET sur Z:\PROJET_EP\41_oscamps\