Présentation

L'index Transaction contient l'ensemble des transactions VAD et Proxy traitées par l'Etablissement de Paiement depuis sa création.

On y retrouve toutes les catégories de transactions CB (fournies par MBA) et Visa/MasterCard (fournies par BNPP) :

• les paiements : type FAC code Z0, X0 et Y0
• les remboursements : type AVO code Z0, X0 et Y0
• les impayés : type FAC code Z1, X5 et X4

L'index Transaction est alimenté en temps réel à chaque dépôt de fichier CREMBA dans le Puits par les transactions qu'il contient.

Une consolidation est également planifiée en début d'après midi pour rapprocher les données CREMBA avec les Données tierces exportées quotidiennement par Payline et PayAvenue.

Cet index est aujourd'hui utilisé pour produire des reportings règlementaires (OSCAMP - Cartographie des moyens de paiement et Reporting SURFI), mais aussi pour de la Reporting interne - Data viz.

Architecture technique

Streaming layer

A chaque nouvelle ligne de CRE MBA (transactions CB VI ou MC) qui rentrent dans le Puits, un consumer Streaming est déclenché pour préparer la donnée et la pousser dans l'index Elastic Search. Les données Payline et Payavenue ne sont pas rapprochées à ce moment là car elles n'ont pas encore livrées par les fournisseurs).

Batch layer

Tous les jours (aujourd'hui à 15h pour passer après les vacations VMC), le job Batch récupère, à partir de toutes les vacations "reglement-transactions", les lignes de CRE MBA associées. Pour chacune d'elle, il va chercher sa correspondance dans les fichiers Payline et PayAvenue fournis. Les données sont ensuite préparées et poussées dans ElasticSearch. Il va donc mettre à jour les données déjà poussées par le Streaming mais avec un niveau de détails plus fins.

Sources de données

L'index Transaction est généré sur la base des fichiers CRE MBA CB VI et MC aujourd'hui déposés dans le Data Lake.

Les données pays (Refpays) et commerçants (Refcom) sont également chargées depuis les tables HBase.

Enfin, les données tierces provenant de Payline et PayAvenue sont également récupérées et certaines viendront écraser les données du CRE.

Règle écrasement de donnée

Si la donnée en entrée est nulle ou vide OU que la date de vente fournie par le CRE est comprise entre le 16 févr. 2021 et 17 mars 2021 

Alors on remplace la donnée avec celle fournie par Payline ou PayAvenue.

Cet intervalle de date correspond à un bug identifié sur un décalage de colonnes sur les fichiers CRE. Aucun rattrapage n'a été fait à l'époque pour ré-ingérer les données. Si on veut faire ce rattrapage aujourd'hui, il faut faire une analyse d'impact.

Rattrapage - manual job

Le dataflow de l'index Transaction est idempotent, il est donc possible d'effectuer un rattrapage de données à n'importe quelle date si jamais il y a eu une interruption de service ou s'il y a de nouveaux champs à rajouter dans l'index par exemple. La business date peut être aussi bien un jour précis qu'un intervalle de date, elle correspond au jour de vacation.

{
	"operations" : [{
		"job":"warehouse-cre-batch-job-manual",
		"business-date":"20211201"
	}]
}

{
	"operations" : [{
		"job":"warehouse-cre-batch-job-manual",
		"business-date":"20211101,20211130"
	}]
}

Format