Backend & DevOps : Ingestion de Données & Orchestration
Construction des fondations techniques pour une plateforme européenne de financement basée sur l'analyse de données complexes.
01 Contexte & Expertise
Cette plateforme européenne est un acteur majeur du Revenue Based Financing. Mon rôle a été d'assurer l'ingestion fiable et sécurisée de données critiques via une multitude d'APIs tierces pour permettre le scoring financier automatisé en temps réel.
Le défi principal résidait dans l'hétérogénéité des sources de données (ads, banking, e-commerce) et la nécessité d'une infrastructure capable de gérer des processus asynchrones hautement critiques.
02 Réalisations Clés
Écosystème de Connecteurs API (OAuth2)
Intégration et sécurisation de connecteurs complexes (Google Ads, Stripe, Bankin) avec gestion fine du rate limiting et des rafraîchissements de tokens.
Pipeline d'Ingestion Asynchrone (Celery)
Optimisation du traitement via Celery et Redis, garantissant l'idempotence des tâches et la cohérence des données stockées sur le Datalake GCP.
Infrastructure as Code & K8s
Déploiement et maintenance d'environnements Kubernetes isolés sur GKE, avec automatisation complète via GitHub Actions et Terraform.
03 Défis Techniques
Fiabilité des Flux : Mise en place de mécanismes de retry exponentiel et de dead-letter queues pour ne perdre aucun événement financier.
Sécurité des Données : Chiffrement au repos et en transit de données bancaires ultra-sensibles, en conformité avec les standards de la Fintech.
Expertise Déployée
Période
Mars 2021 — Juin 2021