Agent Curateur "Open data"

Contexte

Pour garantir la fiabilité des réponses d'Adelin, les données ouvertes intégrées à sa base de connaissances doivent être triées, validées et normalisées avant indexation. L'Agent Curateur automatise ce pipeline tout en gardant un humain dans la boucle pour la décision finale.

Stack technique

Make.com · OpenAI GPT-4 · Google Apps Script (parsing CSV/JSON/GeoJSON) · Supabase PostgreSQL · pgvector

Solution

Le système repose sur deux scénarios Make qui travaillent en tandem.

Scénario 1 — analyse du jeu de données. Une URL de métadonnées brute déclenche un webhook. Le contenu est analysé par un LLM qui attribue un score selon quatre critères (alignement métier, exploitabilité technique, cohérence des colonnes, potentiel de filtrage analytique). Le résultat est structuré en JSON et enregistré dans une table de transition (Curation_Queue), sans jamais toucher la base de production. Un email automatisé notifie le gestionnaire avec le résumé, le score et un lien direct vers Supabase pour validation — gouvernance human-in-the-loop.

Scénario 2 — ingestion automatique. Une fois validé, le dataset est téléchargé, puis un routeur redirige le fichier vers le script adapté selon son format (CSV, JSON, GeoJSON). Les données sont converties en un format unifié et searchable, les accents français normalisés, et l'ensemble envoyé en un seul batch, environ 100 fois plus économique qu'un envoi ligne par ligne. Les anciennes données du même dataset sont automatiquement remplacées avant réinsertion.

Résultats

Système entièrement autonome de la découverte à l'ingestion, avec un seul point de friction volontaire : la validation humaine avant mise en production des données.

Ce que j'ai appris

Découpler l'analyse (LLM) de la transformation (scripts dédiés par format) rend le pipeline plus robuste face à des sources hétérogènes. Le batch insert plutôt que ligne par ligne change radicalement le coût d'infrastructure sur de gros volumes.