WorldTaxAI — Chatbot fiscal Espagne (RAG + pgvector) : étude de cas complète

Résumé du projet

WorldTaxAI est un chatbot fiscal multilingue (EN↔ES) dédié au droit et à l’administration fiscale espagnols. Il s’appuie sur un RAG robuste combinant recherche sémantique (pgvector) et recherche lexicale (tsvector) pour fournir des réponses fiables, sourcées et rapides.

1. Corpus : ~60 000 documents (BOE, DGT, AEAT, PwC), PDF hétérogènes unifiés.
2. Qualité : OCR, nettoyage, normalisation Unicode, chunking 400–600 tokens.
3. Indexation : PostgreSQL + pgvector (HNSW) + FTS tsvector (GIN).
4. App : FastAPI (backend), React/Next (front avec streaming), historique et suppression de conversations.
5. Multilingue : questions en anglais, réponses sourcées depuis corpus majoritairement espagnol.

Objectifs

1. Accès rapide aux règlements, rulings, notices, commentaires.
2. Réponses fiables et sourcées (extraits + page/section cliquables).
3. Multilingue EN↔ES (robustesse terminologique).
4. Coûts maîtrisés (embeddings low-cost, infra Postgres unifiée).
5. Fonctionnalités de chat : historique, reprise, suppression, export.

Pourquoi une recherche hybride ?

1. Sémantique (embeddings) : capte la proximité conceptuelle, tolère les variations linguistiques (EN↔ES) et paraphrases.
2. Lexicale (tsvector) : ancre les références exactes (p. ex. modelo 190, art. 10, sigles…).
3. Fusion de scores (+ boosts métier, MMR) : maximise rappel & précision sans filtrage dur, en privilégiant la pertinence juridique.

Architecture & pipeline

1) Ingestion & OCR

1. Extraction texte depuis PDF natifs & scans (OCR).
2. Détection de langue, normalisation Unicode, suppression en-têtes/pieds, numéros de page.

2) Structuration & chunking

1. Segments 400–600 tokens avec chemin de section et n° de pages.
2. Contrôles qualité, déduplication, horodatage.

3) Enrichissement documentaire

1. Métadonnées : jurisdiction, document_type, doc_title, source_name, year.
2. Thèmes : primary_topic (liste fermée), secondary_topics (3–5 tags contrôlés).
3. Abstract court (aperçu), option embedding doc-level.

4) Embeddings & index

1. Modèle : text-embedding-3-small (OpenAI).
2. Stockage : PostgreSQL
   1. pgvector vector(1536)
      1. index HNSW.
3. Recherche lexicale parallèle via tsvector
   1. index GIN.

5) Retrieval hybride & classement

1. Vectoriel EN↔ES
   1. lexical exact-match.
2. Fusion normalisée des scores, boosts par topics/type, MMR (diversité), rerank léger.
3. Sélection 5–8 extraits avec citations (titre, section, page).

6) API & Front

1. FastAPI : auth, sessions, pagination, purge.
2. React/Next (streaming) : i18n, copier/coller des extraits, export conversation.
3. Voix → texte : endpoint de transcription (option).

7) Ops & sécurité

1. CI/CD, métriques (latence, tokens, Recall@k), budgets.
2. Confidentialité : données API non utilisées pour l’entraînement ; zéro rétention optionnelle.
3. RLS/permissions en lecture, logs minimaux, traçabilité par segment.

Expérience utilisateur

1. Historique par utilisateur : reprise, renommage, suppression.
2. Citations cliquables vers la source (avec contexte).
3. Réponses factuelles : le modèle n’invente pas, il s’appuie sur les extraits.
4. Multilingue : question EN, résultats ES, résumé EN optionnel.
5. Streaming des réponses, saisie vocale (option).

Résultats & impacts

1. Accès en secondes à des contenus auparavant dispersés.
2. Rappel élevé sur requêtes techniques (retención dividendos — modelo 190, establecimiento permanente, etc.).
3. Gain de temps substantiel pour analystes & avocats.
4. Base prête pour la veille & l’analytique (tendances, clustering, détection de doublons).

Stack technique

1. Backend : Python, FastAPI, SQLAlchemy.
2. Base : PostgreSQL, pgvector, tsvector, Docker.
3. LLM & embeddings : OpenAI (chat gpt-4o-mini, embeddings text-embedding-3-small).
4. Front : React/Next, streaming, i18n.
5. Ops : CI/CD, monitoring, budgets.

Planning & budget

1. Phase 1 — scraping & préparation : livrée, ~2–3 semaines.
2. Phase 2 — RAG + API + front + déploiement : ~4 semaines.
3. Devis phase 2 : 6 600 € HT (21 jours à 300 €/j).
4. Coûts récurrents API : faibles (indexation one-shot, requêtes légères).

Témoignage client

FAQ

Le chatbot “apprend-il” de nos données ?

Non. Les données API ne servent pas à entraîner ChatGPT. Embeddings et textes restent privés.

Peut-on poser des questions en anglais si le corpus est en espagnol ?

Oui. Embeddings multilingues + FTS bilingue (routing par langue).

Qualité des réponses et évaluation continue ?

Réponses sourcées ; suivi Recall@k, Precision@k, Faithfulness.

Scalabilité de l’index ?

pgvector gère des centaines de milliers de vecteurs. Index HNSW/IVF pour la vitesse. API stateless.

Sécurité et conformité ?

PostgreSQL privé, permissions lecture seule (RLS), suppression d’historique, CI/CD auditable, logs minimaux.

Ressources & prochaines étapes

Exemples de requêtes techniques

1. “Retención sobre dividendos no residentes — modelo 190 (EN→ES)”
2. “Criterios DGT sobre establecimiento permanente digital (EN→ES)”
3. “Exención por doble imposición art. 10 — BOE 202x (ES)”

Idées d’extensions produit

1. Rerank avancé (cross-encoder), re-écriture de requête (query-expansion).
2. Tableau de bord qualité (coverage, freshness, drift terminologique).
3. Veille : ingestion incrémentale (webhooks BOE/DGT/AEAT), alertes topics.