Fonctionne avec deux BDTOPO

mmarchois · mmarchois · commit 6554b3bda817 · 2026-04-01T10:47:35.000+02:00
diff --git a/.env b/.env
@@ -36,6 +36,8 @@ IGN_REPORT_STATUS=submit
 MATOMO_ENABLED=false
 ###> BD TOPO ###
 BDTOPO_2025_DATABASE_URL="postgresql://dialog:dialog@database:5432/dialog_bdtopo"
+BDTOPO_2025_2_DATABASE_URL="postgresql://dialog:dialog@database:5432/dialog_bdtopo"
+BDTOPO_ACTIVE_DATABASE_URL="${BDTOPO_2025_DATABASE_URL}"
 ###< BD TOPO ###
 ###> JOP ###
 APP_JOP_ORG_ID=
diff --git a/.github/workflows/bdtopo_migrate.yml b/.github/workflows/bdtopo_migrate.yml
@@ -35,6 +35,8 @@ jobs:
       - name: Init environment variables
         run: |
           echo "BDTOPO_2025_DATABASE_URL=${{ secrets.BDTOPO_2025_DATABASE_URL }}" >> .env
+          echo "BDTOPO_2025_2_DATABASE_URL=${{ secrets.BDTOPO_2025_2_DATABASE_URL }}" >> .env
+          echo "BDTOPO_ACTIVE_DATABASE_URL=${{ secrets.BDTOPO_ACTIVE_DATABASE_URL }}" >> .env
 
       - name: CI
         run: make ci_bdtopo_migrate BIN_COMPOSER="composer" BIN_CONSOLE="php bin/console"
diff --git a/.github/workflows/ci.yml b/.github/workflows/ci.yml
@@ -68,6 +68,8 @@ jobs:
           echo "DATABASE_URL=postgresql://dialog:dialog@localhost:5432/dialog" >> .env
           echo "BDTOPO_DATABASE_URL=${{ secrets.BDTOPO_DATABASE_URL }}" >> .env
           echo "BDTOPO_2025_DATABASE_URL=${{ secrets.BDTOPO_2025_DATABASE_URL }}" >> .env
+          echo "BDTOPO_2025_2_DATABASE_URL=${{ secrets.BDTOPO_2025_2_DATABASE_URL }}" >> .env
+          echo "BDTOPO_ACTIVE_DATABASE_URL=${{ secrets.BDTOPO_ACTIVE_DATABASE_URL }}" >> .env
           echo "METABASE_DATABASE_URL=postgresql://dialog:dialog@localhost:5432/dialog" >> .env
           echo "REDIS_URL=redis://localhost:6379" >> .env
           echo "APP_STORAGE_SOURCE=memory.storage" >> .env
diff --git a/.github/workflows/litteralis_import.yml b/.github/workflows/litteralis_import.yml
@@ -59,6 +59,8 @@ jobs:
         run: |
           echo "DATABASE_URL=${{ secrets.APP_LITTERALIS_IMPORT_DATABASE_URL }}" >> .env.local
           echo "BDTOPO_2025_DATABASE_URL=${{ secrets.BDTOPO_2025_DATABASE_URL }}" >> .env.local
+          echo "BDTOPO_2025_2_DATABASE_URL=${{ secrets.BDTOPO_2025_2_DATABASE_URL }}" >> .env.local
+          echo "BDTOPO_ACTIVE_DATABASE_URL=${{ secrets.BDTOPO_ACTIVE_DATABASE_URL }}" >> .env.local
           echo "EMAIL_SUPPORT=${{ vars.EMAIL_SUPPORT }}" >> .env.local
           echo "MAILER_DSN=${{ secrets.MAILER_DSN }}" >> .env.local
           # Deal with JSON quotes
diff --git a/Makefile b/Makefile
@@ -307,11 +307,11 @@ ci_bdtopo_update: ## Run CI steps for BD TOPO Update workflow
 	sleep 3; \
 	# Récupérer les credentials depuis l'URL du secret et construire l'URL du tunnel
 	# Compatible macOS et Linux (sed fonctionne de la même manière pour ces patterns)
-	if [ -n "$$BDTOPO_2025_DATABASE_URL" ]; then \
+	if [ -n "$$BDTOPO_2025_2_DATABASE_URL" ]; then \
 		# Construire la nouvelle URL avec localhost:10002
 		# Utiliser une substitution compatible macOS et Linux
-		BDTOPO_TUNNEL_URL=$$(echo "$$BDTOPO_2025_DATABASE_URL" | sed 's|@[^/]*|@127.0.0.1:10002|'); \
-		export BDTOPO_2025_DATABASE_URL="$$BDTOPO_TUNNEL_URL"; \
+		BDTOPO_TUNNEL_URL=$$(echo "$$BDTOPO_2025_2_DATABASE_URL" | sed 's|@[^/]*|@127.0.0.1:10002|'); \
+		export BDTOPO_2025_2_DATABASE_URL="$$BDTOPO_TUNNEL_URL"; \
 	fi; \
 	./tools/wait-for-it.sh 127.0.0.1:10002; \
 	./tools/bdtopo_download_and_update \
diff --git a/README.md b/README.md
@@ -17,11 +17,11 @@ Digitaliser, diagnostiquer, diffuser l’information réglementaire de logistiqu
 
 ℹ️ Vous devez avoir **[Docker](https://www.docker.com/)** et **[Docker Compose](https://docs.docker.com/compose/)** d'installés sur votre machine.
 
-Tout d'abord, demandez à un membre de l'équipe la valeur de la variable d'environnement `BDTOPO_2025_DATABASE_URL`, et ajoutez-la à `.env.local` (créez le fichier si besoin) :
+Tout d'abord, demandez à un membre de l'équipe la valeur de la variable d'environnement `BDTOPO_ACTIVE_DATABASE_URL`, et ajoutez-la à `.env.local` (créez le fichier si besoin) :
 
 ```bash
 # .env.local
-BDTOPO_2025_DATABASE_URL=postgres://dialog_app:...
+BDTOPO_ACTIVE_DATABASE_URL=postgres://dialog_app:...
 ```
 
 Pour démarrer l'application (http://localhost:8000) :
diff --git a/config/packages/doctrine.yaml b/config/packages/doctrine.yaml
@@ -8,7 +8,7 @@ doctrine:
                 schema_manager_factory: 'doctrine.dbal.default_schema_manager_factory'
                 use_savepoints: true
             bdtopo2025:
-                url: '%env(BDTOPO_2025_DATABASE_URL)%'
+                url: '%env(resolve:BDTOPO_ACTIVE_DATABASE_URL)%'
                 use_savepoints: true
             metabase:
                 url: '%env(METABASE_DATABASE_URL)%'
diff --git a/docs/deployment/README.md b/docs/deployment/README.md
@@ -104,7 +104,8 @@ Chaque application peut être configurée avec les variables d'environnement sui
 | Variable d'environnement | Description | Valeur par défaut | Notes |
 |--------------------------|-------------|--------|-------|
 | `API_ADRESSE_BASE_URL` | URL de l'API de géocodage IGN (anciennement API Adresse) | `https://data.geopf.fr/geocodage` | L'API a été [transférée à l'IGN](https://adresse.data.gouv.fr/blog/lapi-adresse-de-la-base-adresse-nationale-est-transferee-a-lign) en 2025. |
-| `BDTOPO_2025_DATABASE_URL` | URL de connexion PostgreSQL à notre [hébergement BD TOPO](../tools/bdtopo.md) | _(Obligatoire)_ | En développement, à récupérer auprès d'un membre de l'équipe |
+| `BDTOPO_ACTIVE_DATABASE_URL` | URL de connexion PostgreSQL de la base BD TOPO actuellement servie par l'application | _(Obligatoire)_ | En production, peut pointer vers `BDTOPO_2025_DATABASE_URL` ou `BDTOPO_2025_2_DATABASE_URL` selon la base active |
+| `BDTOPO_2025_DATABASE_URL` | URL de connexion PostgreSQL à une instance physique BD TOPO | _(Obligatoire)_ | Utilisée avec `BDTOPO_2025_2_DATABASE_URL` pour gérer l'alternance active/inactive |
 | `BDTOPO_DATABASE_URL` | URL de connexion PostgreSQL à notre [hébergement BD TOPO](../tools/bdtopo.md) (legacy) | _(Obligatoire)_ | En développement, à récupérer auprès d'un membre de l'équipe |
 | `APP_EUDONET_PARIS_BASE_URL` | URL de l'API Eudonet Paris | https://eudonet-partage.apps.paris.fr | |
 | `APP_EUDONET_PARIS_ORG_ID` | Utiliser l'UUID de l'organisation Ville de Paris | _Vide_ | |
diff --git a/docs/tools/bdtopo.md b/docs/tools/bdtopo.md
@@ -4,15 +4,17 @@ DiaLog héberge une partie de la [BD TOPO](https://geoservices.ign.fr/bdtopo) po
 
 ## Démarrage rapide
 
-Pour le développement local, demandez la `BDTOPO_2025_DATABASE_URL` à un membre de l'équipe et ajoutez-les à votre `.env.local` (créer ce fichier à la racine du projet si nécessaire).
+Pour le développement local, demandez la `BDTOPO_ACTIVE_DATABASE_URL` à un membre de l'équipe et ajoutez-la à votre `.env.local` (créer ce fichier à la racine du projet si nécessaire).
 
 Si vous cherchez à mettre en ligne une nouvelle version des tables BD TOPO, voir [Mettre à jour les données](#mettre-à-jour-les-données).
 
 ## Fonctionnement général
 
 Les requêtes à la BD TOPO se font par une connexion dédiée, configurée dans la configuration doctrine (`config/packages/doctrine.yaml`).
 
-L'URL de connexion est configurée par la variable d'environnement `BDTOPO_2025_DATABASE_URL`.
+L'URL de connexion utilisée par l'application est configurée par la variable d'environnement `BDTOPO_ACTIVE_DATABASE_URL`.
+
+Les variables `BDTOPO_2025_DATABASE_URL` et `BDTOPO_2025_2_DATABASE_URL` représentent quant à elles deux bases physiques entre lesquelles on peut basculer lors des mises à jour de données.
 
 Cette connexion dispose de ses propres migrations, séparées des migrations applicatives de DiaLog. Cela permet de configurer des indexes, fonctions et autres objets PostgreSQL spécifiquement dédiés à l'optimisation des requêtes adressées aux tables BD TOPO.
 
@@ -122,12 +124,12 @@ Cette section explique comment mettre à jour une base BDTOPO locale pour tester
 
    ```bash
    # Pour l'application qui tourne dans Docker, utilisez le nom du service
-   BDTOPO_2025_DATABASE_URL=postgresql://dialog:dialog@database:5432/dialog_bdtopo
+   BDTOPO_ACTIVE_DATABASE_URL=postgresql://dialog:dialog@database:5432/dialog_bdtopo
    ```
 
 #### 🚀 Mise à jour en production
 
-:warning: **Attention** : La mise à jour en production prend typiquement une heure voire plus. Pendant ce temps, le géocodage sera indisponible et les utilisateurs peuvent rencontrer des plantages. **Faites-le à une heure de faible trafic**.
+:information_source: La mise à jour charge désormais la base inactive définie par `BDTOPO_2025_2_DATABASE_URL`, puis l'application peut être basculée en changeant `BDTOPO_ACTIVE_DATABASE_URL` vers la base fraîchement chargée.
 
 **Méthode recommandée : GitHub Actions**
 
@@ -159,7 +161,7 @@ Le workflow GitHub Actions `bdtopo_update` automatise tout le processus et est l
    - Les logs et artefacts sont disponibles dans l'onglet "Actions" de GitHub
 
 **Prérequis GitHub Actions** :
-- Le secret `BDTOPO_2025_DATABASE_URL` doit être configuré dans les secrets GitHub Actions
+- Les secrets `BDTOPO_2025_DATABASE_URL`, `BDTOPO_2025_2_DATABASE_URL` et `BDTOPO_ACTIVE_DATABASE_URL` doivent être configurés dans les secrets GitHub Actions
 - Le secret `GH_SCALINGO_SSH_PRIVATE_KEY` doit être configuré (déjà fait pour les autres workflows)
 
 **Méthode alternative : Script en local**
@@ -200,7 +202,7 @@ Les indexes sont gérés via des migrations dédiées à la BDTOPO (dossier `BdT
 
 Pour créer une migration vide, utiliser `make bdtopo_migration`.
 
-Pour tester une migration sur une BD TOPO locale, configurer  `BDTOPO_2025_DATABASE_URL` dans votre `.env.local` pour pointer sur la BD TOPO locale, puis utiliser `make bdtopo_migrate`.
+Pour tester une migration sur une BD TOPO locale, configurer `BDTOPO_ACTIVE_DATABASE_URL` dans votre `.env.local` pour pointer sur la BD TOPO locale, puis utiliser `make bdtopo_migrate`.
 
 Pour exécuter une migration en prod, faire une PR avec la migration et la merger. Un job GitHub Actions lancera la migration.
 
diff --git a/docs/tools/jop.md b/docs/tools/jop.md
@@ -14,7 +14,7 @@ Si `zones.geojson` change ou si l'arrêté `JOP2024-ZONES` doit être recalculé
 
 1. Récupérer le UUID de l'organisation "Préfecture de Police de Paris" (PP) en prod. Pour cela demander à un super-admin : l'UUID est visible dans l'URL de la page de l'organisation dans l'admin.
 2. Créer un fichier `.env.prod.local` vide, et y définir :
-    * `BDTOPO_2025_DATABASE_URL`
+    * `BDTOPO_ACTIVE_DATABASE_URL`
     * `APP_JOP_ORG_ID=ID`, où `ID` est l'UUID de la PP que vous venez de récupérer.
 3. Ouvrir un [tunnel](./db.md#utiliser-une-db-scalingo-en-local) vers la DB de prod :
 
diff --git a/tools/bdtopo_download_and_update b/tools/bdtopo_download_and_update
@@ -261,6 +261,53 @@ def _merge_7z_parts(parts: list[Path], output_path: Path) -> None:
     print(f"✓ Fusion terminée")
 
 
+def _resolve_target_database_url(args: argparse.Namespace) -> tuple[str | None, str | None]:
+    """
+    Détermine la base BDTOPO cible pour l'import et les migrations.
+
+    Priorité:
+    1. `BDTOPO_2025_2_DATABASE_URL` pour charger la base inactive/staging
+    2. `BDTOPO_2025_DATABASE_URL` en repli
+    3. `--url`
+    4. `--prod` sans URL explicite (laissé à `bdtopo_update`)
+    """
+    inactive_database_url = os.environ.get("BDTOPO_2025_2_DATABASE_URL")
+    primary_database_url = os.environ.get("BDTOPO_2025_DATABASE_URL")
+    active_database_url = os.environ.get("BDTOPO_ACTIVE_DATABASE_URL")
+
+    if inactive_database_url:
+        if active_database_url and inactive_database_url == active_database_url:
+            print(
+                "WARNING: BDTOPO_2025_2_DATABASE_URL et BDTOPO_ACTIVE_DATABASE_URL "
+                "pointent vers la même base. L'import ne sera pas isolé de la base active.",
+                file=sys.stderr,
+            )
+        elif primary_database_url and inactive_database_url == primary_database_url:
+            print(
+                "WARNING: BDTOPO_2025_2_DATABASE_URL et BDTOPO_2025_DATABASE_URL "
+                "pointent vers la même base. Vérifiez que BDTOPO_ACTIVE_DATABASE_URL "
+                "désigne bien la base actuellement servie par l'application.",
+                file=sys.stderr,
+            )
+
+        print("Utilisation de BDTOPO_2025_2_DATABASE_URL pour charger la base BDTOPO inactive")
+        return inactive_database_url, "BDTOPO_2025_2_DATABASE_URL"
+
+    if primary_database_url:
+        print(
+            "WARNING: BDTOPO_2025_2_DATABASE_URL est absente. "
+            "Repli sur BDTOPO_2025_DATABASE_URL (base potentiellement active).",
+            file=sys.stderr,
+        )
+        return primary_database_url, "BDTOPO_2025_DATABASE_URL"
+
+    if args.url:
+        print("Utilisation de l'URL fournie via --url")
+        return args.url, "--url"
+
+    return None, None
+
+
 def main() -> int:
     parser = argparse.ArgumentParser(
         description="Télécharge, dézippe et importe les données BDTOPO EXPRESS",
@@ -470,19 +517,21 @@ def main() -> int:
             str(extracted_dir),
         ]
 
-        # Utiliser la variable d'environnement BDTOPO_2025_DATABASE_URL si disponible
-        # Sinon, utiliser --prod ou --url selon les arguments
-        database_url_from_env = os.environ.get("BDTOPO_2025_DATABASE_URL")
+        # Charger par défaut la base BDTOPO inactive afin de permettre
+        # un basculement de DSN en production une fois l'import terminé.
+        database_url_from_env, database_url_source = _resolve_target_database_url(args)
         database_url_for_migrations = None  # Sera utilisé pour les migrations
 
         if database_url_from_env:
             cmd.extend(["--url", database_url_from_env])
             database_url_for_migrations = database_url_from_env
-            print(f"Utilisation de BDTOPO_2025_DATABASE_URL depuis l'environnement")
+            print(f"Base cible sélectionnée via {database_url_source}")
         elif args.prod:
             cmd.append("--prod")
             # Pour --prod, on récupérera l'URL depuis l'environnement après l'import
-            database_url_for_migrations = os.environ.get("BDTOPO_2025_DATABASE_URL")
+            database_url_for_migrations = os.environ.get("BDTOPO_2025_2_DATABASE_URL") or os.environ.get(
+                "BDTOPO_2025_DATABASE_URL"
+            )
         elif args.url:
             cmd.extend(["--url", args.url])
             database_url_for_migrations = args.url
@@ -544,7 +593,7 @@ def main() -> int:
                     # Utiliser la même URL de base de données que pour l'import
                     env = os.environ.copy()
                     if database_url_for_migrations:
-                        env["BDTOPO_2025_DATABASE_URL"] = database_url_for_migrations
+                        env["BDTOPO_ACTIVE_DATABASE_URL"] = database_url_for_migrations
 
                     if is_ci:
                         # Dans la CI, utiliser directement php bin/console si disponible
