Import - MAJIC: détection automatique des fichiers dans le répertoire

[mdouchin]

Modification de la logique d'import des fichiers MAJIC:

• La configuration dans la boîte à outil permet maintenant de configurer des mots clés ou des expressions régulières pour trouver les fichiers MAJIC en fonction de leur type. Ce n'est plus un nom de fichier exact qui est attendu, mais une partie du nom (ou une liste de mots séparés par | par exemple.)
  
• Par défaut, ces expressions régulières permettent de trouver les fichiers MAJIC avec les nommages standard : <code_insee>_{BATI,FANR,LLOC,NBAT,PROP,PDLL}.txt ou ART.DC21.W<anneeYY><dept>0.<typefichier>.A<anneeYYYY>.N<numero_commande>
• Lors de l'import, le plugin trouve automatiquement les fichiers qui correspondent. L'utilisateur n'a donc plus besoin de renommer ses fichiers ni de modifier la configuration du plugin.

Ticket : #463
Financé par le CRAIG https://www.craig.fr/

[mdouchin]

@landryb Je veux bien que tu testes cette branche. Voir la description ci-dessus pour les changements.

[Gustry]

From the Python side, without tests, LGTM

[landryb]

j'ai testé rapidement et j'ai pu importer sans rien configurer avec les fichiers suivants:

• 38063_BATI.txt
• 38063_LLOC.txt
• 38063_NBAT.txt
• 38063_PDLL.txt
• 38063_PROP.txt
• 38_FANR.txt

puis un second essai sans fantoir, avec les fichiers suivants (nommages originaux de livraison)

• ART.DC21.W24150.BATI.A2024.N000648
• ART.DC21.W24150.LLOC.A2024.N000648
• ART.DC21.W24150.NBAT.A2024.N000648
• ART.DC21.W24150.PDLL.A2024.N000648
• ART.DC21.W24150.PROP.A2024.N000648

j'ai bien eu le message d'erreur attendu:

Des fichiers MAJIC importants sont manquants : fanr
Vérifier le chemin des fichiers MAJIC :
/home/landry/datas/cadastreqgis/majic/15
ainsi que les mots recherchés pour chaque type de fichier configurés dans les options du plugin Cadastre :
BATI, FANTOIR|FANR, LLOC|D166, NBAT, PDL, PROP

une fois téléchargé/décompressé FANR_15.txt, les fichiers ont bien été trouvés/importés. j'ai eu une memoryError sur le dept complet par contre..

File "/home/landry/.local/share/QGIS/QGIS3/profiles/default/python/plugins/cadastre/cadastre_import.py", line 595, in import_majic_file_into_database
for a in self.chunk(fin, self.maxInsertRows):
MemoryError

a mieux gérer ? il me semble que jusqu'ici je n'avais pas eu de souci pour importer un dept complet dans spatialite, et dans mon test c'était majic seul, sans edigeo.. e tj'ai les réglages par défaut pour le nb de lignes et le stockage temporaire en mémoire..d'ailleurs, estce que le n=100000 hardcodé ne devrait pas reprendre la valeur de cadastre/maxInsertRows dans la fonction chunk ?

on peut peut-etre juste améliorer la clarté du message d'erreur, si il manque juste 'fanr' n'afficher que le motif pour ce dernier, plutôt que tous les motifs ?

je vois que la regex est utilisée dans get_available_majic_files et ca a bien fonctionné dans les 2 cas testés.

la capture d'écran à jour a aussi un nouveau champ 'TOPO' j'imagine pour une autre PR.. :D

[mdouchin]

Merci pour le retour détaillé. Je corrige et repousse

[mdouchin]

Je n'ai pas rencontré de souci de MEMORY avec SQLite pour un département. Pourrais-tu retester (je viens de pousser une nouvelle modification) et voir si au moins l'erreur est bien récupérée et affichée ?

Quelle est la taille des fichiers MAJIC testés et la RAM disponible sur ton poste ?

[mdouchin]

estce que le n=100000 hardcodé ne devrait pas reprendre la valeur de cadastre/maxInsertRows dans la fonction chunk ?

@landryb Non justement, cette syntaxe dit que la valeur de n (renommé en pieces_number) est mise à 100000 seulement si le paramètre n'est pas passé lors de l'appel à la méthode. Or, je passe bien self.maxInsertRows dans l'appel
for a in self.chunk(fin, self.maxInsertRows):

[landryb]

@landryb Non justement, cette syntaxe dit que la valeur de n (renommé en pieces_number) est mise à 100000 seulement si le paramètre n'est pas passé lors de l'appel à la méthode. Or, je passe bien self.maxInsertRows dans l'appel
for a in self.chunk(fin, self.maxInsertRows):

ah oui désolé je ne l'avais pas vu :)

Je n'ai pas rencontré de souci de MEMORY avec SQLite pour un département. Pourrais-tu retester (je viens de pousser une nouvelle modification) et voir si au moins l'erreur est bien récupérée et affichée ?

merci pour les except MemoryError: .. après je teste en conditions limitées sur openbsd, faut pas trop chercher non plus hein :)

Quelle est la taille des fichiers MAJIC testés et la RAM disponible sur ton poste ?

je suis pas sur le bon poste ajd, celui la n'a que 8Go, mais je crois que c'est pareil sur le laptop. Et c'est les majic du dept 15, donc relativement 'petits'.

pour moi c'est bon sur le fond de toute façon; je retesterais lundi si j'ai pas oublié entre temps..

[mdouchin]

Ok merci, je clos et continue sur ma lancée avec le TOPO