total_filtered non cohérente

[lpofredc]

Sur une instance GeoNature 2.12.3 avec le module d'export 1.5.3 et Utils-Flask-SQLAlchemy 0.3.5, la valeur total_filtered d'un export correspond à la valeur du limit et non au nombre total de données filtrées. cf. la capture suivante ou l'on devrait avoir plus de 500000 données dans le total_filtered:

En effet, pour exemple, si l'on fait un count sur une sous-requête contenant un limit, bien on obtient le nombre de résultat 'limité':

WITH t1 AS (SELECT * FROM gn_synthese.synthese LIMIT 1000 OFFSET 0)
SELECT count(*)
FROM t1;

Cela vient a priori de l'éclatement de la fonction query de la classe GenericQuery en deux fonctions query et raw_query.

raw_query, on applique le limit :

Utils-Flask-SQLAlchemy/src/utils_flask_sqla/generic.py

Lines 254 to 255 in bb84968

	if self.limit != -1:
	q = q.limit(self.limit).offset(self.offset * self.limit)

query on compte le nombre de données AVEC le limit :

Utils-Flask-SQLAlchemy/src/utils_flask_sqla/generic.py

Lines 266 to 267 in bb84968

	q = self.raw_query()
	nb_results = q.count() if self.filters else nb_result_without_filter

En tentant de reproduire sur l'instance de démo, le pb est autre, la valeur limit n'est pas utilisée... le bloc items renvoie TOUS les résultats de la synthese. Il serait intéressant de vérifier la version de Utils-Flask-SQLAlchemy sur l'instance de démo. j'ai pu constater que la montée en version de Utils-Flask-SQLAlchemy ne s'est pas faite lors de la montée en version du module d'export.

[camillemonchicourt]

Sur le serveur de DEMO, le module Exports est actuellement en 1.5.0.

[cen-cgeier]

Bonjour à tous,
Je me permets ce post car j'ai un questionnement à propos des dernières modifications apportées.

Le LIMIT est ajouté à q if self.limit != -1 dans la fonction raw_query.
Il est en revanche systématiquement envoyé à la requête q à la ligne 273.

Utils-Flask-SQLAlchemy/src/utils_flask_sqla/generic.py

Lines 270 to 273 in 29908bf

	q = self.raw_query(process_filter=True, with_limit=False)
	total_filtered = q.count() if self.filters else nb_result_without_filter
	data = self.set_limit(q).all()

N'est-ce pas redondant ou ne doit-il pas y avoir if self.limit != -1 en amont de la ligne ligne 273?
Il semble que l'envoie systématique du LIMIT à la ligne 273 soit problématique lorsque limit=-1 (PnX-SI/gn_module_ZH#42)

Cette proposition semble résoudre le problème évoqué dans PnX-SI/gn_module_ZH#42

        data = self.set_limit(q).all() if self.limit != -1 else q.all()

Mais je ne sais pas si ceci correspond à ce que vos orientations de développement

[TheoLechemia]

Salut,
Je pense qu'il faut bannir l'utilisation du -1 qui est potentiellement dangereuse et peut faire tomber un serveur.
Est-ce qu'il y a vraiment des cas d'usage ?

[cen-cgeier]

Celui que je connais est ici
https://github.com/PnX-SI/gn_module_ZH/blob/main/backend/gn_module_zh/blueprint.py#L814-L822