Django-filter: Filtrer pour contrib.postgres JSONField

Bonjour @jzmiller1. Qu'essayez-vous exactement d'atteindre ? Je ne peux pas dire si vous êtes :

• essayer de créer un JSONFilter générique qui vous permettra d'interroger n'importe quel attribut arbitraire à l'intérieur d'un JSONField. ou,
• essayant d'exposer des attributs spécifiques (latitude, âge) qui sont communs à votre cratère data . Ces attributs seraient essentiellement le schéma de votre data .

Le premier est intéressant, mais comme vous l'avez découvert, la complication réside dans le fait que le JSONField est intrinsèquement sans schéma. Sans schéma, vous ne pouvez pas écrire de code pour générer automatiquement des filtres. Votre MethodFilter fonctionne en ce sens qu'il autorise toute recherche d'attribut arbitraire, mais vous ne pouvez pas valider ces recherches. par exemple, ?data=latitude:char:PC:isnull est possible, mais absurde. Quelle que soit la solution ici, il faudra un compromis. Un filtre complètement arbitraire ne pourra pas valider les recherches, un filtre de validation nécessiterait un moyen de fournir un schéma.

Pour le deuxième cas, les solutions sont verbeuses / fastidieuses, mais simples.

class CratersFilter(filters.FilterSet):
    latitude = filters.NumberFilter(name='data__latitude', lookup_expr='exact')
    latitude__lt = filters.NumberFilter(name='data__latitude', lookup_expr='lt')
    latitude__gt = filters.NumberFilter(name='data__latitude', lookup_expr='gt')
    latitude__isnull = filters.BooleanFilter(name='data__latitude', lookup_expr='isnull')
    # not sure if 'isnull' is a valid lookup for JSONFields - just demonstrating that 
    # different lookups expect different value types.

    age = filters.CharFilter(name='data__age', lookup_expr='exact')
    ...

Votre requête ressemblerait alors à :

http://127.0.0.1:8000/api/v1/craters?latitude__lte=-57&age=PC

Mon objectif est de créer un JSONFilter générique qui permettra des requêtes sur n'importe quel attribut arbitraire à l'intérieur d'un JSONField. Pour ce sur quoi je travaille, je ne saurai pas vraiment ce qu'il y a dans les données d'un cratère particulier, mais s'il y a une clé là-dedans que je recherche, j'aimerais pouvoir l'interroger.

En ce qui concerne l'incapacité de valider les types de recherche, je pense que je dépendrais de l'utilisateur qui effectue la requête pour se rendre compte que la requête est absurde et ne la fait tout simplement pas pour commencer.

Je ne sais pas si ce que j'essaie de faire est une perte de temps ou non. Il existe peut-être une meilleure solution pour ce que j'essaie d'accomplir. J'étais curieux de savoir si quelqu'un voyait des problèmes majeurs qui empêcheraient cela d'être possible ou si quelqu'un avait un cas d'utilisation où cela serait utile. Merci d'y avoir jeté un œil !

Ma première réflexion concerne la validation, selon le point de @rpkilby . L'absence de schéma est agréable du point de vue du développeur, mais je ne suis pas sûr que vous souhaitiez qu'il soit directement connecté aux URL adressables.

Laissons cela ouvert pour l'instant. Je vois que c'est une demande populaire. (Donc, même l'aborder au niveau de _"Voici un exemple MethodFilter "_ dans la documentation en vaudrait la peine.)

Pour ce sur quoi je travaille, je ne saurai pas vraiment ce qu'il y a dans les données d'un cratère particulier, mais s'il y a une clé là-dedans que je recherche, j'aimerais pouvoir l'interroger.

Ça a l'air... un peu funky. Vous fournissez une API pour les données sur les cratères, mais vous ne savez pas ce qu'il y a dans les données que vous fournissez ? Voulez-vous dire que certains enregistrements seront dépourvus des attributs d'un schéma commun, ou que les enregistrements individuels sont complètement arbitraires ?

Je vais fermer ceci comme hors de portée pour le moment. Heureux d'examiner les demandes d'extraction documentées et testées. Nous pourrions avoir la capacité de reconsidérer à l'avenir.

Je pense que ce serait vraiment incroyable d'avoir un JSONFilter permettant des requêtes telles que jsonfield__a_random_key=value . Je sais que vous pouvez le faire avec la méthode objects.filter . Peut-être que le compromis pourrait être la validation du filtre ?

Je viens de terminer une implémentation d'une requête "naturelle" pour le filtre QuerySet à l'aide de l'objet Q. Il a été testé unitairement par rapport à un ensemble de requêtes avec ~ 1000 enregistrements à l'aide d'un JsonField. La mise en œuvre est à :
https://github.com/shallquist/DJangoQuerySetFilter/blob/master/queryparser.py

Hé @shallquist, je ne sais pas comment utiliser QuerySetFilter dans le contexte de django-filter. Avez-vous documenté l'utilisation quelque part?

C'est assez simple à utiliser comme le montre le readme sur github. Les requêtes normales doivent être prises en charge, c'est-à-dire.
QuerySetFilter('friends').get_Query((person__address__city = Denver | person__address__city = Boulder) & person__address_state ~= CO)
qui construira une requête pour récupérer tous les amis qui vivent à Dever ou Boulder colorado, où friends est un jsonfield.

BTW Cela n'a pas été beaucoup testé et comme les filtres Django ne prennent pas en charge l'interrogation des objets de tableau intégrés, j'ai abandonné cette approche.

https://github.com/carltongibson/django-filter/issues/426#issuecomment -380224133

Je pense que ce serait vraiment incroyable d'avoir un JSONFilter permettant des requêtes telles que jsonfield__a_random_key=value. Je sais que vous pouvez le faire avec la méthode objects.filter. Peut-être que le compromis pourrait être la validation du filtre ?

Hé @carltongibson , @rpkilby , j'aimerais avoir votre avis à ce sujet. Disons que my_field est un postgres JSONField , et je veux :

• Ajoutez un filtre REST sous la forme de my_field__etc=value où etc est l'une des requêtes prises en charge par JSONField et value tout ce que l'utilisateur REST fournit.
• Ensuite, je voudrais passer etc et value au gestionnaire d'objets modèles sous la forme de MyModel.objects.filter(my_field__etc=value) .
• Enfin, récupérez tout ce que le filtre renvoie.

Cela semble super trivial mais je n'ai pas compris comment faire quelque chose comme ça. Si vous me donnez un petit indice, je pourrais essayer de l'implémenter.

Toutes les pensées seraient super appréciées!

Est-ce que quelque chose comme ce qui suit ne fonctionne pas ?

class MyFilter(FilterSet):
    my_field__etc = filters.NumberFilter(field_name='my_field', lookup_expr='etc')

En général, le field_name doit correspondre au nom du champ de modèle sous-jacent, tandis que les transformations et les recherches (une transformation clé dans ce cas) doivent être contenues dans le lookup_expr .

@rpkilby merci beaucoup pour une réponse aussi rapide - Ouais exactement, mais je veux que etc fourni par l'utilisateur dans la requête... Donc je ne pouvais pas vraiment le coder en dur dans le filtre 💭

Le filtre devrait plutôt ressembler à :

class MyFilter(FilterSet):
    my_field = JSONFieldFilter(field_name='my_field')

Ainsi, un seul filtre JSON pour gérer des paramètres de requête arbitraires comme ?my_field__etc=value .

Je vois deux problèmes. Premièrement, une partie de la valeur de django-filter est qu'il valide les paramètres de la requête. Étant donné que JSONField n'ont pas de schéma, il n'est pas possible de générer des filtres qui valident de manière appropriée les données entrantes. par exemple, si votre champ JSON a une clé "count", il ne serait pas possible de deviner que seuls les nombres positifs sont valides. Le mieux que l'on puisse faire est de garantir que la valeur est valide JSON. Ainsi, les requêtes seraient au moins valides, mais peut-être absurdes (par exemple, data__count__gt='cat' ).

La seconde est que ce filtre va avoir les mêmes limitations que les filtres basés sur MultiWidget . par exemple, il ne générera pas d'erreurs de validation pour les noms de paramètres corrects. Mais avant de plonger là-dedans, voici comment j'implémenterais probablement le filtre. Nous avons besoin:

• Une classe de filtre pour effectuer le filtrage proprement dit, qui doit gérer plusieurs paramètres
• Un champ de formulaire pour valider les données JSON
• Un widget pour obtenir les données des paramètres arbitraires my_field__* .

class JSONWidget(widgets.Textarea):
    """A widget that handles multiple parameters prefixed with the field name."""

    def value_from_datadict(self, data, files, name):
        prefix = f'{name}{LOOKUP_SEP}'

        # this is doing two things: 
        # - matches multiple params for the base field name
        # - in addition to returning the value, we also need the full parameter name
        #   for querying. otherwise, values will be filtered against the base `name`. 
        return {k: v for k, v in data.items() if k.startswith(prefix)}

    def get_context(self, name, value, attrs):
        # to support rendering the widget, you would need to generate subwidgets
        # similar to MultiWidget.get_context.
        pass

class JSONField(postgres.forms.JSONField):
    widget = JSONWidget

    def clean(self, value):
        # note that it's not possible to collect/reraise any validation errors under
        # their actual parameter names. `form.add_error` should be used here, however
        # the field class does not have access to the form instance. raising 
        # ValidationError({k: str(original_exc)}) also does not work. 

        # clean/convert each value
        return {k: super().clean(v) for k, v in value.items()}

class JSONFilter(filters.Filter):
    field_class = JSONField

    def filter(self, qs, value):
        if value in EMPTY_VALUES:
            return qs
        return qs.filter(**value)

Je n'ai pas testé ce qui précède, mais cela devrait être à peu près correct. Cependant, il existe des limites :

• Autant que je sache, il n'y a aucun moyen de gérer correctement par paramètre ValidationError s
• Mauvaise prise en charge du schéma OpenAPI/CoreAPI ? Je ne sais pas à quoi cela ressemblerait.
• djangorestframework-filters n'est pas compatible avec MultiWidget . Ce filtre/widget rencontrerait les mêmes problèmes pour les mêmes raisons.

@rpkilby merci beaucoup pour cette réponse complète.

si votre champ JSON a une clé "count", il ne serait pas possible de deviner que seuls les nombres positifs sont valides.

C'est un excellent point, le fait que nous ne puissions pas valider le type de valeur de la requête le rend très difficile car MyModel.objects.filter(data__count="1") ne renverra pas la même chose que MyModel.objects.filter(data__count=1) . Comme vous le dites, il n'y a aucun moyen de deviner le type de la valeur à partir des paramètres de la requête.

Ne laissant donc que l'option d'intégrer les informations de type dans la valeur de la requête, en faisant quelque chose comme ?data__count=1:int pour rechercher un entier et ?data__count=1:str pour les chaînes, etc. Mais comme il est suggéré ici , ce n'est pas recommandé.

Je comprends maintenant pourquoi il est si précieux de définir explicitement les filtres. Néanmoins, je vais essayer votre suggestion! Merci encore

@rpkilby , j'ai un besoin similaire.

J'ai une table de configuration comme celle-ci avec deux colonnes

meta_structure of type jsonb (This column has info like key1 of type string, key2 of type integer)

J'ai une autre table nommée config_data qui aura 3 colonnes.

config_id -> Foreign key to config table
meta_info -> jsonb type

Remarque : Les tableaux mentionnés ci-dessus ne sont pas les tableaux exacts. Ce ne sont que des versions représentatives pour transmettre le message.

Je valide actuellement les champs de la table meta_info avant de les enregistrer en vérifiant qu'ils correspondent à la table de configuration.

Le besoin est que je veux filtrer en utilisant la colonne meta_info de la table config_data. Par exemple. meta_info__key1='abc'. (key1 peut être n'importe quoi)

J'essayais d'utiliser l'approche que vous aviez donnée ci-dessus, mais le problème est de savoir comment utiliser la classe JSONFilter que vous avez créée ci-dessus.

Par exemple.

class ConfigDataFilterSet(django_filters.FilterSet):
    meta_info = JSONFilter(field_name='meta_info')

pp = ConfigDataFilterSet(data={'meta_info__key1': 'abc'})

Maintenant, si j'exécute pp.qs ou pp.filter_queryset() , il n'appliquera pas réellement le filtre sur le champ meta_info car le nom de champ attribué dans la classe ConfigDataFilterSet est meta_info. Pouvez-vous m'aider à surmonter cet obstacle?