Django-filter: contrib.postgresJSONFieldのフィルター

こんにちは@ jzmiller1。 正確に何を達成しようとしていますか？ あなたがそうであるかどうかわからない：

• JSONField内の任意の属性をクエリできる汎用JSONFilterを作成しようとしています。 また、
• クレーターdataに共通する特定の属性（緯度、年齢）を公開しようとしています。 これらの属性は、基本的にdataのスキーマになります。

前者は興味深いものですが、ご存知のように、JSONFieldは本質的にスキーマレスであるという複雑さがあります。 スキーマがないと、フィルターを自動的に生成するコードを記述できません。 MethodFilterは、任意の属性ルックアップを許可するという点で機能しますが、それらのルックアップを検証することはできません。 たとえば、 ?data=latitude:char:PC:isnullは可能ですが、無意味です。 ここでの解決策には、トレードオフが必要になります。 完全に任意のフィルターはルックアップを検証できません。検証フィルターには、スキーマを提供する何らかの方法が必要になります。

2番目のケースでは、解決策は冗長で面倒ですが、簡単です。

class CratersFilter(filters.FilterSet):
    latitude = filters.NumberFilter(name='data__latitude', lookup_expr='exact')
    latitude__lt = filters.NumberFilter(name='data__latitude', lookup_expr='lt')
    latitude__gt = filters.NumberFilter(name='data__latitude', lookup_expr='gt')
    latitude__isnull = filters.BooleanFilter(name='data__latitude', lookup_expr='isnull')
    # not sure if 'isnull' is a valid lookup for JSONFields - just demonstrating that 
    # different lookups expect different value types.

    age = filters.CharFilter(name='data__age', lookup_expr='exact')
    ...

クエリは次のようになります。

http://127.0.0.1:8000/api/v1/craters?latitude__lte=-57&age=PC

私の目標は、JSONField内の任意の属性に対するクエリを可能にする汎用JSONFilterを作成することです。 私が取り組んでいることについては、特定のクレーターのデータの内容がよくわかりませんが、探しているキーがそこにある場合は、それを照会できるようにしたいと思います。

ルックアップタイプを検証できない限り、クエリを作成するユーザーに依存して、クエリが無意味であり、最初から作成できないことを認識していると思います。

私がやろうとしていることが時間の無駄なのかどうかはわかりません。 私が達成しようとしていることには、もっと良い解決策があるかもしれません。 これが不可能になるような大きな問題を誰かが見たのか、それともこれが役立つユースケースを誰かが持っているのか、私は興味がありました。 ご覧いただきありがとうございます！

私の最初の考えは、 @ rpkilbyの指摘によると検証についてです。 スキーマレスは開発者の観点からは優れていますが、アドレス可能なURLに直接接続する必要があるかどうかはわかりません。

今のところこれを開いたままにしておきましょう。 人気のリクエストだと思います。 （したがって、ドキュメントの_ "ここに例MethodFilter " _のレベルで対処することも価値があります。）

私が取り組んでいることについては、特定のクレーターのデータの内容がよくわかりませんが、探しているキーがそこにある場合は、それを照会できるようにしたいと思います。

これは...ちょっとファンキーなようです。 クレーターデータ用のAPIを提供していますが、提供しているデータに何が含まれているのかわかりませんか？ 一部のレコードで共通スキーマの属性が欠落しているということですか、それとも個々のレコードが完全に任意であるということですか？

とりあえず、これを範囲外として閉じます。 文書化され、テストされたプルリクエストを検討してください。 将来、再考する能力があるかもしれません。

jsonfield__a_random_key=valueなどのクエリを有効にするJSONFilterがあると本当に素晴らしいと思います。 objects.filterメソッドでそれができることを私は知っています。 おそらく、トレードオフはフィルターの検証である可能性がありますか？

Qオブジェクトを使用したQuerySetフィルターの「自然な」クエリの実装が完了しました。 JsonFieldを使用して、最大1000レコードのクエリセットに対して単体テストが行​​われています。 実装は次のとおりです。
https://github.com/shallquist/DJangoQuerySetFilter/blob/master/queryparser.py

ちょっと@shallquistim django-filterのコンテキストでQuerySetFilterを使用する方法がわかりません。 どこかで使用法を文書化しましたか？

githubのreadmeに示されているように、使い方は非常に簡単です。 通常のクエリがサポートされている必要があります。
QuerySetFilter（ 'friends'）。get_Query（（person__address__city = Denver | person__address__city = Boulder）＆person__address_state〜 = CO）
これは、友人がjsonfieldであるDeverまたはBoulderコロラドに住むすべての友人を取得するためのクエリを作成します。

ところで、これはあまりテストされておらず、Djangoフィルターは埋め込み配列オブジェクトのクエリをサポートしていないため、このアプローチを放棄しました。

https://github.com/carltongibson/django-filter/issues/426#issuecomment -380224133

jsonfield__a_random_key = valueなどのクエリを有効にするJSONFilterがあると本当に素晴らしいと思います。 私はあなたがobjects.filterメソッドでそれを行うことができることを知っています。 おそらく、トレードオフはフィルターの検証である可能性がありますか？

ねえ@ carltongibson 、 @ rpkilbyこれについてあなたの考えを聞きたいです。 my_fieldがpostgres JSONFieldであるとしましょう。

• my_field__etc=valueの形でRESTフィルターを追加します。ここで、 etcは、RESTユーザーが提供するJSONFieldおよびvalueでサポートされるクエリのいずれかです。
• 次に、 etcとvalueをMyModel.objects.filter(my_field__etc=value)の形式でモデルオブジェクトマネージャーに渡します。
• 最後に、フィルターが返すものをすべて取得します。

とても些細なことのように思えますが、私はこのようなことをすることを理解していません。 皆さんが私に少し手がかりを与えてくれれば、私はそれを実装しようと試みることができます。

どんな考えでも大歓迎です！

次のようなものは機能しませんか？

class MyFilter(FilterSet):
    my_field__etc = filters.NumberFilter(field_name='my_field', lookup_expr='etc')

一般に、 field_nameは基になるモデルフィールド名と一致する必要がありますが、変換とルックアップ（この場合はキー変換）はlookup_exprに含まれている必要があります。

@rpkilbyは、このような迅速な応答に感謝します-ええ、正確に言えば、リクエストでユーザーから提供されたetcが欲しいのですが...フィルターにハードコーディングできませんでした💭

フィルタは次のようになります。

class MyFilter(FilterSet):
    my_field = JSONFieldFilter(field_name='my_field')

したがって、 ?my_field__etc=valueのような任意のクエリパラメータを処理する単一のJSONフィルター。

2つの問題があります。 まず、django-filterの値の一部は、クエリパラメーターを検証することです。 JSONFieldにはスキーマがないため、受信データを適切に検証するフィルターを生成することはできません。 たとえば、JSONフィールドに「カウント」キーがある場合、正の数のみが有効であると直感的に理解することはできません。 実行できる最善の方法は、値が有効なJSONであることを保証することです。 したがって、クエリは少なくとも有効ですが、無意味である可能性があります（たとえば、 data__count__gt='cat' ）。

2つ目は、このフィルターにはMultiWidgetベースのフィルターと同じ制限があるということです。 たとえば、正しいパラメータ名の検証エラーは生成されません。 しかし、それに飛び込む前に、これが私がおそらくフィルターを実装する方法です。 必要なもの：

• 複数のパラメータを処理する必要がある実際のフィルタリングを実行するためのフィルタクラス
• JSONデータを検証するためのフォームフィールド
• 任意のmy_field__*パラメータのデータを取得するためのウィジェット。

class JSONWidget(widgets.Textarea):
    """A widget that handles multiple parameters prefixed with the field name."""

    def value_from_datadict(self, data, files, name):
        prefix = f'{name}{LOOKUP_SEP}'

        # this is doing two things: 
        # - matches multiple params for the base field name
        # - in addition to returning the value, we also need the full parameter name
        #   for querying. otherwise, values will be filtered against the base `name`. 
        return {k: v for k, v in data.items() if k.startswith(prefix)}

    def get_context(self, name, value, attrs):
        # to support rendering the widget, you would need to generate subwidgets
        # similar to MultiWidget.get_context.
        pass

class JSONField(postgres.forms.JSONField):
    widget = JSONWidget

    def clean(self, value):
        # note that it's not possible to collect/reraise any validation errors under
        # their actual parameter names. `form.add_error` should be used here, however
        # the field class does not have access to the form instance. raising 
        # ValidationError({k: str(original_exc)}) also does not work. 

        # clean/convert each value
        return {k: super().clean(v) for k, v in value.items()}

class JSONFilter(filters.Filter):
    field_class = JSONField

    def filter(self, qs, value):
        if value in EMPTY_VALUES:
            return qs
        return qs.filter(**value)

私は上記をテストしていませんが、大まかに正しいはずです。 ただし、制限があります。

• 私の知る限り、パラメータごとのValidationErrorを正しく処理する方法はありません。
• OpenAPI / CoreAPIスキーマのサポートが不十分ですか？ これがどのようになるかわかりません。
• djangorestframework-filtersはMultiWidgetと互換性がありません。 このフィルター/ウィジェットは、同じ理由で同じ問題に遭遇します。

@rpkilbyは、この徹底的な対応に感謝します。

JSONフィールドに「カウント」キーがある場合、正の数のみが有効であると直感的に理解することはできません。

これは素晴らしい点です。クエリ値のタイプを検証できないという事実は、 MyModel.objects.filter(data__count="1")がMyModel.objects.filter(data__count=1)と同じものを返さないため、非常に困難です。 あなたが言うように、クエリパラメータから値のタイプを推測する方法はありません。

したがって、タイプ情報をクエリ値に埋め込むオプションのみを残し、 ?data__count=1:intのように整数を検索し、 ?data__count=1:strのように文字列を検索します。 ただし、ここで提案されているように、これはお勧めしません。

これで、フィルターを明示的に定義することが非常に重要である理由がわかりました。 それでも、私はあなたの提案を試してみます！ 再度、感謝します

@rpkilby 、私にも同様のニーズがあります。

私は2つの列を持つこのような構成テーブルを持っています

meta_structure of type jsonb (This column has info like key1 of type string, key2 of type integer)

3つの列を持つconfig_dataという名前の別のテーブルがあります。

config_id -> Foreign key to config table
meta_info -> jsonb type

注：上記の表は正確な表ではありません。 これらは、メッセージを伝えるための代表的なバージョンにすぎません。

現在、設定テーブルから一致するかどうかを確認して、保存する前にmeta_infoテーブルのフィールドを検証しています。

必要なのは、config_dataテーブルのmeta_info列を使用してフィルタリングすることです。 例えば。 meta_info__key1 = 'abc'。 （key1は何でもかまいません）

私はあなたが上で与えたアプローチを使おうとしていましたが、問題はあなたが上で作成したJSONFilterクラスをどのように使うかです。

例えば。

class ConfigDataFilterSet(django_filters.FilterSet):
    meta_info = JSONFilter(field_name='meta_info')

pp = ConfigDataFilterSet(data={'meta_info__key1': 'abc'})

ここで、 pp.qsまたはpp.filter_queryset()を実行すると、ConfigDataFilterSetクラスで割り当てられたフィールド名がmeta_infoであるため、実際にはmeta_infoフィールドにフィルターが適用されません。 このハードルを克服するために私を助けてくれませんか？