Django-filter: contrib.postgres JSONField 필터

안녕하세요 @jzmiller1입니다. 정확히 무엇을 달성하려고 합니까? 다음과 같은 경우 알 수 없습니다.

• JSONField 내부의 임의의 속성을 쿼리할 수 있는 일반 JSONFilter를 만들려고 합니다. 또는,
• data 분화구에 공통적인 특정 속성(위도, 연령)을 노출하려고 합니다. 이러한 속성은 본질적으로 data 의 스키마입니다.

전자는 흥미롭지 만 JSONField가 본질적으로 스키마가 없다는 복잡성이 있다는 것을 알았습니다. 스키마가 없으면 필터를 자동으로 생성하는 코드를 작성할 수 없습니다. MethodFilter는 임의의 속성 조회를 허용하지만 이러한 조회의 유효성 을 검사할 수 없다는 점에서 작동합니다. 예를 들어, ?data=latitude:char:PC:isnull 는 가능하지만 의미가 없습니다. 여기에 있는 솔루션이 무엇이든 트레이드오프가 필요합니다. 완전히 임의의 필터는 조회의 유효성을 검사할 수 없으며 유효성 검사 필터에는 스키마를 제공하는 몇 가지 방법이 필요합니다.

두 번째 경우 솔루션은 장황하고 지루하지만 간단합니다.

class CratersFilter(filters.FilterSet):
    latitude = filters.NumberFilter(name='data__latitude', lookup_expr='exact')
    latitude__lt = filters.NumberFilter(name='data__latitude', lookup_expr='lt')
    latitude__gt = filters.NumberFilter(name='data__latitude', lookup_expr='gt')
    latitude__isnull = filters.BooleanFilter(name='data__latitude', lookup_expr='isnull')
    # not sure if 'isnull' is a valid lookup for JSONFields - just demonstrating that 
    # different lookups expect different value types.

    age = filters.CharFilter(name='data__age', lookup_expr='exact')
    ...

그러면 쿼리는 다음과 같습니다.

http://127.0.0.1:8000/api/v1/craters?latitude__lte=-57&age=PC

내 목표는 JSONField 내의 임의의 속성에 대한 쿼리를 허용하는 일반 JSONFilter를 만드는 것입니다. 내가 작업하고 있는 것에 대해서는 특정 분화구에 대한 데이터 내부에 무엇이 있는지 알지 못하지만 거기에 내가 찾고 있는 키가 있다면 쿼리할 수 있기를 바랍니다.

조회 유형의 유효성을 검사할 수 없는 한 나는 쿼리를 만드는 사용자에 따라 쿼리가 무의미하고 처음부터 시작하지 않는다는 것을 깨닫게 될 것이라고 생각합니다.

내가 하려는 일이 시간 낭비인지 아닌지 잘 모르겠습니다. 내가 달성하려는 것에 대한 더 나은 솔루션이있을 수 있습니다. 이것이 가능하지 못하게 하는 주요 문제를 본 사람이 있는지 또는 이것이 유용할 사용 사례가 있는 사람이 있는지 궁금했습니다. 봐주셔서 감사합니다!

내 첫 번째 생각은 @rpkilby 의 요점에 따라 유효성 검사에 대한 것입니다. Schema-less는 개발자의 관점에서 볼 때 훌륭하지만 주소 지정 가능한 URL에 직접 연결되기를 원하는지 잘 모르겠습니다.

지금은 이것을 열어 두도록 합시다. 인기있는 요청임을 알 수 있습니다. (따라서 _"여기에 MethodFilter 예제가 있습니다. "_ 수준에서 다루더라도 가치가 있을 것입니다.)

내가 작업하고 있는 것에 대해서는 특정 분화구에 대한 데이터 내부에 무엇이 있는지 알지 못하지만 거기에 내가 찾고 있는 키가 있다면 쿼리할 수 있기를 바랍니다.

이것은... 일종의 펑키한 것 같습니다. 분화구 데이터용 API를 제공하고 있지만 제공하는 데이터에 무엇이 들어 있는지 모르십니까? 일부 레코드에 공통 스키마의 속성이 누락되거나 개별 레코드가 완전히 임의적이라는 것을 의미합니까?

당분간은 범위를 벗어남으로 종료하겠습니다. 문서화되고 테스트된 pull 요청을 고려하게 되어 기쁩니다. 우리는 미래에 재고할 수 있는 능력을 가질 수 있습니다.

jsonfield__a_random_key=value 와 같은 쿼리를 가능하게 하는 JSONFilter가 있다는 것은 정말 놀라운 일이라고 생각합니다. objects.filter 방법으로 할 수 있다는 것을 알고 있습니다. 아마도 트레이드 오프가 필터 유효성 검사가 될 수 있습니까?

Q 개체를 사용하여 QuerySet 필터에 대한 '자연' 쿼리 구현을 완료했습니다. JsonField를 사용하여 ~1000개의 레코드가 있는 쿼리 세트에 대해 단위 테스트를 거쳤습니다. 구현 위치:
https://github.com/shallquist/DJangoQuerySetFilter/blob/master/queryparser.py

@shallquist django-filter 컨텍스트에서 QuerySetFilter 를 사용하는 방법을 잘 모르겠습니다. 어딘가에 사용법을 문서화 했습니까?

github의 readme에 나와 있는 것처럼 사용하기가 매우 간단합니다. 일반 쿼리가 지원되어야 합니다.
QuerySetFilter('friends').get_Query((person__address__city = Denver | person__address__city = Boulder) & person__address_state ~= CO)
Dever 또는 Boulder 콜로라도에 사는 모든 친구를 검색하는 쿼리를 작성합니다. 여기서 친구는 jsonfield입니다.

BTW 이것은 많이 테스트되지 않았으며 Django 필터는 포함된 배열 개체 쿼리를 지원하지 않기 때문에 이 접근 방식을 포기했습니다.

https://github.com/carltongibson/django-filter/issues/426#issuecomment -380224133

jsonfield__a_random_key=value와 같은 쿼리를 가능하게 하는 JSONFilter가 있다는 것은 정말 놀라운 일이라고 생각합니다. 나는 당신이 objects.filter 메소드로 그것을 할 수 있다는 것을 알고 있습니다. 아마도 트레이드 오프가 필터 유효성 검사가 될 수 있습니까?

안녕하세요 @carltongibson , @rpkilby 이에 대한 귀하의 생각을 듣고 싶습니다. my_field 가 postgres JSONField 이고 다음을 원한다고 가정해 보겠습니다.

• my_field__etc=value 모양의 REST 필터를 추가합니다. 여기서 etc 는 JSONField 및 value 에서 지원하는 쿼리 중 하나이며 REST 사용자가 제공하는 모든 것입니다.
• 그런 다음 etc 및 value 를 MyModel.objects.filter(my_field__etc=value) 형식으로 모델 개체 관리자에 전달하고 싶습니다.
• 마지막으로 필터가 반환하는 모든 것을 검색합니다.

아주 사소한 것처럼 보이지만 나는 이와 같은 일에 대해 생각하지 못했습니다. 너희들이 나에게 약간의 실마리를 준다면 나는 그것을 구현하려고 할 수 있다.

어떤 생각이라도 대단히 감사하겠습니다!

다음과 같은 것이 작동하지 않습니까?

class MyFilter(FilterSet):
    my_field__etc = filters.NumberFilter(field_name='my_field', lookup_expr='etc')

일반적으로 field_name 는 기본 모델 필드 이름과 일치해야 하며 변환 및 조회(이 경우 키 변환)는 lookup_expr 에 포함되어야 합니다.

@rpkilby 빠른 응답에 감사드립니다 - 네 맞습니다. 하지만 요청에서 사용자가 제공한 etc 을(를) 원합니다... 그래서 필터에 하드코딩할 수 없었습니다 💭

필터는 다음과 같아야 합니다.

class MyFilter(FilterSet):
    my_field = JSONFieldFilter(field_name='my_field')

따라서 ?my_field__etc=value 와 같은 임의의 쿼리 매개변수를 처리하는 단일 JSON 필터입니다.

두 가지 문제가 있습니다. 첫째, django-filter 값의 일부는 쿼리 매개변수의 유효성을 검사한다는 것입니다. JSONField 에는 스키마가 없기 때문에 인바운드 데이터를 적절하게 검증하는 필터를 생성할 수 없습니다. 예를 들어 JSON 필드에 "count" 키가 있는 경우 양수만 유효하다는 것을 직관할 수 없습니다. 할 수 있는 최선은 값이 유효한 JSON임을 보장하는 것입니다. 따라서 쿼리는 최소한 유효하지만 의미가 없을 수도 있습니다(예: data__count__gt='cat' ).

두 번째는 이 필터가 MultiWidget 기반 필터와 동일한 제한을 갖는다는 것입니다. 예를 들어, 올바른 매개변수 이름에 대한 유효성 검사 오류를 생성하지 않습니다. 하지만 이에 대해 알아보기 전에 필터를 구현하는 방법은 다음과 같습니다. 다음이 필요합니다.

• 여러 매개변수를 처리해야 하는 실제 필터링을 수행하는 필터 클래스
• JSON 데이터의 유효성을 검사하는 양식 필드
• 임의의 my_field__* 매개변수에 대한 데이터를 가져오는 위젯입니다.

class JSONWidget(widgets.Textarea):
    """A widget that handles multiple parameters prefixed with the field name."""

    def value_from_datadict(self, data, files, name):
        prefix = f'{name}{LOOKUP_SEP}'

        # this is doing two things: 
        # - matches multiple params for the base field name
        # - in addition to returning the value, we also need the full parameter name
        #   for querying. otherwise, values will be filtered against the base `name`. 
        return {k: v for k, v in data.items() if k.startswith(prefix)}

    def get_context(self, name, value, attrs):
        # to support rendering the widget, you would need to generate subwidgets
        # similar to MultiWidget.get_context.
        pass

class JSONField(postgres.forms.JSONField):
    widget = JSONWidget

    def clean(self, value):
        # note that it's not possible to collect/reraise any validation errors under
        # their actual parameter names. `form.add_error` should be used here, however
        # the field class does not have access to the form instance. raising 
        # ValidationError({k: str(original_exc)}) also does not work. 

        # clean/convert each value
        return {k: super().clean(v) for k, v in value.items()}

class JSONFilter(filters.Filter):
    field_class = JSONField

    def filter(self, qs, value):
        if value in EMPTY_VALUES:
            return qs
        return qs.filter(**value)

위의 테스트는 해보지 않았지만 대략적으로 정확할 것입니다. 그러나 다음과 같은 제한 사항이 있습니다.

• 내가 말할 수 있는 한 매개변수당 ValidationError s를 올바르게 처리할 방법이 없습니다.
• OpenAPI/CoreAPI 스키마 지원이 좋지 않습니까? 이것이 어떻게 생겼는지 확실하지 않습니다.
• djangorestframework-filters 는 MultiWidget 와 호환되지 않습니다 . 이 필터/위젯은 동일한 이유로 동일한 문제에 직면합니다.

@rpkilby 철저한 답변 감사합니다.

JSON 필드에 "count" 키가 있는 경우 양수만 유효하다는 것을 직관할 수 없습니다.

MyModel.objects.filter(data__count="1") 가 MyModel.objects.filter(data__count=1) 와 같은 값을 반환하지 않기 때문에 쿼리 값의 유형을 확인할 수 없다는 사실이 매우 중요합니다. 말씀하신대로 쿼리 매개변수에서 값의 유형을 추측할 수 있는 방법은 없습니다.

따라서 쿼리 값에 유형 정보를 포함하는 옵션만 남겨두고 ?data__count=1:int 와 같은 작업을 수행하여 정수를 검색하고 ?data__count=1:str 문자열을 검색하는 등의 작업을 수행합니다. 그러나 여기 에 제안된 대로 이것은 권장되지 않습니다.

이제 필터를 명시적으로 정의하는 것이 왜 그렇게 중요한지 이해합니다. 그럼에도 불구하고, 나는 당신의 제안을 시도할 것입니다! 다시 한 번 감사합니다

@rpkilby , 나도 비슷한 필요가 있습니다.

두 개의 열이 있는 이와 같은 구성 테이블이 있습니다.

meta_structure of type jsonb (This column has info like key1 of type string, key2 of type integer)

3개의 열이 있는 config_data라는 다른 테이블이 있습니다.

config_id -> Foreign key to config table
meta_info -> jsonb type

참고: 위에 언급된 표는 정확한 표가 아닙니다. 메시지를 전달하기 위한 대표적인 버전일 뿐입니다.

현재 구성 테이블에서 일치하는지 확인하여 저장하기 전에 meta_info 테이블의 필드를 검증하고 있습니다.

필요한 것은 config_data 테이블의 meta_info 열을 사용하여 필터링하려는 것입니다. 예. meta_info__key1='abc'. (key1은 무엇이든 될 수 있음)

위에서 제공한 접근 방식을 사용하려고 시도했지만 문제는 위에서 생성한 JSONFilter 클래스를 어떻게 사용하는지입니다.

예.

class ConfigDataFilterSet(django_filters.FilterSet):
    meta_info = JSONFilter(field_name='meta_info')

pp = ConfigDataFilterSet(data={'meta_info__key1': 'abc'})

이제 pp.qs 또는 pp.filter_queryset() 를 실행하면 ConfigDataFilterSet 클래스에 할당된 필드 이름이 meta_info이기 때문에 실제로 meta_info 필드에 필터를 적용하지 않습니다. 이 난관을 극복할 수 있도록 도와주시겠습니까?