Django-filter: contrib.postgres JSONField के लिए फ़िल्टर करें

हाय @ jzmiller1। आप वास्तव में क्या हासिल करने की कोशिश कर रहे हैं? नहीं बता सकते कि आप हैं:

• एक सामान्य JSONFilter बनाने की कोशिश कर रहा है जो आपको JSONField के अंदर किसी भी मनमानी विशेषता को पूछने की अनुमति देगा। या,
• विशिष्ट विशेषताओं (अक्षांश, आयु) को उजागर करने का प्रयास कर रहा है जो आपके क्रेटर के लिए सामान्य हैं data । ये विशेषताएँ अनिवार्य रूप से आपकी data की स्कीमा होंगी।

पूर्व दिलचस्प है, लेकिन जैसा कि आपने पाया है कि जटिलता यह है कि JSONField स्वाभाविक रूप से स्कीमालेस है। स्कीमा के बिना, आप स्वचालित रूप से फ़िल्टर जेनरेट करने के लिए कोड नहीं लिख सकते हैं। आपका मेथडफिल्टर इसमें काम करता है कि यह किसी भी मनमानी विशेषता लुकअप की अनुमति देता है, लेकिन आप उन लुकअप को सत्यापित करने में असमर्थ हैं। उदाहरण के लिए, ?data=latitude:char:PC:isnull संभव है, लेकिन निरर्थक है। यहां जो भी समाधान है, उसके लिए ट्रेडऑफ़ की आवश्यकता है। एक पूरी तरह से मनमाना फ़िल्टर लुकअप को सत्यापित करने में सक्षम नहीं होगा, एक मान्य फ़िल्टर को स्कीमा प्रदान करने के किसी तरीके की आवश्यकता होगी।

दूसरे मामले के लिए समाधान वर्बोज़/थकाऊ है, लेकिन सीधा है।

class CratersFilter(filters.FilterSet):
    latitude = filters.NumberFilter(name='data__latitude', lookup_expr='exact')
    latitude__lt = filters.NumberFilter(name='data__latitude', lookup_expr='lt')
    latitude__gt = filters.NumberFilter(name='data__latitude', lookup_expr='gt')
    latitude__isnull = filters.BooleanFilter(name='data__latitude', lookup_expr='isnull')
    # not sure if 'isnull' is a valid lookup for JSONFields - just demonstrating that 
    # different lookups expect different value types.

    age = filters.CharFilter(name='data__age', lookup_expr='exact')
    ...

तब आपकी क्वेरी इस तरह दिखेगी:

http://127.0.0.1:8000/api/v1/craters?latitude__lte=-57&age=PC

मेरा लक्ष्य एक सामान्य JSONFilter बनाना है जो JSONField के अंदर किसी भी मनमानी विशेषता पर प्रश्नों की अनुमति देगा। मैं जिस पर काम कर रहा हूं उसके लिए मैं वास्तव में नहीं जानूंगा कि किसी विशेष क्रेटर के डेटा के अंदर क्या है, लेकिन अगर वहां कोई कुंजी है जिसे मैं ढूंढ रहा हूं तो मैं उससे पूछताछ करने में सक्षम होना चाहता हूं।

जहां तक ​​​​लुकअप प्रकारों को मान्य करने में असमर्थता है, मुझे लगता है कि मैं क्वेरी करने वाले उपयोगकर्ता के आधार पर यह महसूस कर सकता हूं कि क्वेरी निरर्थक है और इसे शुरू करने के लिए नहीं है।

मुझे यकीन नहीं है कि मैं जो करने की कोशिश कर रहा हूं वह समय की बर्बादी है या नहीं। मैं जो हासिल करने की कोशिश कर रहा हूं उसके लिए वहां एक बेहतर समाधान हो सकता है। मैं उत्सुक था अगर किसी ने प्रमुख मुद्दों को देखा जो इसे संभव होने से रोकेंगे या यदि किसी के पास उपयोग का मामला था जहां यह उपयोगी होगा। इसे देखने के लिए धन्यवाद!

मेरा पहला विचार @rpkilby के बिंदु के अनुसार सत्यापन के बारे में है। एक डेवलपर के दृष्टिकोण से स्कीमा-कम अच्छा है - लेकिन मुझे यकीन नहीं है कि आप इसे सीधे पता करने योग्य URL से जोड़ना चाहते हैं।

आइए इसे अभी के लिए खुला रखें। मैं इसे एक लोकप्रिय अनुरोध के रूप में देख सकता हूं। (इसलिए इसे _"के स्तर पर संबोधित करने के लिए यहां एक उदाहरण है MethodFilter "_ डॉक्स में सार्थक होगा।)

मैं जिस पर काम कर रहा हूं उसके लिए मैं वास्तव में नहीं जानूंगा कि किसी विशेष क्रेटर के डेटा के अंदर क्या है, लेकिन अगर वहां कोई कुंजी है जिसे मैं ढूंढ रहा हूं तो मैं उससे पूछताछ करने में सक्षम होना चाहता हूं।

ऐसा लगता है... कायरता की तरह। आप क्रेटर डेटा के लिए एक एपीआई प्रदान कर रहे हैं, लेकिन आप नहीं जानते कि आपके द्वारा प्रदान किए जा रहे डेटा में क्या है? क्या आपका मतलब है कि कुछ रिकॉर्ड में एक सामान्य स्कीमा के गुण गायब होंगे, या यह कि व्यक्तिगत रिकॉर्ड पूरी तरह से मनमानी हैं?

मैं इसे फिलहाल के दायरे से बाहर के रूप में बंद करने जा रहा हूं। प्रलेखित, परीक्षण किए गए पुल अनुरोधों पर विचार करने में खुशी हुई। हमारे पास भविष्य में पुनर्विचार करने की क्षमता हो सकती है।

मुझे लगता है कि JSONFilter को jsonfield__a_random_key=value जैसे प्रश्नों को सक्षम करना वाकई आश्चर्यजनक होगा। मुझे पता है कि आप इसे objects.filter विधि से कर सकते हैं। शायद ट्रेडऑफ़ फ़िल्टर सत्यापन हो सकता है?

Q ऑब्जेक्ट का उपयोग करके QuerySet फ़िल्टर के लिए 'प्राकृतिक' क्वेरी का कार्यान्वयन अभी पूरा किया है। यह एक JsonField का उपयोग करके ~ 1000 रिकॉर्ड के साथ क्वेरीसेट के खिलाफ इकाई परीक्षण किया गया है। कार्यान्वयन यहां है:
https://github.com/shallquist/DJangoQuerySetFilter/blob/master/queryparser.py

अरे @shallquist मुझे यकीन नहीं है कि django-filter के संदर्भ में QuerySetFilter का उपयोग कैसे करें। क्या आपने कहीं उपयोग दस्तावेज किया था?

इसका उपयोग करना काफी सरल है जैसा कि जीथब पर रीडमी में दिखाया गया है। सामान्य प्रश्नों का समर्थन किया जाना चाहिए, अर्थात।
QuerySetFilter('दोस्तों').get_Query((person__address__city = Denver | person__address__city = बोल्डर) और व्यक्ति__address_state ~= CO)
जो डेवर या बोल्डर कोलोराडो में रहने वाले सभी दोस्तों को पुनः प्राप्त करने के लिए एक क्वेरी तैयार करेगा, जहां दोस्त एक जेसनफील्ड है।

BTW इसका अधिक परीक्षण नहीं किया गया है और चूंकि Django फ़िल्टर एम्बेडेड सरणी ऑब्जेक्ट्स को क्वेरी करने का समर्थन नहीं करते हैं, इसलिए मैंने इस दृष्टिकोण को छोड़ दिया है।

https://github.com/carltongibson/django-filter/issues/426#issuecomment -380224133

मुझे लगता है कि JSONFilter को jsonfield__a_random_key=value जैसे प्रश्नों को सक्षम करना वास्तव में आश्चर्यजनक होगा। मुझे पता है कि आप इसे वस्तुओं के साथ कर सकते हैं। फ़िल्टर विधि। शायद ट्रेडऑफ़ फ़िल्टर सत्यापन हो सकता है?

अरे @carltongibson , @rpkilby मैं इस पर आपके विचार जानना चाहता हूं। मान लें कि my_field एक पोस्टग्रेस JSONField है, और मैं यह करना चाहता हूं:

• my_field__etc=value के आकार में एक आरईएसटी फ़िल्टर जोड़ें जहां etc JSONField और value द्वारा समर्थित कोई भी प्रश्न है जो आरईएसटी उपयोगकर्ता प्रदान करता है।
• फिर मैं $#$8 MyModel.objects.filter(my_field__etc=value) #$ के रूप में मॉडल ऑब्जेक्ट मैनेजर को etc और value पास करना चाहता हूं।
• अंत में फ़िल्टर जो कुछ भी लौटाता है उसे पुनर्प्राप्त करें।

यह सुपर तुच्छ जैसा लगता है लेकिन मुझे इस तरह कुछ करने के लिए नहीं पता चला है। अगर आप लोग मुझे कुछ सुराग दें तो मैं इसे लागू करने की कोशिश कर सकता हूं।

किसी भी विचार की अत्यधिक सराहना की जाएगी!

क्या निम्न जैसा कुछ काम नहीं करता है?

class MyFilter(FilterSet):
    my_field__etc = filters.NumberFilter(field_name='my_field', lookup_expr='etc')

सामान्य तौर पर, field_name को अंतर्निहित मॉडल फ़ील्ड नाम से मेल खाना चाहिए, जबकि ट्रांसफ़ॉर्म और लुकअप (इस मामले में एक महत्वपूर्ण परिवर्तन) को lookup_expr में समाहित किया जाना चाहिए।

@rpkilby इतनी त्वरित प्रतिक्रिया के लिए बहुत बहुत धन्यवाद - हाँ बिल्कुल, लेकिन मुझे अनुरोध में उपयोगकर्ता द्वारा प्रदान किया गया etc चाहिए ... इसलिए मैं इसे फ़िल्टर में वास्तव में हार्डकोड नहीं कर सका

फ़िल्टर अधिक दिखना चाहिए:

class MyFilter(FilterSet):
    my_field = JSONFieldFilter(field_name='my_field')

तो, ?my_field__etc=value जैसे मनमाने क्वेरी पैरा को संभालने के लिए एक JSON फ़िल्टर।

मुझे दो समस्याएं दिखाई देती हैं। सबसे पहले, django-filter के मूल्य का हिस्सा यह है कि यह क्वेरी पैराम को मान्य करता है। चूंकि JSONField s में कोई स्कीमा नहीं है, इसलिए ऐसे फ़िल्टर जेनरेट करना संभव नहीं है जो इनबाउंड डेटा को उचित रूप से मान्य करते हैं। उदाहरण के लिए, यदि आपके JSON फ़ील्ड में "गिनती" कुंजी है, तो यह समझना संभव नहीं होगा कि केवल सकारात्मक संख्याएं ही मान्य हैं। सबसे अच्छा जो किया जा सकता है वह गारंटी है कि मान वैध JSON है। तो प्रश्न कम से कम मान्य होंगे, लेकिन संभवतः निरर्थक होंगे (उदाहरण के लिए, data__count__gt='cat' )।

दूसरा यह है कि इस फ़िल्टर की MultiWidget -आधारित फ़िल्टर जैसी ही सीमाएँ होंगी। उदाहरण के लिए, यह सही परम नामों के लिए सत्यापन त्रुटियां उत्पन्न नहीं करेगा। लेकिन उसमें गोता लगाने से पहले, यहाँ बताया गया है कि मैं शायद फ़िल्टर को कैसे लागू करूँगा। ज़रुरत है:

• वास्तविक फ़िल्टरिंग करने के लिए एक फ़िल्टर वर्ग, जिसे एकाधिक पैरा को संभालना चाहिए
• JSON डेटा को सत्यापित करने के लिए एक प्रपत्र फ़ील्ड
• मनमाने ढंग से my_field__* पैरा के लिए डेटा प्राप्त करने के लिए एक विजेट।

class JSONWidget(widgets.Textarea):
    """A widget that handles multiple parameters prefixed with the field name."""

    def value_from_datadict(self, data, files, name):
        prefix = f'{name}{LOOKUP_SEP}'

        # this is doing two things: 
        # - matches multiple params for the base field name
        # - in addition to returning the value, we also need the full parameter name
        #   for querying. otherwise, values will be filtered against the base `name`. 
        return {k: v for k, v in data.items() if k.startswith(prefix)}

    def get_context(self, name, value, attrs):
        # to support rendering the widget, you would need to generate subwidgets
        # similar to MultiWidget.get_context.
        pass

class JSONField(postgres.forms.JSONField):
    widget = JSONWidget

    def clean(self, value):
        # note that it's not possible to collect/reraise any validation errors under
        # their actual parameter names. `form.add_error` should be used here, however
        # the field class does not have access to the form instance. raising 
        # ValidationError({k: str(original_exc)}) also does not work. 

        # clean/convert each value
        return {k: super().clean(v) for k, v in value.items()}

class JSONFilter(filters.Filter):
    field_class = JSONField

    def filter(self, qs, value):
        if value in EMPTY_VALUES:
            return qs
        return qs.filter(**value)

मैंने उपरोक्त का परीक्षण नहीं किया है, लेकिन यह मोटे तौर पर सही होना चाहिए। हालाँकि, सीमाएँ हैं:

• जहां तक ​​मैं बता सकता हूं, प्रति-परम ValidationError s को सही ढंग से संभालने का कोई तरीका नहीं है
• खराब ओपनएपीआई/कोरएपीआई स्कीमा समर्थन? सुनिश्चित नहीं है कि यह कैसा दिखेगा।
• djangorestframework-filters MultiWidget के साथ संगत नहीं है । यह फ़िल्टर/विजेट उन्हीं कारणों से समान मुद्दों में चलेगा।

@rpkilby इस गहन प्रतिक्रिया के लिए बहुत बहुत धन्यवाद।

यदि आपके JSON फ़ील्ड में "गिनती" कुंजी है, तो यह समझना संभव नहीं होगा कि केवल सकारात्मक संख्याएं ही मान्य हैं।

यह एक महान बिंदु है, तथ्य यह है कि हम क्वेरी मान के प्रकार को मान्य नहीं कर सकते हैं, यह बहुत चुनौतीपूर्ण है क्योंकि MyModel.objects.filter(data__count="1") MyModel.objects.filter(data__count=1) के समान नहीं लौटाएगा। जैसा कि आप कहते हैं, क्वेरी पैरामीटर से मान के प्रकार का अनुमान लगाने का कोई तरीका नहीं है।

इसलिए क्वेरी वैल्यू में टाइप की जानकारी को एम्बेड करने का विकल्प छोड़कर, पूर्णांक की खोज के लिए ?data__count=1:int जैसा कुछ करना और स्ट्रिंग्स के लिए ?data__count=1:str आदि करना। लेकिन जैसा कि यहां सुझाया गया है, इसकी अनुशंसा नहीं की जाती है।

अब मैं समझता हूं कि फिल्टर को स्पष्ट रूप से परिभाषित करना इतना मूल्यवान क्यों है। फिर भी, मैं इसे आपके सुझाव का प्रयास करूँगा! एक बार फिर धन्यवाद

@rpkilby , मुझे एक समान आवश्यकता है।

मेरे पास दो कॉलम के साथ इस तरह की एक कॉन्फ़िगरेशन तालिका है

meta_structure of type jsonb (This column has info like key1 of type string, key2 of type integer)

मेरे पास config_data नाम की एक और टेबल है जिसमें 3 कॉलम होंगे।

config_id -> Foreign key to config table
meta_info -> jsonb type

नोट: ऊपर वर्णित तालिकाएँ सटीक तालिकाएँ नहीं हैं। वे संदेश देने के लिए सिर्फ प्रतिनिधि संस्करण हैं।

मैं वर्तमान में कॉन्फ़िगरेशन तालिका से मिलान की जांच करके सहेजने से पहले मेटा_इन्फो तालिका में फ़ील्ड को मान्य करता हूं।

आवश्यकता यह है कि मैं config_data तालिका के meta_info कॉलम का उपयोग करके फ़िल्टर करना चाहता हूं। उदा. मेटा_इन्फो__की1='एबीसी'। (कुंजी 1 कुछ भी हो सकता है)

मैं ऊपर दिए गए दृष्टिकोण का उपयोग करने की कोशिश कर रहा था लेकिन समस्या यह है कि मैं JSONFilter क्लास का उपयोग कैसे करूं जिसे आपने ऊपर बनाया है।

उदा.

class ConfigDataFilterSet(django_filters.FilterSet):
    meta_info = JSONFilter(field_name='meta_info')

pp = ConfigDataFilterSet(data={'meta_info__key1': 'abc'})

अब, अगर मैं pp.qs या pp.filter_queryset() चलाता हूं तो यह वास्तव में मेटा_इन्फो फ़ील्ड पर फ़िल्टर लागू नहीं करेगा क्योंकि ConfigDataFilterSet वर्ग में निर्दिष्ट फ़ील्ड नाम मेटा_इन्फो है। क्या आप इस बाधा को दूर करने में मेरी मदद कर सकते हैं?