Django-haystack: solr을 백엔드로 사용하면 첫 번째 검색에서 실패합니다.

그건 그렇고, 내가하고있는 쿼리는 다음과 같습니다.

results = SearchQuerySet().filter(content=Clean(value)).models(Product)

나는 solr이 생성된 schema.xml 파일을 사용하지 않는다는 것을 발견했습니다. 이제 Solr는 이에 대해 다음과 같이 불평하고 있습니다.

test_shard1_replica1: org.apache.solr.common.Solr 예외: org.apache.solr.common.SolrException : 핵심 test_shard1_replica1에 대한 conf를 로드할 수 없음: [schema.xml] fieldType "sint"에 대한 플러그인 초기화 실패: 클래스 'solr 로드 중 오류 .SortableIntField'. 스키마 파일은 /configs/test/schema.xml입니다.

저도 같은 문제가 있습니다. 나는 schema.xml이 올바른 디렉토리에 있는지 궁금했지만, 그것을 어디에 둘지 확신할 수 없었습니다. 나는 그것을 'server/solr/core_name_here/conf/' 아래에 배치했고 로그에서 예상치 못한 schema.xml이 있고 이미 관리되고 있기 때문에 제거해야 한다고 알려주는 것을 보았습니다.

좋아, 나는 며칠 동안이 문제를 분류하려고 노력했지만 마침내 바닥에 도달했습니다. 여기를 참조하십시오: http://stackoverflow.com/questions/30427643/fields-in-apache-solr-response-are-multivalued-when-they-should-be-singular/30484017#30484017

Haystack은 Solr v5.*와 호환되지 않는 것 같습니다. 위의 지침에 따라 이 문제를 해결하면 https://lucene.apache.org/solr/4_2_0/solr-core/ 와 같이 사용되지 않는 클래스 및 Solr에서 완전히 제거된 클래스에 문제가 발생합니다.

아직 시도하지 않았지만 문서에 따라 Solr v4.* 또는 v.3.5로 롤백하는 것이 좋습니다. 누군가 이를 반영하여 문서를 업데이트하고 추가 테스트를 수행해야 합니다.

또는 Solr에 익숙하다면 schema.xml을 수정하려고 시도할 수 있지만 나중에 다른 문제가 발생할지 모르겠습니다.

관련 티켓:
https://github.com/django-haystack/django-haystack/issues/1199

4.x는 확실히 지원됩니다. 모든 테스트는 4.7에 대해 실행됩니다. @sampeka 파헤쳐 주셔서 감사합니다. 이것도 #1200 같습니다.

#1183에 대한 내 의견을 확인하세요. 문제가 발생하는지 확실하지 않지만 기본 schema.xml 중 하나를 사용하고 적절한 Django 필드에 붙여넣어 Solr 5.1에서 작동하도록 인덱싱했습니다. 특정 모델에 대해 필요에 따라 필드를 추가해야 하지만 이 작업을 수행하는 데 어려움을 겪었습니다. 나는 Django 앱에 너무 멀리 있지는 않지만 적어도 내 색인에 콘텐츠를 가져오기 위해 rich_content_extraction을 얻었습니다.

@nikolaz111 이 버그를 일시적으로 수정하기 위한 몇 가지 단계를 알아냈습니다.

• solrconfig.xml에서 기본 schemafactory를 ClassicIndexSchemaFactory 클래스로 변경
• 클래스 initParams의 경우:

<initParams path="/update/**,/query,/select,/tvrh,/elevate,/spell,/browse">
    <lst name="defaults">
      <str name="df">_text_</str>
    </lst>
  </initParams>

로 변경

<initParams path="/update/**,/query,/select,/tvrh,/elevate,/spell">
            <lst name="defaults">
            <str name="df">text</str>
            </lst>
</initParams>

• mange.py 재빌드 인덱스 실행
• schema.xml을 core에 덮어쓰므로 ManagedIndexSchemaFactory를 사용하지 않기 때문에 solrconfig.xml의 많은 클래스가 호출되지 않습니다. 지금 사용하고 있는 xml이 있습니다. 누군가 관심을 가져주길 바랍니다.
  https://gist.github.com/DrChai/033604cd04c869f40ade

Solr 5를 Haystack과 함께 사용하는 사람이 있습니까?

오류가 하나씩 발생하고 있습니다. 현재 text_general 필드 유형에 대해 Error instantiating class: 'org.apache.lucene.analysis.core.StopFilterFactory' 에 고정되어 있습니다.

현재 작동하고 있습니다. 시작하기 위한 가장 큰 권장 사항은 기본 Solr schema.xml을 사용하고 필요한 Django 필드를 추가하는 것입니다. id, django_ct, *_exact(방금 동적 필드로 입력했습니다) 및 기타 몇 가지를 추가해야 합니다. 다른 방향으로 가는 것보다 시간을 많이 절약할 수 있을 거라 생각합니다.

저는 포기하고 Solr이 기본적으로 사용하는 "동적" 스키마를 고수했습니다.

이것은 나를 위해 일한 것 같습니다 https://github.com/nazariyg/Solr-5-for-django-haystack

긍정적인 것 같습니다. 시도해보고 다시 보고하겠습니다.

@nazariyg 의 해결 방법이 저에게 효과적입니다. 어떤 두통.

@nazariyg 해결 방법에 어떤 Haystack 및 Django 버전을 사용하고 있습니까?
저는 Django 1.9.4를 사용 중이고 Win에서 Solr 5.5를 시도하는 Haystack 2.5를 다운로드했습니다.
해결 방법을 사용하기 전에는 Solr에서 단일 히트를 검색할 수 없었습니다. 지금은 여전히 ​​문제에 직면해 있습니다.

_'list' 개체에 'split' 속성이 없습니다.

이 시점에서 solr_backend.py가 던졌습니다.

  for raw_result in raw_results.docs:
            app_label, model_name = raw_result[DJANGO_CT].split('.') 

SOLR6과 통합할 때 추가 구성을 수행해야 했습니다. 다음 링크에서 수행한 단계를 문서화했습니다.

https://github.com/dekanayake/haystack_solr6

문제에 대한 해결책이 있습니까? 해결 방법이 아닙니다.
나는 모든 것에 최신 버전을 사용하려고 노력했습니다.

@dekanayake 홍보 부탁드립니다.

그렇다면 Haystack은 Solr 6과 호환될 수 있습니까?

@cauanicastro 오랜만입니다. #1504 스키마 생성을 위한 일부 업데이트가 완료되었지만 꽤 오랫동안 실행했습니다.

나는 또한이 버그가 발생했습니다. 너무 실망

@wagaman 아직도 이 버그가 존재하나요?

@wagaman 재현 가능한 테스트 케이스가 있습니까?

답변 감사합니다. slor 6이 있습니다. 원시 HTML을 수집하는 데이터베이스가 있으므로 각 행이 상당히 큽니다. 인덱스를 재생성하면 내 HTML 셀인 " 콘텐츠 "가 너무 큽니다. 온라인 자습서 를 따라 문자열에서 text_general로 유형을 변경했습니다.

pysolr.SolrError: Solr responded with an error (HTTP 400): [Reason: Exception writing document id piaoyouquan.piaoyou.1003 to the index; possible analysis error: Document contains at least one immense term in field="content" (whose UTF8 encoding is longer than the max length 32766), all of which were skipped. Please correct the analyzer to not produce such terms. The prefix of the first immense term is: '[60, 100, 105, 118, 32, 99, 108, 97, 115, 115, 61, 34, 114, 105, 99, 104, 95, 109, 101, 100, 105, 97, 95, 97, 114, 101, 97, 95, 112, 114]...', original message: bytes can be at most 32766 in length; got 86946. Perhaps the document has an indexed string field (solr.StrField) which is too large]

그런 다음 인덱스를 생성할 수 있습니다. 그러나 검색을 시도할 때 "'목록' 개체에 '분할' 속성이 없습니다"라는 메시지가 나타납니다. 아래에 코드를 게시하겠습니다.

관리 스키마.txt
schema.txt
solrconfig.txt

/search/의 AttributeError
'list' 개체에 'split' 속성이 없습니다.
요청 방법: GET
요청 URL: http://127.0.0.1 :8000/search/?q=w
장고 버전: 1.10
예외 유형: AttributeError
예외 값:
'list' 개체에 'split' 속성이 없습니다.
예외 위치: /Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py의 _process_results, 406행
파이썬 실행 파일: /Users/ja/3.5/bin/python
파이썬 버전: 3.5.1
파이썬 경로:
['/Users/ja/Dropbox/Programming/Django/piaoyou',
'/사용자/ja/3.5/lib/python35.zip',
'/사용자/ja/3.5/lib/python3.5',
'/사용자/ja/3.5/lib/python3.5/plat-darwin',
'/사용자/ja/3.5/lib/python3.5/lib-dynload',
'/라이브러리/Frameworks/Python.framework/Versions/3.5/lib/python3.5',
'/라이브러리/Frameworks/Python.framework/Versions/3.5/lib/python3.5/plat-darwin',
'/사용자/ja/3.5/lib/python3.5/사이트 패키지',
'/라이브러리/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages']
서버 시간: 2017년 6월 26일 월요일 05:01:18 +0000

환경:

요청 방법: GET
요청 URL: http://127.0.0.1 :8000/search/?q=w

장고 버전: 1.10
파이썬 버전: 3.5.1
설치된 애플리케이션:
['달',
'달_선택2',
'맞춤_템플릿',
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.messages',
'django.contrib.staticfiles',
'표유권',
'rest_framework',
'페이지다운',
'바삭한 형태',
'타깃',
'태그깃_템플릿태그2',
'커다란 건초 더미',
'헉',
'다음_이전',
'django_extensions']
설치된 미들웨어:
['django.middleware.security.SecurityMiddleware',
'django.contrib.sessions.middleware.SessionMiddleware',
'django.middleware.common.CommonMiddleware',
'django.middleware.csrf.CsrfViewMiddleware',
'django.contrib.auth.middleware.AuthenticationMiddleware',
'django.contrib.messages.middleware.MessageMiddleware',
'django.middleware.clickjacking.XFrameOptionsMiddleware']

역 추적:

파일 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/paginator.py" 개수

1. 반환 self.object_list.count()

파일 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/query.py" 개수

1. 반환 len(자체)

__len__의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/query.py" 파일

1. self._result_count = self.query.get_count()

get_count의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/__init__.py" 파일

1. self.run()

실행 중인 파일 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py"

1. 결과 = self.backend.search(final_query, **search_kwargs)

래퍼의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/__init__.py" 파일

1. return func(obj, query_string, args, * kwargs)

검색에서 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py" 파일

1. distance_point=kwargs.get('distance_point'))

_process_results의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py" 파일

1. app_label, model_name = raw_result[DJANGO_CT].split('.')

위의 예외('list' 개체에는 'split' 속성이 없음)를 처리하는 동안 다른 예외가 발생했습니다.

내부 파일 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/handlers/exception.py"

1. 응답 = get_response(요청)

_get_response의 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/handlers/base.py" 파일

1. 응답 = self.process_exception_by_middleware(e, 요청)

_get_response의 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/handlers/base.py" 파일

1. 응답 = wrap_callback(요청, callback_args, * callback_kwargs)

보기에서 "/Users/ja/3.5/lib/python3.5/site-packages/django/views/generic/base.py" 파일

1. 반환 self.dispatch(요청, 인수, * kwargs)

디스패치에서 "/Users/ja/3.5/lib/python3.5/site-packages/django/views/generic/base.py" 파일

1. 반환 핸들러(요청, 인수, * kwargs)

파일 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/generic_views.py" 가져오기

1. self.form_valid(양식) 반환

form_valid의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/generic_views.py" 파일

1. 'object_list': self.queryset

get_context_data의 "/Users/ja/Dropbox/Programming/Django/piaoyou/piaoyouquan/view.py" 파일

1. 컨텍스트 = super(BillSearchView, 자체).get_context_data( 인수, * kwargs)

get_context_data의 "/Users/ja/3.5/lib/python3.5/site-packages/django/views/generic/list.py" 파일

1. 페이지 매김, 페이지, 쿼리 세트, is_paginated = self.paginate_queryset(queryset, page_size)

paginate_queryset의 "/Users/ja/3.5/lib/python3.5/site-packages/django/views/generic/list.py" 파일

1. 페이지 = paginator.page(page_number)

페이지의 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/paginator.py" 파일

1. 숫자 = self.validate_number(숫자)

validate_number의 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/paginator.py" 파일

1. 숫자 > self.num_pages인 경우:

__get__의 "/Users/ja/3.5/lib/python3.5/site-packages/django/utils/functional.py" 파일

1. res = instance.__dict__[self.name] = self.func(instance)

num_pages의 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/paginator.py" 파일

1. self.count == 0이고 self.allow_empty_first_page가 아닌 경우:

__get__의 "/Users/ja/3.5/lib/python3.5/site-packages/django/utils/functional.py" 파일

1. res = instance.__dict__[self.name] = self.func(instance)

파일 "/Users/ja/3.5/lib/python3.5/site-packages/django/core/paginator.py" 개수

1. 반환 len(self.object_list)

__len__의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/query.py" 파일

1. self._result_count = self.query.get_count()

get_count의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/__init__.py" 파일

1. self.run()

실행 중인 파일 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py"

1. 결과 = self.backend.search(final_query, **search_kwargs)

래퍼의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/__init__.py" 파일

1. return func(obj, query_string, args, * kwargs)

검색에서 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py" 파일

1. distance_point=kwargs.get('distance_point'))

_process_results의 "/Users/ja/3.5/lib/python3.5/site-packages/haystack/backends/solr_backend.py" 파일

1. app_label, model_name = raw_result[DJANGO_CT].split('.')

예외 유형: /search/의 AttributeError
예외 값: 'list' 개체에 'split' 속성이 없습니다.

저는 Haystack과 함께 Whoosh를 사용했는데 Django의 동일한 코드에서 잘 작동했습니다.

Appium-Python-Client==0.24
아름다운 수프4==4.4.1
사이클러==0.10.0
장고==1.10
django-autocomplete-light==3.2.7
django-classy-tags==0.8.0
django-crispy-forms==1.6.1
장고 확장 ==1.7.9
장고 필터==1.0.4
django-haystack==2.6.1
django-next-prev==1.0.1
장고 페이지다운==0.1.3
django-taggit==0.22.1
django-taggit-templatetags2==1.6.1
장고-uuslug==1.1.8
장고레스트 프레임워크==3.6.3
dnspython==1.15.0
EasyProcess==0.2.3
ez-설정==0.9
가짜 사용자 에이전트 == 0.1.7
gevent==1.2.2
그린렛==0.4.12
건초더미==0.36
지바==0.38
lxml==3.6.0
마크다운==2.6.8
matplotlib==2.0.0
numpy==1.11.0
olefile==0.44
베개==4.1.0
파이닷플러스==2.0.2
파이파싱==2.1.10
파이테서랙트==0.1.7
파이썬-dateutil==2.6.0
python-slugify==1.2.4
피츠==2016.10
파이가상디스플레이==0.2.1
정규식==2016.4.25
요청==2.9.1
사이킷런==0.18.1
사이피==0.19.0
셀레늄==3.4.3
6==1.10.0
sklearn==0.0
테서랙트==0.1.3
tqdm==4.14.0
유니코드==0.4.20
업데이트==0.4.4
Werkzeug==0.12.2
헉==2.7.4
winappdbg==1.5
xvfbwrapper==0.2.9

3-4일 후 나는 해결책에 도달했습니다.

솔루션 1-: 스키마 변경

1단계: 컬렉션 관리 스키마 파일로 이동하여 편집
2단계: <field name="django_ct" type="text_general"/> 를 찾아서 <field name="django_ct" type="string"/>

• 운영 체제 버전: Ubuntu 14.04 LTS
• 검색 엔진 버전: Solr 7.2.1
• 파이썬 버전: 3.4.3
• 장고 버전: 2.0
• 건초 더미 버전: 2.8.0

솔루션 2-: 핵심 파일 해킹

1단계: sudo vim /home/your path/site-packages/haystack/backends/solr_backend.py
2단계: app_label, model_name = raw_result[DJANGO_CT].split('.') 를 찾아 app_label, model_name = raw_result[DJANGO_CT][0].split('.') 바꾸기

@acdha 이게 뭐야?

이 문제를 재현할 수 있는 사람이 기본값에서 스키마 구성을 변경하는 것이 무엇인지 파악할 수 있습니까? Haystack은 https://github.com/django-haystack/django-haystack/blob/9eb42dac5cd918c991ac7c939d6de81a02a1aba1/haystack/templates/search_configuration/schema.xml에 따라 string 를 사용해야 합니다. 대신 text_general 가 되는 것을 발견했습니다.

@krmritunjay11 테스트

비슷한 문제가 있어서 @krmritunjay11 이 위에 게시한 두 번째 솔루션을 시도했지만 여전히 작동하지 않았습니다. 동일한 코드와 환경이 Whoosh와 함께 작동했습니다.

현재 환경은 다음과 같습니다.
requirements.txt , 그리고 Solr 7.3.1을 사용하고 있습니다(하지만 Solr 6.X를 시도했지만 동일한 오류가 발생했습니다)

다음 오류가 발생했습니다.

File "<yourpath>/site-packages/django/db/models/fields/__init__.py", line 947, in get_prep_value
TypeError: int() argument must be a string, a bytes-like object or a number, not 'list'

위 파일의 947행을 다음과 같이 변경했습니다.

 return int(value)

에게

 if isinstance(value, list):
     return int(value[0])
 return int(value)

이로 인해 또 다른 오류가 발생했습니다.

File "<your path>/site-packages/haystack/query.py", line 181, in post_process_results
    result.pk = result_klass(result.pk)
TypeError: int() argument must be a string, a bytes-like object or a number, not 'list'

181번 줄을 변경하여 수정한 것

 result.pk = result_klass(result.pk)

에게

 if isinstance(result.pk, list):
    result.pk = result_klass(result.pk[0])
 else:
   result.pk = result_klass(result.pk)

이제 검색이 작동하지만 내 솔루션이 해킹되고 강력하지 않은 것 같습니다.

왜 이런 일이 일어나고 더 나은 해결책이 있는지에 대한 아이디어가 있습니까?

django의 핵심 파일을 건드리지 않고 다른 솔루션을 찾았습니다.

에/site-packages/haystack/query.py, 181행을 다음에서 변경:

result.pk = result_klass(result.pk)

NS:

result.pk = result_klass(result.pk[0])

205행 앞에 다음을 추가합니다.

pks = [pk[0] for pk in pks]

따라서 try 블록은 다음과 같이 끝납니다.

207         try:
208             ui = connections[self.query._using].get_unified_index()
209             index = ui.get_index(model)
210             objects = index.read_queryset(using=self.query._using)
211             pks = [pk[0] for pk in pks]
212             return objects.in_bulk(pks)

django 1.11, haystack 2.7.0 및 solr 5.5.5를 사용하여 작동했습니다.

안녕하세요.

나는 동일한 문제가 있고 다른 해설자의 솔루션을 결합하여 작동하는 솔루션을 찾았습니다. 좋은 점은 SolrEngine을 재정의하고 건초 더미에서 수정될 때까지 고정 버전을 사용할 수 있다는 것입니다.

저는 haystack 2.8.1과 solr 8.5.2를 사용하고 있습니다.

haystack/backends/solr_backend.py 파일을 편집하여 작동하는지 확인하십시오.

• 찾기 및 바꾸기
  python app_label, model_name = raw_result[DJANGO_CT].split('.')
  에게
  python app_label, model_name = raw_result[DJANGO_CT][0].split('.')
• 찾기 및 바꾸기
  python result = result_class(app_label, model_name, raw_result[DJANGO_ID], raw_result['score'], **additional_fields)
  에게
  python result = result_class(app_label, model_name, raw_result[DJANGO_ID][0], raw_result['score'], **additional_fields)
• 찾기 및 바꾸기
  python for key, value in raw_result.items(): value = value[0]
  에게
  python for key, value in raw_result.items(): if isinstance(value, list): value = value[0]

모든 홍보를 환영합니다.

모든 홍보를 환영합니다.

예, 하지만 완전히 실행 가능한 솔루션을 제안할 만큼 충분히 유능하다고 생각하지 않습니다. 내 변경 사항은 완벽하게 작동하지만 Solr 엔진의 낮은 버전에서는 테스트하지 않았습니다. 여전히 PR을 만들 가치가 있습니까?

django-haystack 3.0 및 Solr 7.7.3을 사용하여 재현 가능

@jcrbsa 실패한 테스트를 제출할 수 있습니까? 이것을 재현할 방법이 없습니다.

@acdha , 다음 단계를 따르십시오.

양식별 쿼리 후 solr_backend.py에 다음 오류를 표시합니다.
C:\Python37\lib\site-packages\haystack\backends\solr_backend.py, 525행, _process_results

solr_backend.py를 변경하고 양식별로 새 쿼리를 수행한 후 다음 오류를 표시합니다.
C:\Python37\lib\site-packages\django\db\models\fields__init__.py, 행 1778, get_prep_value

예상 유형을 사용하는 표준 Solr 스키마가 있기 때문에 재생되지 않습니다. 실패한 테스트를 제공할 수 있습니까?