<p>pandas.DataFrame.query는 공백이 있는 열 이름을 허용합니다.</p>

흠. 많은 데이터 세트에 이 문제가 있지만 열 이름을 바꾸는 데 필요한 코드 양과 새 구문(또는 이와 유사한 것)을 구문 분석하는 데 필요한 코드 양을 고려하십시오.

열 이름을 바꾸는 것은 간단합니다.

cols = df.columns
cols = cols.map(lambda x: x.replace(' ', '_') if isinstance(x, (str, unicode)) else x)
df.columns = cols

이것은 잘 테스트되었으며 디버그하기 쉽습니다. 더 복잡한 교체의 경우 정규식을 사용할 수 있습니다.

구문 분석에 들어가는 것은 훨씬 덜 간단합니다.

1. 이것은 어떻게 토큰화할까요? (이것은 나에게 그렇게 간단하지 않고 쉽게 할 수 있는 방법이 있을 수 있지만 목록 생성에서 구문 오류를 명확하게 하기 위해 새 토큰을 만든 다음 전체를 유효한 파이썬 식별자).
2. 이것은 어떻게 파싱할까요? (너무 어렵지는 않지만 ColumnNode 또는 프레임에서 열로 조회되는 일부 개체로 구문 분석)

행복한 매체로 유용할 수 있는 것은 열 이름을 유효한 Python 식별자로 바꾸는 df = pd.clean_columns(df) 함수이므로 너무 어렵게 생각할 필요가 없습니다.

구현에 대해 잘 모르겠습니다. 어쩌면 우리는 다음과 같이 일반 대괄호를 대신 사용할 수 있습니다.

df.query('(col with space) < col')

어쨌든, clean_columns 방법은 나에게 좋은 생각처럼 들립니다. read_csv 함수의 키워드 인수일 수도 있습니다.

@socheon 우리의 논의를 하나의 문제로 유지하려고 노력합시다(저도 주제에서 벗어나는 경향이 있습니다!). read_csv clean_columns 인수가 있어야 한다고 생각하면 다른 문제를 열어주세요.

@jreback 최상위 clean_columns 함수에 대해 어떻게 생각하십니까?

열 이름 주위에 따옴표를 넣으면 마스터에서 작동 할 수 있다고 생각합니다.

& 및 | 이를 단일 토큰처럼 취급합니다.

문자열로 처리된 다음 내부 임시로 바뀌므로 작동하지 않습니다.

df.query("'a column with a space' > 2") -> df.query("tmp_var_str_some_hex_value > 2")

열이 깨끗한 버전에서 참조되도록 허용할 수 있습니까?

df.query("column_with_space > 2")

의미가 있을 때마다 자동 완성을 위해 이 정리를 수행합니다.

공백, 점, 대괄호 및 기타 유효하지 않은 문자가 있는 열 이름은 선택적으로 밑줄과 같은 동등한 유효한 문자로 자동 대체될 수 있습니다. 이것은 또한 도트 구문을 사용하여 데이터 프레임의 구성원으로 열에 액세스하는 데 매우 편리합니다.

안녕하세요,
이 문제의 해결을 위해 서약을 하고 싶습니다.

그것은 우리에게 매우 중요한 문제입니다. 열 이름은 보존해야 하기 때문에 변경할 수 없는 경우가 있습니다.

팬더가 열 이름에 임의의 요구 사항을 적용한다는 것은 IMHO, 잘못된 설계 결정 및 잘못된 프로그래밍 관행입니다.

불평해서 죄송합니다. 하지만 판다가 이 문제를 제대로 해결해야 한다고 생각합니다. 그것을 고려하십시오. 감사합니다.

@dgua 수정을 위해 풀 리퀘스트를 제출할 수 있습니다. 실제로 .query 는 사용하기 좋은 인터페이스입니다. 사실 매우 구체적인 보장이 있습니다. 즉, 완전히 일반적인 인터페이스가 아니라 쿼리 언어처럼 구문 분석하는 것을 의미 합니다.

어쨌든 권장되는 인덱싱의 '주요' 방법은 항상 다음과 같습니다.

In [10]: df = DataFrame({'foo bar': [1, 2, 3, 4]})

In [11]: df[df['foo bar'] > 2]
Out[11]: 
   foo bar
2        3
3        4

jreback, 나는 당신의 의견에 동의합니다. 그러나 더 쉽고/더 읽기 쉽기 때문에 코드에서 .query 광범위하게 사용하는 사람들이 있습니다. 그래서 이제 우리는 모든 코드를 변경하거나 열 이름을 변경해야 하는 난제에 처해 있습니다. 둘 다 바람직하지 않습니다.. .

@dgua 내가 말했듯이 커뮤니티의 풀 요청이 완료됩니다. 시간이 없어요.

R과 dplyr는 backtick( `` )을 사용하여 공백과 특수 문자로 열 이름을 인용합니다. 예를 들어:

df$`column with space`
df %>%
    mutate(`column with space` = 1)

query , eval 또는 df. 도트 구문과 같은 함수가 보다 일반적인 열 이름을 처리할 수 있도록 이것을 pandas 파서에 통합하는 것이 얼마나 어려운지 궁금합니다.

나는 zhiruiwang의 제안과 다른 사람들이 하는 그의 upvotes를 보고 좋아합니다.

그래서 저는 코드를 조금 살펴보았고 기본적으로 pandas는 표현식에 대해 사전 처리를 수행하고 이를 numexpr에 전달합니다. 그 옆에 데이터 프레임 열의 이름을 포함하는 localdict가 함께 전달됩니다.

역따옴표 안의 모든 공백을 다른 것으로(예: "_" 또는 이름 충돌을 방지하기 위해 덜 사용되는 것)으로 바꾸어 표현을 변경하고 역따옴표를 제거하려고 생각했습니다. 이것은 numexpr에 대한 유효한 표현식을 생성합니다. 그 옆에 열 이름의 공백이 결국 localdict를 구성하는 확인자에 전달될 때 동일한 작업을 수행하여 numexpr에서 여전히 올바른 이름을 찾을 수 있도록 합니다.

이 작업을 수행하는 코드는 다음과 같을 수 있지만 테스트하지는 않았습니다. 나는 먼저 다른 사람들이 그 아이디어에 대해 어떻게 생각하는지 듣는 것을 좋아합니다.

# Don't know if "_" is a good choice and don't know where to place this variable, 
# since it has to be constant in two different files and ideally is only defined once.
SEPERATOR_REPLACING_SPACES = "_"

# Replace spaces in variables surrounded by backticks:
# pandas/pandas/core/computation/expr.py 

import re

...

# new function
def _replace_spaces_backtickvariables(source):
    return re.sub(r'`(.*?)`', 
                  lambda m: m.group(1).replace(" ", SEPERATOR_REPLACING_SPACES), 
                  source)

...

# adjusted function
def _preparse(source, f=compose(_replace_locals, _replace_booleans,
                                _rewrite_assign), g=lambda x: x):
    ...
    g : callable
        This takes a source string and returns an altered one
    ...
    assert callable(g), 'g must be callable'
    source = g(source)

...

# adjusted class
class PandasExprVisitor(BaseExprVisitor):

    def __init__(self, env, engine, parser,
                 preparser=partial(_preparse, 
                                   f=compose(_replace_locals, _replace_booleans)
                                   g=_replace_spaces_backtickvariables)):

# Replace spaces in column names when passed to the localdict:
# pandas/pandas/core/frame.py

# adjusted function
def eval(self, expr, inplace=False, **kwargs):
    ...
    # line 3076
    resolvers = dict((k.replace(" ", SEPERATOR_REPLACING_SPACES), v) 
                     for k, v in self.iteritems()), index_resolvers

편집: _replace_spaces_backtickvariables (정규식은 게으른 상태여야 함)

@zhiruiwang df. 구문은 Python으로 구문 분석되므로 이를 사용할 수 없지만 query 및 eval 는 작동합니다.

@jreback 이 부분에 대해 가장 잘 알고

이전 댓글에서 설명한 내 접근 방식에 대해 어떻게 생각하세요?

대신 우리는 달렁이 제안한 대로 해결하기로 결정할 수도 있습니다. 따라서 "더티" 이름이 "깨끗한" 이름으로 참조되도록 허용하고("이 열 이름"은 열이 실제로 이름을 변경하지 않고 "this_column_name"으로 참조할 수 있음) `` 캡슐화를 전혀 사용하지 마십시오.

이렇게 하려면 이 한 줄만 변경하면 됩니다. (코드를 올바르게 이해했다면 테스트하지 않았습니다.)

# Replace spaces in column names when passed to the localdict:
# pandas/pandas/core/frame.py

# adjusted function
def eval(self, expr, inplace=False, **kwargs):
    ...
    # line 3076
    resolvers = dict((k.replace(" ", SEPERATOR_REPLACING_SPACES), v) 
                     for k, v in self.iteritems()), index_resolvers

어떻게 생각해? 어떤 접근 방식이 가장 좋다고 생각합니까?

내가 그것을 위해 풀 리퀘스트를 시도할 수 있는 것보다.

이 기능은 좋지만 다음과 같은 명령으로 해결합니다.

공백 바꾸기

df.rename(columns={k: k.replace(' ','_') for k in df.columns if k.count(' ')>0}, inplace=1)

숫자 값으로 시작

df.rename(columns={k: '_'+k for k in df.columns if k[0].isdigit()}, inplace=1)

죄송하지만, 만족스럽지 않습니다. 원래 열로 돌아가려면 어떻게 합니까? '_'가 열 이름의 일부로도 사용되면 어떻게 됩니까?

사용자는 이것을 할 필요가 없으며 팬더의 심각한 문제입니다.

DG

2019년 1월 19일 11:49에 bscully27 [email protected]에서 다음과 같이 썼습니다.

이 기능은 좋지만 다음과 같은 명령으로 해결합니다.

공백 바꾸기

df.rename(columns={k: k.replace(' ','_') for k in df.columns if k.count(' ')>0}, inplace=1)

숫자 값으로 시작

df.rename(columns={k: '_'+k for k in df.columns if k[0].isdigit()}, inplace=1)

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하거나 GitHub https://github.com/pandas-dev/pandas/issues/6508#issuecomment-455809809 에서 확인하거나 https://github.com/notifications/unsubscribe-auth/ 스레드를 음소거

SQL에서는 대괄호만 사용하면 됩니다.

@dgua PR을 제출할 시간이 있습니까? @zhiruiwang 의 백틱 사용 제안은 구현될 수 있다면 합리적으로 보입니다(이미 Python 2에서 의미가 있기 때문에 이전에는 사용할 수 없었습니다).

@TomAugspurger 시험이 끝난 후 시간이 있고 이미 구현 코드를 살펴보았습니다(이전 의견 참조). 아직 몇 가지 질문이 있습니다.

• SEPERATOR_REPLACING_SPACES 은(는) 무엇이어야 합니까? 우리가 선택하는 경우 "_"우리가 선택하는 경우, 대신 좀 더 복잡한 대체 문자열, 그것은 당신이 참조 할 수있는 추가 기능이 "_"이미 존재하는 다른 열을 방해하지만, 수 this column name 로 `this column name` _및_ this_column_name . (백틱 기능을 삭제할 수도 있습니다.)

• SEPERATOR_REPLACING_SPACES 는 두 파일에 걸쳐 일관성이 있어야 합니다. 따라서 다른 곳에서 선언하고 이 파일로 가져와서 동일한지 확인해야 합니까, 아니면 간단히 언급하는 것으로 충분합니까?

• 내가 변경할 코드에서는 callable() 가 사용됩니다. callable() 는 3.0-3.2에서 사용할 수 없는데 이것도 동시에 고쳐야 하나요?

이 코드에 익숙하지 않으므로 여기 전문가일 수 있습니다. :)

내가 변경할 코드에서는 callable()이 사용됩니다. callable()은 3.0-3.2에서 사용할 수 없습니다.

파이썬 3.0 - 3.2? 3.5 이상이 필요합니다.

eval 또는 query 컨텍스트에서 구현 방법에 대해 걱정할 필요가 없기 때문에 백틱 아이디어가 오히려 좋다고 생각합니다. 나는 그것을 떨어 뜨리고 싶지 않을 것입니다.

일반 Python 컨텍스트의 경우 새 이름에는 충돌을 방지하기 위해 접두사 또는 접미사가 있을 수 있습니다(예: 모두 밑줄로 끝남).

충돌을 방지하기 위해 접두사 또는 접미사가 있습니다.

@beojan 예, 하지만 이러한 "충돌"을 기능으로 볼 수 있습니다. 따라서 `this column name` _and_ this_column_name 로 this column name 를 참조할 수 있습니다. 또한 this column name 및 this_column_name 두 개의 열 이름이 있는 경우 약간 어리석다고 생각하지만 결코 알 수 없습니다.

this_column_name_ 사용할 수 있습니다.

실제로 두 개의 충돌하는 열이 있다면 그것이 어떻게 기능인지 모르겠습니다.

글쎄, 내가 데이터 프레임을 가지고 있다면 :

    "column name" "name"
1   4              5
2   2              1

충돌에 대한 조치 없이 구현된 기능으로 이제 다음과 같이 말할 수 있습니다.

df.query(column_name > 3)

그리고 pandas는 이 쿼리에서 자동으로 "열 이름"을 참조합니다. 이는 앞서 달정이도 제안한 바 있다. 이제 백틱에 대한 지원을 생략할 수도 있습니다.

나는 또한 당신이 _야생에서_ 다음과 같은 데이터 프레임을 볼 것이라고 생각하지 않습니다.

    "column name" "name" "column_name"
1   3              5     6
2   2              1     9

충돌로 인해 문제가 발생합니다.

따라서 제 생각에는 충돌을 일으키지 않고 열을 참조하는 추가 방법을 제공합니다.

나는 우리가 이것을 부분적으로 지원하는 데 관심이 없다고 생각합니다. 의 포인트
PR은 모호성을 완전히 피하는 것입니다.
따라서 마지막 예제가 작동해야 합니다.

2019년 1월 23일 수요일 오전 10시 56분에 hwalinga [email protected]에서 다음과 같이 썼습니다.

글쎄, 내가 데이터 프레임을 가지고 있다면 :

"column name" "name"

1 4 5
2 2 1

구현된 기능으로 충돌에 대한 조치 없이 이제 할 수 있습니다.
말하다:

df.query(column_name > 3)

그리고 pandas는 이 쿼리에서 자동으로 "열 이름"을 참조합니다. 이것
dalejung도 앞서 제안했습니다. 이제 지원을 떠날 수도 있습니다.
백틱 아웃을 위해.

나는 또한 당신이 야생 에서 보이는 데이터 프레임
처럼:

"column name" "name" "column_name"

1 3 5 6
2 2 1 9

충돌로 인해 문제가 발생합니다.

따라서 제 생각에는 충돌을 일으키지 않고 추가 방법을 제공합니다.
열을 참조하십시오.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
이 이메일에 직접 답장하고 GitHub에서 확인하세요.
https://github.com/pandas-dev/pandas/issues/6508#issuecomment-456880863 ,
또는 스레드 음소거
https://github.com/notifications/unsubscribe-auth/ABQHIkl6f9IgUGBKlzranZpsOe3atH3Aks5vGJQ7gaJpZM4Bl2In
.

@TomAugspurger 알겠습니다.

충돌을 방지하기 위해 "_"와 같은 접미사를 사용하거나 열 이름 사이의 공백을 복잡한 문자열로 교체하여 더 많은 우발적 충돌을 배제할 수 있습니다.

이것은 AST에서 직접 작동할 수 있습니다.
나는 이것들이 실제로 올바르게 구문 분석되지만 재조립을 올바르게 처리하지 않는다고 생각합니다.

안녕하세요 여러분,

이 기능이 출시되는 일정이 있습니까?

위에서 언급 한 커밋을 감안할 때 마스터에서 수행되었다고 생각합니다.

이것은 0.25에 있을 것입니다 - 1~2개월 후

재미를 망치고 싶지는 않지만 실망을 방지하기 위해: Pandas 0.25는 Python3에서만 사용할 수 있습니다. https://pandas-docs.github.io/pandas-docs-travis/install.html#install -dropping-27도 참조

@jreback 정보 감사합니다. 0.25.0 이정표가 5월 1일에 마감되는 것을 보았습니다.

@hwalinga 걱정 마세요. 이것은 Python3 전용 코드베이스에서 사용됩니다.

점이 포함된 열 이름을 허용할 수 있는 좋은 기회였을 것입니다. 왜 이것이 포함되지 않았습니까?

@danielhrisca

나는 이것을 구현했고 우리는 그것에 대해 생각하지 않았습니다. 새 문제를 열어 다시 가져올 수 있습니다. 내가 알지 못하는 합당한 이유가 있을 수 있지만 유지 관리자는 이것이 허용되지 않는 것이 가장 좋습니다.

다시 구현할 수 있을 것 같아요. 그러나 공간과 동일한 솔루션은 없습니다. 그 이유는 쿼리 문자열을 파이썬 소스 코드로 파싱하기 때문입니다. 특정 구문을 다르게 해석하려면 해결 방법을 적용해야 합니다. 그리고 아마도 이 함수에 대한 사용자 정의 파서는 구현되지 않을 것입니다.

@hwalinga HI
나는 같은 문제가 발생했지만 나는 테이블 이름이 포인트입니다

snv_df.query('Gene.refGene in ["MSH2","MSH3","MLH1","MLH3","MSH6","PMS2","PMS3"]'

0.25.0에서 변경한 사항을 확인했습니다.
제안이 있어요，
perl 소프트웨어 novar의 소스 코드를 읽었을 때 16진수를 사용하여 특수 기호를 나타낼 수 있음을 발견했습니다.
fg

comsic=comsic\x3dxxxxxxxxxxxxxxxxxxx

구문 분석 시 입력 및 출력 특수 기호에 해당하는 함수 사용

@zhaohongqiangsoliva

나는 당신이 말하려는 것을 이해하지 못한다고 생각합니다. 해결하려는 문제에 대해 좀 더 자세히 설명해 주시겠습니까?

@hwalinga
죄송합니다, 제 영어가 좋지 않습니다. 내 문제는 열 이름 사이의 공백 문제가 이제 해결되었지만 다른 기호는 여전히 해결되지 않는다는 것입니다. 예를 들어

.      /           \     

제안된 변경 사항은 Hex를 사용하는 것입니다.

나는 이것을 두 번째. 열 이름에는 모든 문자가 허용되어야 합니다.

감사 해요.

2019년 6월 22일 18:01에 zhaohongqiangsoliva [email protected]에서 다음과 같이 썼습니다.

@hwalinga https://github.com/hwalinga
죄송합니다, 제 영어가 좋지 않습니다. 내 문제는 열 이름 사이의 공백 문제가 이제 해결되었지만 다른 기호는 여전히 해결되지 않는다는 것입니다. 예를 들어

. / \
제안된 변경 사항은 Hex를 사용하는 것입니다.

—
당신이 언급되었기 때문에 이것을 받는 것입니다.
직접이 이메일에 회신 볼을 GitHub의에 https://github.com/pandas-dev/pandas/issues/6508?email_source=notifications&email_token=AA5U7NAIAJXVHI7LYXNCGNDP33DO5A5CNFSM4AMXMIT2YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODYKUG3I#issuecomment-504709997 , 또는 스레드 음소거 https://github.com/을 알림/구독 취소-인증/AA5U7NCACMBXVVQT7Z4DUE3P33DO5ANCNFSM4AMXMITQ .

@dgua @zhaohongqiangsoliva

문제는 쿼리가 유효한 Python 표현식이 되어야 한다는 것입니다. 허용되지 않는 문자에 16진수를 사용하면 이 문제가 해결되지 않습니다. 이름에 공백을 허용하는 것은 이미 토큰화 기능( from tokenize import generate_tokens )에 대한 해킹을 기반으로 합니다. 이름에 더 많은 문자를 허용하는 것이 불가능하다고 생각하지는 않지만 다시 토큰화 기능을 해킹하는 기반이 될 것입니다. (Pandas는 자체 Python 파서 역할을 하지 않습니다.)

당신이 이것을 정말로 원한다면, 당신은 이 문제를 다루는 새로운 문제를 자유롭게 열 수 있으며, 당신이 문제에 나를 태그하면 나는 유지 관리자에게 내 솔루션을 설명할 것입니다.