Pandas: 탭으로 구분된 텍스트 읽기를 위한 DataFrame.to_tsv() 요청

to_csv(sep='\t') 뿐만 아니라 to_tsv 함수는 기본 따옴표 변경을 고려해야 합니다. tsv 파일에는 따옴표가 덜 필요하기 때문입니다.

pandas API는 거의 사용되지 않는 편의 메소드가 너무 많아 이미 어수선합니다. 다른 하나를 추가하는 것은 좋은 생각이 아니라고 생각합니다.

@shoyer 의 의견에 동의합니다. 모든 기능은 to_csv 내에서 수행할 수 있으며 이미 많은 메서드가 있으므로 다른 기본값을 제공할 수 있는 것보다 새 메서드를 추가하는 이유가 더 강력해야 한다고 생각합니다.

나는 이것을 닫습니다 (우리는 너무 많은 미해결 문제가 있습니다 ..). 그러나 필요한 경우 토론을 계속할 수 있습니다.

+1. 실무자로서 to_tab 설탕을 높이 평가할 것입니다.

새로운 것을 추가하는 이유는 다른 기본값을 제공할 수 있는 것보다 더 강력해야 한다고 생각합니다.

IMO의 편리함은 정당화될 가치가 있습니다(사람들은 많은 텍스트 파일을 작성하는 경향이 있으므로 to_csv 는 지속적으로 매개변수로 보완되어야 합니다).

그러나 나의 주된 동기는 CSV 형식에 대한 경멸입니다. 사람들이 여전히 TSV를 통해 CSV를 사용하는 것을 보니 마음이 아픕니다. 분명히 엑셀/데이터베이스 지원이 역할을 합니다. 그러나 팬더와 같은 프로젝트는 모범 사례를 가장 쉽게 구현할 수 있도록 노력해야 합니다.

이것이 현재 나에게 중요한 문제는 아니지만 csv 는 미국/영연방 대표 중심이며 국제적으로 인식되지 않습니다. UTF 및 국제화의 수용에 대한 모든 Pythonic 철학과 함께 탭으로 구분된 것이 csv / semicolon-sv보다 선호되어야 합니다.

@shoyer가 제시한 감정을 이해할 수 있지만 @dhimmel 에 동의합니다. 내 경험상 TSV는 CSV보다 데이터 분석을 위한 표준 형식에 가깝습니다. TSV 형식이 요구 사항인 많은 사용 사례가 있지만 CSV 형식에 대해서는 익숙하지 않습니다(여기에 몇 가지 일반적인 사용 예가 있습니다 ). TSV는 또한 원시 텍스트를 쉽게 읽을 수 있고 @dhimmel이 언급한 인용 문제를 피할 수 있다는 장점이 있습니다.

나는 to_tsv 를 추가하는 것에 약간 반대합니다. 내 경험에 따르면(미국에서) CSV는 TSV보다 더 일반적이지만(적어도 파일 형식의 이름에서는) 약간만 사용합니다. to_tsv 의 주요 장점은 이름이 무엇을 하는지 즉시 알 수 있다는 것입니다.

CSV와 TSV는 모두 잘 지원되며 데이터 과학에서 널리 사용됩니다. CSV는 레거시 형식에 가깝기 때문에 많은 역방향 중심 프로젝트는 기본적으로 CSV를 사용합니다. 그러나 데이터 과학에 더 좋기 때문에 미래 지향적인 프로젝트는 기본적으로 TSV를 사용해야 한다고 생각합니다. pandas에는 기본 to_text_delimited_file 출력 함수가 없으므로 to_csv 가 사실상 기본값입니다. 대부분의 사용자가 sep='\t' 를 수동으로 지정할 만큼 충분히 신경 쓰지 않기 때문에 pandas는 TSV보다 CSV의 보급에 기여하고 우수한 형식의 부상을 지연시키고 있습니다.

이 문제에 대해 무지한 점을 양해해 주시기 바랍니다. 그러나 사람으로서 읽기가 더 쉽다는 점을 제외하고, 항상 그런 것은 아니지만 열 머리글이 해당 데이터와 거의 동일한 문자를 갖는 경우에만 TSV가 CSV에 비해 어떤 이점을 제공합니까? 솔직히 둘 사이에 성능 차이가 있는지 궁금해서 지금은 TSV를 사용하지만 솔직히 말하면 작업 중인 데이터 파일이 해당 형식으로 와서 같은 형식으로 두었기 때문입니다.

TSV는 CSV에 비해 어떤 이점을 제공합니까?

@Starkiller4011 탭은 열 데이터에 대한 보다 자연스러운 구분 기호입니다. 값에 탭이 거의 포함되지 않고 쉼표가 포함되는 경우가 많기 때문에 인용이 덜 필요합니다.

솔직히 둘 사이에 성능 차이가 있는지 궁금합니다

성능 차이가 미미할 것으로 예상합니다. 그러나 데이터 과학의 대부분과 마찬가지로 중요한 실제 유형의 성능은 프로그래머 효율성입니다. 그리고 저는 TSV가 CSV보다 작업하기에 더 좋다고 생각합니다.

탭 분리가 csv보다 우수하다는 데 모든 사람이 동의하는 것은 아닙니다. 예를 들어 저는 그렇지 않습니다.

Python 프로그래머로서 우리는 복사 및 붙여넣기와 같은 다양한 작업에서 공백이 항상 보존되지는 않는다는 것을 알고 있습니다. 예를 들어 SO에 대한 많은 질문에 답변하는 사람들은 정기적으로 sep="\s\s+" 를 사용하여 사람들이 공백으로 구분된 형식으로 덤프한 텍스트를 구문 분석해야 하며 충분한 공백을 넣어야 합니다. 작동하도록 열 사이에. 쉼표, 세미콜론, 파이프 등을 사용하는 경우 문제가 되지 않습니다. (그리고 예전에 몇몇 분야에서 꽤 많이 쓰던 캐럿이 생각났어요.)

일부 사람들을 더 행복하게 만들기 위해 to_tsv 별칭을 추가하려는 경우 좋습니다. 그러나 TSV로 작업할 때 TSV 자체에 문제가 없다고 생각하지 말자. 내가 생각할 수 있는 유일한 이점은 인용이 적다는 것뿐입니다.

한 걸음 물러서서 to_csv 와 같은 함수가 어리석은 것임을 인식하는 것이 가치가 있다고 생각합니다. 솔루션은 구분 기호를 지정해야 하는 보다 일반적인 to_table to_csv 여야 합니다. write.table() 함수에 이 기능이 있습니다.

기록을 위해 CSV와 TSV 모두 수용 가능하고 좋은 형식이라고 생각합니다. 둘 다 지원되어야 합니다. @dsm054 는 공백이 아닌 구분 기호에 몇 가지 강력한 이점을 제공합니다.

내 생각에 더 큰 문제는 .csv 확장자를 무분별하게 사용하는 것입니다(예: TSV를 참조할 때). https://github.com/pandas-dev/pandas/pull/14587에서 토론을 참조하세요. to_table 는 구분 기호를 지정해야 하는 일반 함수여야 하고 to_csv 또는 to_tsv 는 이러한 표준에 초점을 맞춰야 하는 @stevekm 에 동의합니다. 이전 버전과 호환되는 이 문제에 대해 미리 생각해야 합니다. 그러나 최소한 pandas 2는 readr 행을 따라 함수 이름을 고려해야 합니다.

R + Tidyverse/readr에서 가져온 pandas 데이터 프레임을 사용하기 시작했는데 가장 먼저 부정적인 인상을 받은 것은 다음과 같은 일관된 읽기/쓰기 방법이 없다는 것입니다.

read_csv()/write_csv(): 쉼표로 구분된(CSV) 파일
read_tsv()/write_tsv(): 탭으로 구분된 파일
read_delim()/write_delim(): 일반 구분 파일
read_fwf()/write_fwf(): 고정 너비 파일
read_table()/write_table(): 열이 공백으로 구분되는 테이블 형식 파일입니다.
read_log()/write_log(): 웹 로그 파일

20년 동안 유전체학에서 데이터 과학을 하면서 csv 파일을 접한 적이 없으며 대부분의 데이터는 tsv(또는 공백으로 구분된) 형식으로 존재합니다. tsv(또는 공백으로 구분된) 파일을 작성하기 위해 df.to_csv()를 사용하여 sep 및 인용 인수를 지정해야 하는 것은 말할 것도 없이 불편합니다.

탭으로 구분된 파일을 위한 df.read_tsv() df.to_tsv()와 공백으로 구분된 파일을 위한 df.read_table() df.to_table()을 사용하면 R에서 판다를 찾는 사람들에게 매우 도움이 될 것입니다.

pandas 0.24부터 read_table 는 더 이상 사용되지 않습니다(https://github.com/pandas-dev/pandas/issues/21948/https://github.com/pandas-dev/pandas/pull/ 참조). 21954). $# read_tsv 가 없는 대신 read_table 을 사용하고 있기 때문에 이제 다음과 같이 많이 얻고 있습니다.

FutureWarning: read_table is deprecated, use read_csv instead, passing sep='\t'.

플러스 측면에서 read_table 를 제거하면 read_tsv 및 to_tsv 기능을 모두 추가하는 것이 더 간단해 지지만 https://github 에 따라 편의 기능에 반대하는 추세입니다.