Cdnjs: 제안 - 포스트 라이브러리 다운로드 통계/분석 수치 및 그래프

@Jakobud 훌륭한 제안 Jake. 이것이 정말 유용할 것이라는 당신의 생각이 절대적으로 옳습니다. 그리고 이것은 인기 있는 요청입니다: https://github.com/cdnjs/cdnjs/issues/405

우리는 지금 솔루션을 브레인스토밍하고 있으므로 대화에 참여하게 되어 기쁩니다.

종료된 이전 문제 #405 여기서 대화를 계속하세요.

높은 우선 순위로 태그가 지정된 사람이 아직 몇 십억 줄을 구문 분석하는 방법에 대한 기발한 아이디어가 있습니까?

일반적인 로그 파일은 몇 줄입니까? 로그 파일을 하루에 한 개 이하로 분할합니까? 로그 파일에 단순히 http://path/file 이 다운로드된 내용이 표시됩니까? 또는 데이터베이스 행 ID(데이터베이스에 저장되어 있다고 가정하는 각 파일 이름의 ID)에 대한 참조가 있습니까?

각 에지 위치(현재 23개)는 서로 독립적으로 처리됩니다.

따라서 우리가 가진 것은 하루에 엣지 로케이션당 하나 이상의 로그 파일입니다.
상당한 조회수를 기록하고 있습니다.

2013년 6월 28일 금요일에 Jake Wilson은 다음과 같이 썼습니다.

일반적인 로그 파일은 몇 줄입니까? 로그 파일을 다음까지 분할합니까?
하루에 하나 또는 더 작습니까?

—
이 이메일에 직접 답장하거나 Gi tHubhttps://github.com/cdnjs/cdnjs/issues/1078#issuecomment -20125044에서 확인하세요.
.

로그 파일의 발췌문을 게시할 수 있다면 그것이 시작점이 될 것입니다.

이에 대한 진전이 있습니까? 도움이 필요하세요? 거대한 로그 파일이 많다는 것을 알고 있지만, 로그 파일을 스트리밍하고 데이터를 데이터베이스나 이와 유사한 것에 저장하는 단순한 파이썬 스크립트의 문제일 뿐이라고 생각합니다. 그것은 오래 실행되는 과정이 될 것이지만 아마도 실제로 그렇게 복잡하지는 않을 것입니다.

참고로, cdnjs가 백엔드에서 AWS 서비스를 활용하는지 여부는 모르겠지만 이 문제와 잠재적으로 매우 관련이 있는 흥미로운 기사입니다.

http://aws.amazon.com/blogs/aws/all-your-data-fluentd/

Fluentd라는 소프트웨어를 사용하여 로그 파일 변경 사항을 데이터 저장소로 스트리밍하는 방법에 대해 설명합니다. 따라서 CDNJS의 경우 라이브러리 액세스 로그를 사용 통계를 표시하는 데 사용할 수 있는 일종의 사용 데이터베이스로 스트리밍할 수 있습니다.

또한 참고로 로깅에 대한 세부 정보를 공개할 수 있다면 이에 대한 솔루션을 제공할 사람을 구할 수 있습니다. 작동 방식, 파일 저장 위치, 하루 또는 몇 주 분량의 로그에 대한 액세스 권한 등... 누군가가 솔루션을 알아낼 수 있습니다.

여러분을 위한 또 다른 제안은 로그를 공개하는 것입니다. AWS S3에 올려놓고 누구나 잡을 수 있도록 하십시오. 누군가(또는 여러 사람)이 분석 솔루션을 제공할 것임을 보장합니다.

이 문제에 대해 다시 문의하고 싶었습니다. 다시 말하지만, 몇 가지 예제 로그 파일을 제공하면 어딘가에서 누군가가 라이브러리 다운로드 통계를 가져올 파서를 함께 구성할 것입니다.

핑 @thomasdavis

아, 아직 통계가 없습니다.

cdnjs용 API 서비스를 만드는 것이 좋을 것입니다. 다음과 같은 것:

api.cdnjs.com/lib/jquery/stats

그런 다음 이 서비스를 사용하여 cdnjs 웹사이트에서 통계를 가져올 수 있습니다. :네 잎 클로버:

웹 사이트의 통계는 쉽지만 사람들은 cdn의 통계를 원합니다. Cloudflare는 해당 정보나 액세스 로그를 제공하지 않았다는 것을 기억합니다.

cc @thomasdavis @ryankirkman @terinjokes

로그에 액세스할 수 있지만 로그 볼륨이 너무 커서
집계 전략을 알아내다
2015년 5월 24일 일요일 오전 12:28 Peter Dave 안녕하세요 알림 @github.com
썼다:

웹 사이트의 통계는 쉽지만 사람들은 cdn의 통계를 원합니다.
Cloudflare는 해당 정보나 액세스 로그를 제공하지 않았습니다.

cc @thomasdavis https://github.com/thomasdavis @ryankirkman
https://github.com/ryankirkman @terinjokes
https://github.com/terinjokes

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment -104988412.

대략적인 통계는 거의 비슷할 것입니다. 로그 볼륨이 문제인 경우 로그를 샘플링할 수 있습니다.

그건 사실이야! 하루 트래픽 * 30만으로도 충분히 흥미로울 것입니다.

로그는 지금 어디에 있습니까? 어떤 형태로든 액세스할 수 있습니까? 일부 S3 스토리지에 일일 로그를 덤핑하는 것이 가능하고 누군가가 이를 구문 분석하는 무언가를 작성할 수 있다고 생각합니다.

로그를 구문 분석하는 도구를 작성하게 되어 기쁩니다! 어쨌든 저는 일부 통계 및 시각화 프로젝트에 참여하고 있으므로 정말 좋습니다. :빛나는 것:

이전에 말했듯이 CDNJS가 해야 할 일은 어떤 형식으로든 로그에 액세스할 수 있도록 하는 것이고 누군가는 사용 통계를 생성하기 위해 멋진 파서를 작성하기 위해 나설 것입니다.

이제 로그의 IP 주소가 민감하므로 주의해야 합니다.

이에 대한 업데이트가 있습니까? 파서를 작성하려는 다른 사람으로서 내 모자를 링에 던지는 것입니다.

안녕하세요. 죄송합니다. 더 중요한 몇 가지 문제가 있지만 가능한 한 빨리 이 기능을 사용할 수 있도록 최선을 다할 것입니다.

BTW, 우리를 위해 파서를 작성하고 싶어하는 사람들에게 감사드립니다. 괜찮으시다면 bower auto-updater와 같은 cdnjs의 다른 부분에 계속 기여할 수 있습니다. 감사합니다!

이것에 대한 업데이트가 더 있습니까? 2년 반이 지났습니다. 어떤 형태로든 공개적으로 액세스할 수 있는 로그를 만드는 것을 고려하셨습니까?

도와주세요 도와주세요!

핑 @thomasdavis @ryankirkman @terinjokes @drewfreyling ...

이봐, 그래서 나는 #405에서 문제가 돈이었다는 것을 알고 있다. 로그는 공통 형식이지만 500만 조회수에 대한 로그를 풀다운하면 하루에 300달러가 됩니다. (2 1/2년 후 여러분은 아마 하루에 5백만 건 이상의 조회수를 얻을 것입니다).

그래서 거기서 나온 해결책은 EC2 인스턴스에서 구문 분석을 설정하는 것이었습니다. 이것이 최선의 해결책이 될 것입니다. EC2 인스턴스가 S3 컨테이너와 동일한 리전에 있는 한 S3에서 EC2 인스턴스로 로그 파일을 전송하는 데 비용이 들지 않습니다.

따라서 본질적으로 솔루션은 다음과 같은 일상적인 작업을 수행하는 것입니다.

1. EC2 인스턴스 시작
2. 스크립트는 S3 컨테이너에서 지난 24시간 동안의 로그를 가져옵니다.
3. 스크립트 구문 분석 로그
4. 스크립트가 로컬 로그를 삭제합니다.
5. 스크립트는 원하는 형식의 데이터를 어딘가의 데이터베이스에 덤프합니다.
6. 스크립트가 EC2 인스턴스를 종료합니다.

따라서 이것은 절대적인 최소 비용이 됩니다. 인스턴스가 활성화된 시간에 대해서만 비용을 지불하면 됩니다. 24시간마다 켜도록 EC2 인스턴스를 예약하는 것은 그리 어렵지 않습니다. 그리고 프로그래밍 방식으로 EC2 인스턴스를 자체 종료할 수 있다고 확신합니다.

그냥 생각. 솔직히 알아보기 어렵지 않을텐데...

실제로 더 나은 솔루션은 AWS Data Pipeline을 사용하는 것입니다.

http://aws.amazon.com/documentation/data-pipeline/

그리고 AWS Elastic Map Reduce

https://aws.amazon.com/elasticmapreduce/

이러한 도구는 비용 효율적인 방식으로 데이터/로그를 분석하는 데 필요한 작업을 정확히 수행하도록 만들어졌습니다.

안녕하세요 제이크

당신이 제안한 솔루션은 매우 우아하지만 불행히도 우리는 사용하지 않습니다
더 이상 CDN을 호스팅하기 위한 Cloudfront. Cloudflare는 기본 네트워크입니다.
공급자.

통계 솔루션에 관해서는 아직 좋은 답변이 없습니다. 죄송합니다. Jake.
2015년 11월 19일 목요일 오전 9:35 Jake Wilson 알림 @github.com
썼다:

실제로 더 나은 솔루션은 AWS Data Pipeline을 사용하는 것입니다.

http://aws.amazon.com/documentation/data-pipeline/

그리고 AWS Elastic Map Reduce

https://aws.amazon.com/elasticmapreduce/

이러한 도구는 사용자가 수행해야 하는 작업을 정확히 수행하도록 만들어졌습니다. 분석
데이터/로그를 비용 효율적인 방식으로

—
이 이메일에 직접 답장하거나 GitHub에서 확인하세요.
https://github.com/cdnjs/cdnjs/issues/1078#issuecomment -158129912.

@ryankirkman 우리가 하루에 필요한 디스크 크기를 평가할 수 있고 아마도 스토리지를 찾을 수 있을 것입니다.

Cloudflare 로그는 다운로드할 수 있거나 API 등을 통해 어떤 형태로든 액세스할 수 있습니까? 또한 EC2 이전 요금:

인터넷에서 Amazon EC2로 데이터 전송 GB당 $0.00

https://aws.amazon.com/ec2/pricing/

따라서 프로그래밍 방식으로 Cloudflare 로그를 가져와 구문 분석하거나 무엇이든 할 수 있으며 EC2 인스턴스가 활성화된 시간 동안만 비용이 발생한다고 가정합니다.

이 문제가 상당히 정체된 것 같습니다. 이제 라이브러리 사용 통계 또는 백분율을 결정하기 위한 대안/실행 가능한 솔루션이 있습니까?

jQuery를 예로 들면 - 사이트 소유자는 이미 캐시된 필수 jquery 버전으로 도착하는 사용자의 %에 대해 관심을 갖고 있으며 cdnjs가 제공할 수 있는 모든 통계는 이를 결정하는 데 굉장할 것입니다.

현재 Cloudflare에서 cdnjs.cloudflare.com 도메인에 대한 통계/로그 액세스 방법을 설정하기를 기다리고 있습니다. 내가 얻는 대로 업데이트를 게시할 것입니다.

#6186에서 국가 분류와 같은 보다 심층적인 통계가 유용할 것이라고 언급했습니다.

@dknecht 이 문제를 사용하여 cdnjs.cloudflare.com 도메인에 대한 추가 통계/로그 액세스에 대한 업데이트를 추적할 수 있습니까 ? 감사 해요 :)