Stoqs: 2개 이상의 매개변수와 관련된 데이터를 가져오는 함수 구현

이것은 STOQS 코드 기반에 중요한 추가 사항이 될 것입니다!

나는 우리가 향상하고자하는 것은 생각 createLabels() 의 기능 classify.py 에서 약간 다른 방법을 호출하는 프로그램, __init__.py : _getPPData () . 이 메서드가 호출되면 반환에서 MeasuredParameter ID만 사용됩니다. 이 문제의 요구 사항을 올바르게 해석하면 다음은 기능 요구 사항 목록입니다.

• [ ] 플랫폼에서 MeasuredParameter 데이터 값의 수에 관계없이 테이블 생성
• [ ] 새 레이블을 DB에 추가할 수 있도록 데이터와 함께 MeasuredParameter ID를 반환합니다.
• [ ] 시간 또는 깊이 범위에 따라 선택을 제한할 수 있습니다.
• [ ] MeasuredParameter의 값 범위를 기반으로 선택을 제한할 수 있습니다.

제 기억이 맞다면 _getPPData() 는 UI용으로 이미 개발된 메서드를 재사용하고 MeasuredParameter의 개수에 관계없이 pvDict 사전을 전달할 수 있다는 점에서 _getMeasuredPPData() 보다 일반화된 개선입니다. 선택에 대한 값 제약.

UI용으로 이미 개발된 코드는 UI의 Parameter-Parameter 섹션에 플로팅할 여러 매개변수를 검색하기 위해 자체 조인 문을 실행하는 원시 SQL 문을 구성합니다. 이 코드는 확장하기 어려울 것입니다. 아마도 우리는 기계 학습 기술을 사용하여 탐색 및 모델링에 적합한 형식으로 데이터를 가져오는 새로운 접근 방식을 취할 수 있습니다.

다음은 새로운 접근 방식, 즉 dorado에서 처음 20개의 데이터 값을 가져오는 Django 쿼리의 시작입니다.

(venv-stoqs) [vagrant<strong i="6">@localhost</strong> stoqsgit]$ stoqs/manage.py shell_plus
...

In [1]: mps = MeasuredParameter.objects.using('stoqs_september2013_o').filter(
   ...:                 measurement__instantpoint__activity__platform__name='dorado')
   ...:

In [2]: for i, mp in enumerate(mps[:20]):
   ...:     if i == 0:
   ...:         print("time, depth, latitude, longitude, parameter__name, measuredparameter__datavalue")
   ...:     print(f"{mp.measurement.instantpoint.timevalue}, {mp.measurement.depth:.2f},"
   ...:           f" {mp.measurement.geom.y:.6f}, {mp.measurement.geom.x:.6f}"
   ...:           f" {mp.parameter.name}, {mp.datavalue}")
   ...:
time, depth, latitude, longitude, parameter__name, measuredparameter__datavalue
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 sigmat, 25.1383576072121
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 spice, 0.830712889765499
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 altitude, 1395.68956636994
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 temperature, 13.9910522171992
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 salinity, 33.6403972259011
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 oxygen, 5.670288605996
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 nitrate, 0.21
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 bbp420, 0.00231458255927606
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 bbp700, 0.00228426640768986
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 fl700_uncorr, 0.000823624706576738
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 biolume, 194666664.695293
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 roll, -4.08951048388392
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 pitch, -0.105888989907026
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 yaw, 175.513420572358
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 sepCountList, None
2013-09-17 18:42:20, -0.03, 36.734970, -122.128144 mepCountList, None
2013-09-17 18:42:18, -0.04, 36.734989, -122.128162 sigmat, 25.1403727711047
2013-09-17 18:42:18, -0.04, 36.734989, -122.128162 spice, 0.829269194464183
2013-09-17 18:42:18, -0.04, 36.734989, -122.128162 altitude, 1395.49904668803
2013-09-17 18:42:18, -0.04, 36.734989, -122.128162 temperature, 13.9828055034561

Pandas에서 분석할 수 있는 형식으로 데이터를 가져오기 위해 이와 같은 출력을 피벗하는 방법이 있습니까?

@MBARIMike 는 확실히 우리가 가고자 하는 방향과 비슷합니다. 어쩌면 기존 기능의 "확장"이 우리가 새로 시작한다는 점을 감안할 때 잘못된 표현일 수도 있습니다. 해명해주셔서 감사합니다.

또한 Pandas에는 Django 데이터를 데이터 프레임으로 가져오는 DataFrame.from_records() 메서드가 있습니다. 예:

In [1]: import pandas as pd

In [2]: mps = MeasuredParameter.objects.using('stoqs_september2013_o').filter(
   ...:                 measurement__instantpoint__activity__platform__name='dorado')
   ...:

In [3]: df = pd.DataFrame.from_records(mps.values(
   ...:     'measurement__instantpoint__timevalue', 'measurement__depth',
   ...:     'measurement__geom', 'parameter__name', 'datavalue', 'id'
   ...:     ))
   ...:

In [4]: df.head(20)
Out[4]:
       datavalue       id  measurement__depth                         measurement__geom measurement__instantpoint__timevalue parameter__name
0   2.476802e+01  5664562           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49          sigmat
1   1.262683e+00  5673227           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49           spice
2   2.546787e+01  5690556           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49        altitude
3   1.582349e+01  5577911           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49     temperature
4   3.367453e+01  5629901           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49        salinity
5   6.593205e+00  5586576           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49          oxygen
6   5.360300e+02  5595241           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49         nitrate
7   9.528316e-03  5603906           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49          bbp420
8   6.610731e-03  5612571           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49          bbp700
9   4.761394e-04  5621236           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49    fl700_uncorr
10  9.728126e+09  5638566           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49         biolume
11 -1.292509e+01  5647231           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49            roll
12 -6.497791e+00  5655896           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49           pitch
13  5.802254e+01  5664561           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49             yaw
14           NaN  5690705           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49    sepCountList
15           NaN  5691417           -0.055507    [-121.934897431052, 36.90470983771924]                  2013-09-16 20:55:49    mepCountList
16  2.476093e+01  5664563           -0.082238  [-121.93492018129153, 36.90469289678784]                  2013-09-16 20:55:47          sigmat
17  1.270436e+00  5673228           -0.082238  [-121.93492018129153, 36.90469289678784]                  2013-09-16 20:55:47           spice
18  2.544076e+01  5690555           -0.082238  [-121.93492018129153, 36.90469289678784]                  2013-09-16 20:55:47        altitude
19  1.585611e+01  5577910           -0.082238  [-121.93492018129153, 36.90469289678784]                  2013-09-16 20:55:47     temperature

따라서 loadLabeledData 와 같이 x와 y를 조작하는 대신 이 코드로 새 함수를 작성하고 pandas 데이터 프레임을 반환할 수 있습니다. classify.py 에 추가하여 이 작업을 수행하거나 새 파일을 생성하시겠습니까?

지금은 새 파일을 만드는 것이 좋습니다. 아마도 분석을 보여주는 Jupyter Notebook이 될 것입니다.

따라서 classify.py를 보면 이 새 파일에 대해 process_command_line() 함수를 구성해야 합니까?

기능적 요구 사항을 더 잘 이해해야 합니다. 아마도 새로운 옵션(또는 이미 classify.py에 있는 열망적인 옵션의 구현)이 접근 방식일 것입니다. Jupyter Notebook 데모를 보고 싶습니다. 결정하는 데 도움이 될 것입니다.