Pecan: Os arquivos BrownDog / NARR sipnet.clim não estão sendo gerados corretamente

Criado em 17 ago. 2018  ·  39Comentários  ·  Fonte: PecanProject/pecan

Descreva o bug
relacionado a # 2047

Estou tentando gerar drivers NARR para sipnet em dois sites diferentes e estou tendo um problema em que a saída do comando BD é um arquivo vazio ou algo confuso. Por exemplo:

PK^C^D^T^@^B^@^H^@EU^QM æµ3)Â^G^@uù^S^@^_^@^@^@NARR.2002-01-01.2004-12-31.clim<8c><9d>W<96>39<96>¤<9f>9{)^^h±ÿ<8d><8d>}^F<92>^N^G<83>ù÷<88>îªÌ<88> è^N\\a"<R^Hé^Q^_á^Q<9e>1ÕÇÿús<86>YÒ<9c>9¶^RÚã^?éYJ<8e>uÎ<96>ci1ùGC^H#<94>ÖR^O¥´Þ{~ÄÐø^K©Ï^Z©í¡ÿôÔ_^_#<8e><9a>r}¤^\<9f>­<8e>YF        CÿãQ<9f>9<8e><94>CÏú´Ôµ<88>gû^?á½¢ü^Ñ|æ<94>¦Ö^Põg<8a>þ<90><96><94>õ!±gý¥<92>*«ÿ<9f>ÖTb<8a>c<94>^^rË-öG¯Ï¨^_¬eÖ<99>û<88><8f>4ôOô<9f>ËHC<9f>8^^)õgÕW+=<85>^TfÓ<92>Zèe<86><94>Û졵û<92>Ú{I1<k<8e>iè^AÄ ¿í%åYZ®9è/ègÖ<92>R)Akh5¦©§ð¨Z<80><9e>ML9<87>^XSzè<8b>=G^^úÅ^VJMSK
zjC_%éñO<9e>R^HZqÔWo5§cI󳤨^U4}±^VõÍô<9a>´$½<9d>^Ysä¯M¾Ë<9f>KÊõ9k<9e>5ÄÔõ<90>µ"½<97><92>J.³<84>ÜõÞ<92>¶<80>¾V×Od=^ZVÔõ7k͹ë«^\+b<87>¼<96>¤ß^K¡·4õhô¼XRÔ^GéËè<81>^OÞxK#ÏñL¹gm§1ØZÚ^[=ö9zͼáG<9c>Ï<9e><8a><9e>´Þ<99>¶Wyä<90>õ^AÚ9þ^_¥<RìϦo¨^G¦Í¦<9f>(Oýਲ਼v=^Q½<95>c<85>õ½Â¡^Eòꣶcîex<85>Ú^G¥F½Cm<95>þ<88>M<9b>¤<96>g<8f>qF^NÄ<9f><9b>¿õg^Ni^Dý<8e>þLÍ<8f>Ôx¬¼6-2ê0Ô®o¡%¥ÖºöÖ£éÏô<9a>Æè¹²îc<89>ã½Äª<9d>6rkmN=^A}<94><96>^Xª6FÓ<9f>LAK}D<96>><8f>%ê§s^^]O%jké/<86>ù^\S?ßÓ<8c>½j£åð,­ê<97>ôV»_{¨#^Gý^N^[Y^KÔË×rbg+<8c>ãt¦ø^`ÑÁ^[C;FßN^_åõéák^W<86>^X´<87>â£<8e>¡ØP^T^V8+<|ýQ=Ö¨<9f>ÑO<96>¢?<98>µ[ÙtyhO^F-'Ôg×óÕ©<9a>zÞí¡?§<83>¢½¬7Î<9e>yðïËhAÏT¡*§}}é<8a>gõ©w¥è<92>§<9e>×ð^^Ôºô7§^^<99>>a¼âÙù¼ÚP¨¨)Õ²<86><9e>²öiã^Oi§ö>XÑxö@d"\ÔJðP L
(yê(Öû<8a>>ñL<8f>BÏ+vír<9e><87>Þh|Î>µsBÔ£×¹ø^Ubµ<87>´»9Q£êqê-è¥ö®= =<9c><92>þ<81>^Bês<94>HP^\úç:^Hzê<8a>^B-kÍqäû<92>Úu^N´î<96>´íc_<9b>LKâÏäÖ^U­ô2_Á<83>{ µ®_RôÐ[Ò/êiêÿè ^VþAjú|-Y¯D[gú¬j{iw)Rêß<<88>Éz<80><83>h<9d><8f>m<95>®p¦ ¯Ð¥g^]ôÒ^R'3><87>Þ<98>¾vÐÛÖ+]^OI_²q<83><94>©^]ÃÎT@×^[k<9d>gÂ^WÖï><89>^DSK^LÚ©ZsæGØ5<8a>^[­ë^YÍZ<8b><9e>¾^JÎuÜW´<85>3^E}}«1Fã!U/<89>ãL@^K<8a>üMa *®>õ<82>Úä<82>`<85>©^E^]*=<9f>¡^?<94>ØGº^Eµ^W31¾èÉê^Hèaëqש^@¢ <98>ª<82><83>¾T<8b>QGO¡¡( k7èN<8a>z!áx<8b>W8kO<85>;^]ºâP±^^Z'¶·^X^TEô¿ô<82>¦<9e>ý'âο^BîhO]#<ì»Jÿ@·úSqMïµk?f-yèÖÒ<81>R4<89>5ÎÄ>KMA<80>ó©¿s>ÃO4ËOös]/uεB]<±)6(úÌ©<80>«<8f>ÌÛ
ÿº´bÑÆ^O-Ný-ö«<82>      <97>Rm<84>Bö<81>Î<97>V¨¼¢7<9e>><87><93><93>JxStÊ©ÜWx<85>³DØÖ^]µ®¬ä£ÀÝ2µF}´ö¸6s^H^?¾Ù^R<9f>\Ò<93>7©ÿ ï­m¬<8c>D^OS[¤wݵºÜuíWÝæ£^N?· OÒ<83>Õ߯㶪¼^G±>µ|­<9f>Lf½Ø¦<9b>^k*½VVõw
T§n¸DJ^P«<8f><9f>^B<85>².Å?^]^O^E)-)ëb<9a>^D$^]-<9d><8d><87>^<91>^V¤^Gª^KT¿<92>ïKÚ¢^XÁR7<84>^VÖ^!C¯G;X·<9e>BFx<87>^LÝr<83><87>©x«ÃÓu^UêÀé¥èí)CTpåO?'^_GR7^Tµ´Û<9f>:×üY.8^N<80>²2ý%­Pÿ!Æû<9a>¶0¦[R?^T×eé^SªÏÔ¡<9a>z^M<9c>õ^_<81>µé^Q(^^s^R<94>ôq7jÃ+bNíR}Ë¡í¤%ê©dý%¥>Zó3ë¯V<9d>+^Eί§´<85>±NÄ,+<99>^»©rÜôع<97>Þa¬<92>sèJÔgµ<9e><89>Iµ²ß¢þ».<84>ìüaê!é<92>t¼×^QÔ?Ð+ÐIU~«k,é;^T®Zí,ÂÏ}E·0<96>µoøZ+<86>é;ëÿp<90>µkÊC^AM<9f>ðI&^\Ã<94>d^QEtykóêvÖáÒç+Àª Ð^®^MÊ<8a>Ϻ<87>^F»H{N_To^?¡­í<9b>H^GX'º^P#ïùNÞbX^?êQµ®#å(á^E^F®T}U<82>K$qÑÍ}EÙ¿<8e>¢<82>pÖÏé^RR¬ÿ¤MGÖÊ^M¢0ª^_׍^Dg<90>þ´¦ï6}^M8ë×^]¬ÿ}.pì^ABëЯ<96>ô¾+µ^W^HÐ3(<91>×ÓÐ<9b>ÓÍòIyÆ<8f>^P<96> ½º^C¦^^<88>~(^E^EUe<90>º<85>ºÂ¸<96>¨«KW<99>ò5ý!<9d>rmÓ¤h®ï<98>ã$g»­p^Oaü8©Ûü<84>0½AÝ~E^ASgs>ÚTùqÝSÎÉ´0e-:?<81>@§o¡<83>^Z<89>ê*"¦<9e>£ÞúжìÃiRâ<9c>ªÂJìl¹^Re^EYý¢.^MmD}J»íÁr<85>3]o
[I^[CiòëTdrA^UT<98>x<9d>
Å#<97>j*<ôhçCÑ<93><8b>\¹<84>Þ<99>³Ä¨È<98>)%´^DÊ5¥pºat<92>õ§«"±^^<99>®-½o-H'<^_+Ê×®ë<^^=䶪ިëB<9b>mP    ët<96>^_Y¢^^<91><8e><8f>â^[{Jé¯6§*^A]¦<93>¼Z©ª3²>^Uº2oVµ*w»ò^E-Y;@Aú¾¢-<96>éùu6<86>3\<9f>T%L<91><9b>Eç@+ùQÏQ^KéV^H:5ä·Z<92>N³By#ãÑ¥£<9d>2<95>^Aõ^Züg´<9d>\<8b>^Lm}­Q¿<94><8f>%mÁL5÷q^K©:¨Jb<94>p^VöÕ<9f>÷¢~O^W.iIä­+áÑ^_T<86>¨ÿ¦ª²RrêöÎüKŤá}ÄÓS,Q¼Ó_è÷^EÝbYà^Oé\7<95>pÅ+
\<88>ú<93>UGT^[ Ô½6ú3<9c><91>¢^FjG<85>f¥<8a>ä<88>ª<8d><88>[<8a>ÈzûÉI£^N¢<82>Ç'×<8f>JÏ<94> éØèk<94>c<85>[J¦Å)Æ<94>+<9c>±`ý^?-Oq<98>ÒGWc:ò<9d>#ÏVþ5;5úäg<94>7hg)^B«dÐ<93>ϬXÇÇÕ<9c>Þ Þªo4mÕ®ïà¯u¼Ò+<9a>)µlÊ^Ztb<9c>úW><9d>k¥<90>µ<90>^Më~¦<86>Õ=ô<8f>p¦K\§·^Rþ«®!<97>^Bºf^T%õ^CÊ©^TÎèHh<9b>i_420^U^Oú_:ãú®Ú¯Ç[¾¥dôYh^QQ§¯5*Yà¿ëS<88>O^O}Óë^Y<8e>UdþÑ£jZ<82><82>³^^¯b!<99>­2^M}¼Þ£¶½ò]^Uu<93><92>FϹS)×Gw²Â<8b>W&^Qãí¢¯WH#^AVþ^WWó¥ø^YÑFS$ª´QâúÙï<9b><94>Ä<95>ÇA9^P¨^F<9a>>`êñò»´Hôõ<94>^LåZ8^\ªÉ´¢Nq]¦^^¥^oº¯(o9£¢ä^A<91>ei·^QEjT^NñJ<87>è<84>)^]Ôëä3^ZU¦ÞIhzùú)¢lö<9e> `<9d>$<98>ÎÏzrñêdAKÒþÐÿSH^_:ä徤v-I5¿²Üò<89>ûªé;í2ý<8e>ª<8f>Xúß<81>_·=W<9e>jj<85><96>HÇG¯IÿQפv<93>jp-)Ó^OÐó¥^DgûGª^YmHíÿy_ϼ֣T±ëtT%áD}Z^L\<94><89>¿ÓéfüYöêj§ÍÖɱuÛp^\u<97>ë^AéÊQ ^],Gµ¡²)z}Z<9f>Ö£TR<81>@ÑBù]­÷^E]^A­òn^UT^T<8d>ÝÉÑ<87>ë²!(ëkè^_ë¤+ºÝîî¿<93>ìJ[<91>tºê^M^EnªÌï<8c>B³IÉ<89>V¨-«<9d>¡t<97>,F<97>ëSáEïEi ^E=<9e>Ù^UÑt^Z<89>ì<93>&iqûBk¬EW<9c>vö <81>ÄÙ¥êÜR´¿"<86><9e>¢^N<96>j^@Ý&ºt)d³Î<8c>¢¶<9e>6{ÿ¡âàÉ<87>èæ.:<91><99><8e>1­^CRc­°·c<8d><9f>¨^Vh{^L2<8a>Ê<8b>^M~HÚ¬I!R[Bé<9a>2<strong i="9">@½</strong> <9d><86>^?uö8 ô<9d>*<8f><86>M¢s«06tû^W<9a>}^O½b}O=f<85>^N½%¯QÕ¶²8<9d>^?mâû^Z¯¨Æ1ç{SÒë^Mèë®5ê<8f>Òx%<90>*úPÇü;¬Åô^\:<80><99>
<9c>BTû<83>¬a^NíG<95>^G^OýÜJ'<8a><8a>C²ßÊîT<8c>!^Aå<89>ï<8b>lWT#OP<92>¬^RãÕ<ó
<95>Èh^Oë5ä^þ._T÷<92>^Oºñ ^@=Ü<ëüuÕ'Õ}!Ý°<89>N<9f>b!ûîáÎ<80>â0Õ<8c><9e>n¾¯(_+REF×'ê^EÔu@TG<92>îhW<87>ò^Y^F^\GV)ÏÐ^Ta¡C¨^G§^U<91>&gEQ=^R<9a>u<99>^RFI<9f>6¬^N<8c>n^Y^]iå<9a>Q¯AA(<86>v_QÛ²mRòWwsÅY<9d>©Jº<90>I"[ý=2QÐRøÕæ<99><8e><87>Ú^GOî8î^Q<82>ýC^U<93><9e><9b>j*½*®9^]>½?^Z[Iïm¦û<9a>æõ<94>^H×Ê|3^UÓ

Este é um arquivo de exemplo do WF https://modex.bnl.gov/pecan_dev/05-running.php?workflowid=2000000991 onde eu estava executando no site da AF Susquehanna Shale Hills Critical Zone Observatory (US-SSH)

Reproduzir
Passos para reproduzir o comportamento:

  1. Vá para https://modex.bnl.gov/pecan_dev/
  2. Clique no site Susquehanna Shale Hills Critical Zone Observatory (US-SSH)
    , NÓS
  3. Role para baixo até o modelo SIPNET (r136)
  4. Execute SIPNET com qualquer PFT usando NARR e BrownDog
  5. Nota O comando BD termina, MAS o arquivo clim está vazio ou incorreto.
  6. Observe que todos os conjuntos falham em gerar saída

Comportamento esperado
O driver NARR apropriado é criado e o conjunto de modelos é executado com sucesso

Capturas de tela
Nenhum

Máquina (por favor, preencha as seguintes informações):

  • Servidor BNL / modex
  • SO: Linux
  • Chrome do navegador (se aplicável)
  • Versão NA

Contexto adicional
Nenhum

Bug 03 - High models - SIPNET Stale

Todos 39 comentários

Curiosamente, o driver criado aparece como uma opção se você voltar para a mesma combinação local / modelo

screen shot 2018-08-17 at 11 50 36 am

Além disso, não tenho certeza se isso é o que deveria acontecer, mas uma pasta sipnet.clim foi criada no nível superior da pasta de fluxo de trabalho de noz-pecã, conforme mostrado aqui:

[sserbin<strong i="6">@modex</strong> PEcAn_2000000991]$ ll
total 932
-rw-r--r--. 1 apache test    100 Aug 17 11:44 ensemble.output.2000001031.NPP.2002.2004.Rdata
-rw-r--r--. 1 apache test    785 Aug 17 11:43 ensemble.samples.2000001031.Rdata
drwxr-sr-x. 3 apache test     31 Aug 17 11:43 out
-rw-r--r--. 1 apache test   2957 Aug 17 11:41 pecan.CHECKED.xml
-rw-r--r--. 1 apache test   3195 Aug 17 11:43 pecan.CONFIGS.xml
-rw-r--r--. 1 apache test   3114 Aug 17 11:42 pecan.METProcess.xml
-rw-r--r--. 1 apache test   3155 Aug 17 11:42 pecan.TRAIT.xml
-rw-rw-r--. 1 apache test   2151 Aug 17 11:41 pecan.xml
drwxr-sr-x. 3 apache test     51 Aug 17 11:41 pft
drwxr-sr-x. 3 apache test     50 Aug 17 11:43 run
-rw-r--r--. 1 apache test 871702 Aug 17 11:43 samples.Rdata
drwxr-sr-x. 2 apache test     10 Aug 17 11:41 sipnet.clim
-rw-r--r--. 1 apache test    371 Aug 17 11:44 STATUS
-rw-rw-r--. 1 apache test   6320 Aug 17 11:41 workflow.R
-rw-r--r--. 1 apache test  39635 Aug 17 11:44 workflow.Rout

Mas a pasta esta vazia

Esta é a aparência de uma pasta de execução:

[sserbin<strong i="6">@modex</strong> 2000075070]$ ll
total 20
-rwxr-xr-x. 1 apache test 1767 Aug 17 11:43 job.sh
-rw-r--r--. 1 apache test  664 Aug 17 11:43 README.txt
lrwxrwxrwx. 1 apache test   67 Aug 17 11:43 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-10704043b8b7/sipnet.clim
-rw-r--r--. 1 apache test 2750 Aug 17 11:43 sipnet.in
-rw-r--r--. 1 apache test 2767 Aug 17 11:43 sipnet.param
-rw-r--r--. 1 apache test    1 Aug 17 11:43 sipnet.param-spatial

Com base em um comentário de @robkooper no Slack, parece que o arquivo retornado é um arquivo .zip sem a extensão correta. Se eu renomear o arquivo, posso extrair com êxito o arquivo de dados, que é um arquivo sipnet.clim formatado corretamente.

[sserbin<strong i="7">@modex</strong> BD-10704043b8b7]$ sudo mv sipnet.clim sipnet.clim.zip
[sudo] password for sserbin:
[sserbin<strong i="8">@modex</strong> BD-10704043b8b7]$ ll
total 500
-rw-r--r--. 1 apache test 508617 Aug 17 11:42 sipnet.clim.zip

[sserbin<strong i="9">@modex</strong> BD-10704043b8b7]$ sudo unzip sipnet.clim.zip
Archive:  sipnet.clim.zip
  inflating: NARR.2002-01-01.2004-12-31.clim
[sserbin<strong i="10">@modex</strong> BD-10704043b8b7]$ ll
total 1780
-rw-r--r--. 1 root   test 1309045 Aug 17 10:42 NARR.2002-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test  508617 Aug 17 11:42 sipnet.clim.zip

0       2002    1       0       0.125   -7.9094299316406        -2.44315996314612       0       0.000804662704467773    106.125279746456        279.20088185235 231.658948408484        5.31823073993271        0.6
0       2002    1       3       0.125   -9.32294311523435       -2.39741738404251       0       -0.0412188470363617     75.1397549593781        285.159348289328        227.559947202096        5.60749023697066        0.6
0       2002    1       6       0.125   -10.5312866210937       -2.33946353060725       0       -0.0244013965129852     55.1456123301122        294.838635604529        220.208121240694        5.00348134365326        0.6
0       2002    1       9       0.125   -11.3368286132812       -2.27091310812966       0       -0.0244013965129852     35.953950127431 295.342434940375        222.430670123902        5.07081553376126        0.6
0       2002    1       12      0.125   -12.4007629394531       -2.19504814728271       628398.237304688        0.0848717987537384      19.7246218935274        303.128231282344        217.696640681874        4.52785957682463        0.6
0       2002    1       15      0.125   -8.40720214843748       -2.10964517251597       1622754.71191406        0.000804662704467773    67.3028051574853        265.95481312816 257.728592667697        6.00752887354068        0.6
0       2002    1       18      0.125   -5.53836669921873       -2.05694625720645       1374894.71191406        0.00921338796615601     109.890647291759        230.4657112397  295.058308799463        6.37520017434981        0.6
0       2002    1       21      0.125   -4.0488342285156        -2.02781320104941       58806.474609375 0.0176221132278442      132.242433885207        205.770433990006        320.831082348398        5.77486085931632        0.6
0       2002    2       0       0.125   -5.8043273925781        -2.01090098947708       0       0.00921338796615601     68.1552254424385        198.632733047786        328.702943023655        5.63152559393685        0.6
0       2002    2       3       0.125   -6.48831787109373       -1.97915701994827       0       0.000804662704467773    57.8740762854741        209.776452022241        318.84142518764 4.74670963477183        0.6 ...

Execute-o novamente e veja que agora existem dois arquivos BD clim diferentes no arquivo .zip com nome incorreto

[sserbin<strong i="6">@modex</strong> BD-650a29c32afa]$ ll
total 3556
-rw-r--r--. 1 root   test 2191869 Aug 17 11:37 NARR.2000-01-01.2004-12-31.clim
-rw-r--r--. 1 root   test  439523 Aug 17 09:57 NARR.2004-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 1003128 Aug 17 12:37 sipnet.clim.zip

Outro problema é que o link sym usado em job.sh não corresponde aos nomes dos arquivos:

[sserbin<strong i="10">@modex</strong> 2000075302]$ ll
total 20
-rwxr-xr-x. 1 apache test 1768 Aug 17 12:37 job.sh
-rw-r--r--. 1 apache test  673 Aug 17 12:37 README.txt
lrwxrwxrwx. 1 apache test   67 Aug 17 12:37 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/sipnet.clim
-rw-r--r--. 1 apache test 2750 Aug 17 12:37 sipnet.in
-rw-r--r--. 1 apache test 2771 Aug 17 12:37 sipnet.param
-rw-r--r--. 1 apache test    1 Aug 17 12:37 sipnet.param-spatial
# see if application needs running
if [ ! -e "/data/Model_Output/pecan.output/PEcAn_2000000994/out/2000075302/sipnet.out" ]; then
  cd "/data/Model_Output/pecan.output/PEcAn_2000000994/run/2000075302"
  ln -s "/data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/sipnet.clim" sipnet.clim
...

Uma verificação rápida do que acho que deve ser a forma como está configurado:

[sserbin<strong i="6">@modex</strong> 2000075302]$ sudo ln -s /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/NARR.2000-01-01.2004-12-31.clim sipnet.clim
[sserbin<strong i="7">@modex</strong> 2000075302]$ ll
total 20
-rwxr-xr-x. 1 apache test 1768 Aug 17 12:37 job.sh
-rw-r--r--. 1 apache test  673 Aug 17 12:37 README.txt
lrwxrwxrwx. 1 root   test   87 Aug 17 12:42 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/NARR.2000-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 2750 Aug 17 12:37 sipnet.in
-rw-r--r--. 1 apache test 2771 Aug 17 12:37 sipnet.param
-rw-r--r--. 1 apache test    1 Aug 17 12:37 sipnet.param-spatial

[sserbin<strong i="8">@modex</strong> 2000075302]$ sudo ./job.sh

[sserbin<strong i="9">@modex</strong> out]$ cd 2000075302
[sserbin<strong i="10">@modex</strong> 2000075302]$ ll
total 3456
-rw-r--r--. 1 apache test      1293 Aug 17 12:43 logfile.txt
-rw-r--r--. 1 root   test       673 Aug 17 12:43 README.txt
-rw-r--r--. 1 root   test   3523496 Aug 17 12:43 sipnet.out
-rw-------. 1 apache apache       0 Aug 17 12:37 stderr.log
-rw-------. 1 apache apache     119 Aug 17 12:37 stdout.log

[sserbin<strong i="11">@modex</strong> 2000075302]$ ll
total 5956
-rw-rw-r--. 1 sserbin test    507576 Aug 17 12:48 2000.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2000.nc.var
-rw-rw-r--. 1 sserbin test    506200 Aug 17 12:48 2001.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2001.nc.var
-rw-rw-r--. 1 sserbin test    506200 Aug 17 12:48 2002.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2002.nc.var
-rw-rw-r--. 1 sserbin test    506200 Aug 17 12:48 2003.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2003.nc.var
-rw-rw-r--. 1 sserbin test    507576 Aug 17 12:48 2004.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2004.nc.var
-rwxrwxrwx. 1 apache  test        16 Aug 17 12:46 logfile.txt
-rwxrwxrwx. 1 root    test       673 Aug 17 12:46 README.txt
-rwxrwxrwx. 1 root    test   3523496 Aug 17 12:43 sipnet.out
-rwxrwxrwx. 1 apache  apache       0 Aug 17 12:37 stderr.log
-rwxrwxrwx. 1 apache  apache     119 Aug 17 12:37 stdout.log

@robkooper: alguma chance de você ter tido tempo de examinar os problemas do BD com o NARR?

Acho que isso pode ter sido corrigido com # 2039. Precisarei testar isso.

que ano você está selecionando?
um ano ou vários?

@robkooper acabou de tentar novamente e conseguiu:

prerun
Error: no climate data in sipnet.clim
mv: cannot stat `/data/Model_Output/pecan.output/PEcAn_2000001054/run/2000079623/sipnet.out': No such file or directory

Aqui está o diretório, que realmente parece melhor desta vez:

[sserbin<strong i="10">@modex</strong> run]$ cd 2000079623/
[sserbin<strong i="11">@modex</strong> 2000079623]$ ll
total 20
-rwxr-xr-x. 1 apache test 1767 Sep 14 08:09 job.sh
-rw-r--r--. 1 apache test  663 Sep 14 08:09 README.txt
lrwxrwxrwx. 1 apache test   67 Sep 14 08:10 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/sipnet.clim
-rw-r--r--. 1 apache test 2750 Sep 14 08:09 sipnet.in
-rw-r--r--. 1 apache test 2757 Sep 14 08:09 sipnet.param
-rw-r--r--. 1 apache test    1 Sep 14 08:09 sipnet.param-spatial

Mas nada no arquivo ??

[sserbin<strong i="15">@modex</strong> 2000079623]$ cd /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/
[sserbin<strong i="16">@modex</strong> BD-9ac83554512c]$ ll
total 0
-rw-r--r--. 1 apache test 0 Sep 14 08:08 sipnet.clim
[sserbin<strong i="17">@modex</strong> BD-9ac83554512c]$

Do workflow.log

> 
> # Do conversions
> settings <- PEcAn.utils::do_conversions(settings)
2018-09-14 08:06:24 DEBUG  [PEcAn.utils::do_conversions] : 
   do.conversion outdir /data/Model_Output/pecan.output/dbfiles 
2018-09-14 08:06:24 INFO   [PEcAn.utils::do_conversions] : PROCESSING:  met 
2018-09-14 08:06:24 INFO   [PEcAn.utils::do_conversions] : 
   calling met.process: 
2018-09-14 08:06:28 INFO   [browndog.met] : 
   browndog download url : 
   http://dap.ncsa.illinois.edu:8184/file/20285355_pecan.clim 
2018-09-14 08:08:29 WARN   [PEcAn.DB::db.close] : 
   Connection created outside of PEcAn.DB package 
2018-09-14 08:08:29 DEBUG  [PEcAn.utils::do_conversions] : 
   updated met path: 
   /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/sipnet.clim 
> 
> # Query the trait database for data and priors
> if (PEcAn.utils::status.check("TRAIT") == 0){
+   PEcAn.utils::status.start("TRAIT")
+   settings <- PEcAn.workflow::runModule.get.trait.data(settings)
+   PEcAn.settings::write.settings(settings, outputfile='pecan.TRAIT.xml')
+   PEcAn.utils::status.end()
+ } else if (file.exists(file.path(settings$outdir, 'pecan.TRAIT.xml'))) {
+   settings <- PEcAn.settings::read.settings(file.path(settings$outdir, 'pecan.TRAIT.xml'))
+ }
2018-09-14 08:08:31 INFO   [query.trait.data] : 
   --------------------------------------------------------- 

Aqui estão minhas informações de corrida

  <run>
    <site>
      <id>1000025731</id>
      <met.start>1990/01/01</met.start>
      <met.end>1991/12/31</met.end>
    </site>
    <inputs>
      <met>
        <source>NARR</source>
        <output>SIPNET</output>
      </met>
    </inputs>
    <start.date>1990/01/01</start.date>
    <end.date>1991/12/31</end.date>
  </run>

Eu acredito que isso foi corrigido no branch de desenvolvimento, mas ainda não foi implantado. Vou trabalhar com @ yan130 para testar e ver se funciona no servidor de desenvolvimento com aquele arquivo específico.

@robkooper OK, obrigado. Estou usando desenvolver branch para essas execuções, mas ainda não enviou as alterações para um branch local?

não temos o branch de desenvolvimento implantado aqui. esta instância particular está seguindo o branch master. Eu esperava implantar o novo lançamento lá. Vou verificar com @tonygardella quando o novo lançamento acontecerá.

@robkooper Não tenho certeza se entendi ... Eu também não tenho certeza de em que lado esse bug está. Presumo que iremos garantir que funcione tanto para master quanto para dev.

Ainda temos alguma correção para isso? @ para2x em algum ponto do seu SDA multi-site, acho que vamos querer rodar com drivers NARR em todos os sites, ou pelo menos esse era o plano original. Mas estávamos esperando por uma solução.

Ressalto. Alguém mais conseguiu usar BrownDog NARR com sipnet recentemente? Em caso afirmativo, diga-me, talvez tenha sido resolvido e esteja funcionando novamente ... não está claro.

Se houver problemas com o BrownDog NARR, eu usaria o NARR_site baseado em THREDDS nesse ínterim

@robkooper Eu testo esse caso no prod e o erro é um link de ftp errado:

<input> <type>NARR</type> <site>US-SSH</site> <lat>40.6658</lat> <lon>-77.9041</lon> <start_date>1990-01-01 00:00:00</start_date> <end_date>1991-12-31 23:59:59</end_date> </input>

remotefunc <- function () {PEcAn.data.atmosphere :: download.NARR (site_id = '1135', lat.in = 40.6658, lon.in = -77.9041, model = NULL, scenery = NULL, ensemble_member = NULL, substituir = FALSE, outfolder = '/ home / polyglot / cache / PEcAn / NARR_site_1-25731 /', start_date = '1990-01-01', end_date = '2014-12-31')}
remoteout <- remotefunc ()

Anexando pacote: 'PEcAn.utils'

O seguinte objeto é mascarado de ' pacote: utils ':
⇬ Fazer download do arquivo

23/01/2019 11:18:33 DEBUG [PEcAn.data.atmosphere :: download.NARR]:
Arquivo '/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2014.nc'
já existe, pulando para o próximo arquivo.
23/01/2019 11:18:33 DEBUG [PEcAn.data.atmosphere :: download.NARR]:
Arquivo '/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2013.nc'
já existe, pulando para o próximo arquivo.
23/01/2019 11:18:33 DEBUG [PEcAn.data.atmosphere :: download.NARR]:
Baixando de:
ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc para:
/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2012.nc
tentando URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc'
Erro em utils :: download.file (url, nome do arquivo, método):
não é possível abrir o URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc'
Chamadas: remotefunc ->->->
Além disso: mensagem de aviso:
Em utils :: download.file (url, nome do arquivo, método):
URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc': o status era 'Não foi possível conectar ao servidor'
Execução interrompida
[1] 1
23/01/2019 11:20:41 INFO [PEcAn.utils :: convert.input]:
RESULTADOS: Convert.Input
23/01/2019 11:20:41 INFO [PEcAn.utils :: convert.input]: 1
23/01/2019 11:20:41 INFO [PEcAn.utils :: convert.input]:
Erro no arquivo! = "":comparação (2) é possível apenas para tipos atômicos e de lista
Chamadas: met.process ... .download.raw.met.module ->-> subconjunto -> subset.default
23/01/2019 11:20:41 WARN [db.close]:
Conexão criada fora do pacote PEcAn.DB
Execução interrompida

PS: Não sei por que baixei de 2014, acabei de definir o início em 1990 e o final em 1991.

Bem-vindo ao fechamento do governo, talvez?

@ yan130 Acabei de testar aquele link de FTP e parece estar de volta

Acabei de executar isso e parece estar puxando dados

remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, 
                                                               ensemble_member=NULL, overwrite=FALSE, outfolder='~/scratch', 
                                                               start_date='1990-01-01', end_date='2014-12-31')}
remoteout <- remotefunc()

@serbinsh Estou executando, leva algum tempo (talvez um dia), irei atualizá-lo quando terminar ou obtenho um erro.

Obrigado @ yan130 Você está testando o código NARR básico ou a versão BrownDog?

Eu preciso executar o código NARR básico no servidor BrownDog primeiro.
quando o que eu executo terminar, você poderá executar a versão BrownDog em sua máquina.

Ah, ok, isso faz sentido. obrigada!

Estranho, atualizei a noz-pecã para o desenvolvimento mais recente e agora recebo este erro:

> remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, ensemble_member=NULL, method=NULL, overwrite=FALSE, outfolder='/data/Model_Output/pecan.output/dbfiles/NARR_site_1135/', start_date='1990-01-01', end_date='2014-12-31')}

> remoteout <- remotefunc()

2019-01-28 15:10:40 DEBUG  [#1: PEcAn.data.atmosphere::download.NARR] :
   Downloading from:
   ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2014.nc to:
   /data/Model_Output/pecan.output/dbfiles/NARR_site_1135//pres.sfc.2014.nc
Error in if (method == "ncftpget") { : argument is of length zero
> traceback()
3: PEcAn.utils::download.file(url, new.file, method)
2: PEcAn.data.atmosphere::download.NARR(site_id = "1135", lat.in = 40.6658,
       lon.in = -77.9041, model = NULL, scenario = NULL, ensemble_member = NULL,
       method = NULL, overwrite = FALSE, outfolder = "/data/Model_Output/pecan.output/dbfiles/NARR_site_1135/",
       start_date = "1990-01-01", end_date = "2014-12-31") at #1
1: remotefunc()

No entanto, o comando semelhante acima ainda está funcionando, é preciso descobrir por que há uma diferença agora

Aha, o problema com o comando mais recente em PEcAn é que ele define "método" como NULL por padrão, o que me causa um erro. Mas se eu executar como:

remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, ensemble_member=NULL, overwrite=FALSE, 
                                                               outfolder='~/scratch', start_date='1990-01-01', end_date='1990-02-01')}
remoteout <- remotefunc()

funciona bem.

Não consigo encontrar aqui: https://github.com/PecanProject/pecan/blob/develop/modules/data.atmosphere/R/download.NARR.R

OU aqui: https://github.com/PecanProject/pecan/blob/develop/modules/data.atmosphere/R/download.NARR_site.R

onde "método" está sendo definido como NULL por padrão? Também não está acontecendo aqui, pelo que eu posso dizer? https://github.com/PecanProject/pecan/blob/develop/web/03a-narr.php . Mas esse "método = NULL" está quebrando o NARR para mim no modex porque isso precisa ser obtido de nosso perfil R.

log de erro atual:

Iniciar conversão de modelo específico
[1] "Converter para o formato do modelo"
Nenhum geonamesUsername definido. Consulte http://geonames.wordpress.com/2010/03/16/ddos-part-ii/ e defina um com opções (geonamesUsername = "foo") para que alguns serviços funcionem
Erro no url (url, open = "r"):
não é possível abrir a conexão com 'http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya'
Chamadas: met.process ... site.lst -> GNtimezone -> as.data.frame -> getJson -> url
Além disso: mensagem de aviso:
Em url (url, open = "r"):
URL ' http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya ': o status era 'Não foi possível resolver o nome do host'
31/01/2019 15:28:05 WARN [db.close]:
Conexão criada fora do pacote PEcAn.DB
Execução interrompida

@ yan130 Recebo esta mensagem de erro do meu lado:

`` `> # Faça conversões

settings <- PEcAn.workflow :: do_conversions (settings)
01/02/2019 08:33:22 DEBUG [PEcAn.workflow :: do_conversions]:
do.conversion outdir /data/Model_Output/pecan.output/dbfiles
01/02/2019 08:33:22 INFO [PEcAn.workflow :: do_conversions]: PROCESSING: met
01/02/2019 08:33:22 INFO [PEcAn.workflow :: do_conversions]:
chamando met.process:
01/02/2019 08:33:25 INFO [browndog.met]:
URL de download do browndog:
http://dap.ncsa.illinois.edu : 8184 / file / 20318176_pecan.clim
Erro no nome de base (arquivo baixado): um argumento de vetor de caractere esperado
Ligações:->-> browndog.met -> nome de base
proc.time ()
sistema do usuário decorrido
11.513 1.215 662.677
`` `.

talvez seu trabalho para derrubar todo o NARR tenha falhado? Esse erro veio após uma longa espera, então presumo que ele estava trabalhando na extração e falhou na transferência. @robkooper , vocês têm logs que podem esclarecer esse problema?

log de erro atual:

Iniciar conversão de modelo específico
[1] "Converter para o formato do modelo"
Nenhum geonamesUsername definido. Consulte http://geonames.wordpress.com/2010/03/16/ddos-part-ii/ e defina um com opções (geonamesUsername = "foo") para que alguns serviços funcionem
Erro no url (url, open = "r"):
não é possível abrir a conexão com 'http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya'
Chamadas: met.process ... site.lst -> GNtimezone -> as.data.frame -> getJson -> url
Além disso: mensagem de aviso:
Em url (url, open = "r"):
URL ' http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya ': o status era 'Não foi possível resolver o nome do host'
31/01/2019 15:28:05 WARN [db.close]:
Conexão criada fora do pacote PEcAn.DB
Execução interrompida

isso pode ser corrigido adicionando um novo URL de api:
opções (geonamesHost = "api.geonames.org")

para todos os geonames :: chamadas GNtimezone.

@robkooper
Posso adicionar esta linha a PEcAn_convert.R em browndog,
ou modules / data.atmosphere / R / site.lst.R no pecanproject.
de que maneira você prefere?

@serbinsh deve estar funcionando agora, por favor, deixe um comentário se você ainda tiver problemas.

Verifique qual versão dos geonames está instalada. Isso pode ser corrigido em uma atualização.

o mais recente, sem atualização desde 2014.
https://cran.r-project.org/web/packages/geonames/index.html

Você pode tentar Rscript -e "devtools::install_github('ropensci/geonames')" e ver se isso resolve o problema. Isso é o que é usado atualmente no PEcAn.

não está funcionando. não encontrou o nome do host no código-fonte de 'ropensci / geonames'

Apenas acompanhando isso, algum progresso em fazer com que o processo NARR seja executado novamente via BD?

Acabei de tentar novamente este AM e descobri que ele cria um arquivo sipnet.clim, MAS está vazio

Este problema está desatualizado porque esteve aberto 365 dias sem atividades.

Esta página foi útil?
0 / 5 - 0 avaliações

Questões relacionadas

tonygardella picture tonygardella  ·  11Comentários

ashiklom picture ashiklom  ·  4Comentários

para2x picture para2x  ·  5Comentários

ashiklom picture ashiklom  ·  7Comentários

ashiklom picture ashiklom  ·  9Comentários