Descreva o bug
relacionado a # 2047
Estou tentando gerar drivers NARR para sipnet em dois sites diferentes e estou tendo um problema em que a saída do comando BD é um arquivo vazio ou algo confuso. Por exemplo:
PK^C^D^T^@^B^@^H^@EU^QM æµ3)Â^G^@uù^S^@^_^@^@^@NARR.2002-01-01.2004-12-31.clim<8c><9d>W<96>39<96>¤<9f>9{)^^h±ÿ<8d><8d>}^F<92>^N^G<83>ù÷<88>îªÌ<88> è^N\\a"<R^Hé^Q^_á^Q<9e>1ÕÇÿús<86>YÒ<9c>9¶^RÚã^?éYJ<8e>uÎ<96>ci1ùGC^H#<94>ÖR^O¥´Þ{~ÄÐø^K©Ï^Z©í¡ÿôÔ_^_#<8e><9a>r}¤^\<9f><8e>YF CÿãQ<9f>9<8e><94>CÏú´Ôµ<88>gû^?á½¢ü^Ñ|æ<94>¦Ö^Põg<8a>þ<90><96><94>õ!±gý¥<92>*«ÿ<9f>ÖTb<8a>c<94>^^rË-öG¯Ï¨^_¬eÖ<99>û<88><8f>4ôOô<9f>ËHC<9f>8^^)õgÕW+=<85>^TfÓ<92>Zèe<86><94>Û졵û<92>Ú{I1<k<8e>iè^AÄ ¿í%åYZ®9è/ègÖ<92>R)Akh5¦©§ð¨Z<80><9e>ML9<87>^XSzè<8b>=G^^úÅ^VJMSK
zjC_%éñO<9e>R^HZqÔWo5§cI󳤨^U4}±^VõÍô<9a>´$½<9d>^Ysä¯M¾Ë<9f>KÊõ9k<9e>5ÄÔõ<90>µ"½<97><92>J.³<84>ÜõÞ<92>¶<80>¾V×Od=^ZVÔõ7k͹ë«^\+b<87>¼<96>¤ß^K¡·4õhô¼XRÔ^GéËè<81>^OÞxK#ÏñL¹gm§1ØZÚ^[=ö9zͼáG<9c>Ï<9e><8a><9e>´Þ<99>¶Wyä<90>õ^AÚ9þ^_¥<RìϦo¨^G¦Í¦<9f>(Oýਲ਼v=^Q½<95>c<85>õ½Â¡^Eòꣶcîex<85>Ú^G¥F½Cm<95>þ<88>M<9b>¤<96>g<8f>qF^NÄ<9f><9b>¿õg^Ni^Dý<8e>þLÍ<8f>Ôx¬¼6-2ê0Ô®o¡%¥ÖºöÖ£éÏô<9a>Æè¹²îc<89>ã½Äª<9d>6rkmN=^A}<94><96>^Xª6FÓ<9f>LAK}D<96>><8f>%ê§s^^]O%jké/<86>ù^\S?ßÓ<8c>½j£åð,ê<97>ôV»_{¨#^Gý^N^[Y^KÔË×rbg+<8c>ãt¦ø^`ÑÁ^[C;FßN^_åõéák^W<86>^X´<87>â£<8e>¡ØP^T^V8+<|ýQ=Ö¨<9f>ÑO<96>¢?<98>µ[ÙtyhO^F-'Ôg×óÕ©<9a>zÞí¡?§<83>¢½¬7Î<9e>yðïËhAÏT¡*§}}é<8a>gõ©w¥è<92>§<9e>×ð^^Ôºô7§^^<99>>a¼âÙù¼ÚP¨¨)Õ²<86><9e>²öiã^Oi§ö>XÑxö@d"\ÔJðP L
(yê(Öû<8a>>ñL<8f>BÏ+vír<9e><87>Þh|Î>µsBÔ£×¹ø^Ubµ<87>´»9Q£êqê-è¥ö®= =<9c><92>þ<81>^Bês<94>HP^\úç:^Hzê<8a>^B-kÍqäû<92>Úu^N´î<96>´íc_<9b>LKâÏäÖ^Uô2_Á<83>{ µ®_RôÐ[Ò/êiêÿè ^VþAjú|-Y¯D[gú¬j{iw)Rêß<<88>Éz<80><83>h<9d><8f>m<95>®p¦ ¯Ð¥g^]ôÒ^R'3><87>Þ<98>¾vÐÛÖ+]^OI_²q<83><94>©^]ÃÎT@×^[k<9d>gÂ^WÖï><89>^DSK^LÚ©ZsæGØ5<8a>^[ë^YÍZ<8b><9e>¾^JÎuÜW´<85>3^E}}«1Fã!U/<89>ãL@^K<8a>üMa *®>õ<82>Úä<82>`<85>©^E^]*=<9f>¡^?<94>ØGº^Eµ^W31¾èÉê^Hèaëqש^@¢ <98>ª<82><83>¾T<8b>QGO¡¡( k7èN<8a>z!áx<8b>W8kO<85>;^]ºâP±^^Z'¶·^X^TEô¿ô<82>¦<9e>ý'âο^BîhO]#<ì»Jÿ@·úSqMïµk?f-yèÖÒ<81>R4<89>5ÎÄ>KMA<80>ó©¿s>ÃO4ËOös]/uεB]<±)6(úÌ©<80>«<8f>ÌÛ
ÿº´bÑÆ^O-Ný-ö«<82> <97>Rm<84>Bö<81>Î<97>V¨¼¢7<9e>><87><93><93>JxStÊ©ÜWx<85>³DØÖ^]µ®¬ä£ÀÝ2µF}´ö¸6s^H^?¾Ù^R<9f>\Ò<93>7©ÿ ïm¬<8c>D^OS[¤wݵºÜuíWÝæ£^N?· OÒ<83>Õ߯㶪¼^G±>µ|<9f>Lf½Ø¦<9b>^k*½VVõw
T§n¸DJ^P«<8f><9f>^B<85>².Å?^]^O^E)-)ëb<9a>^D$^]-<9d><8d><87>^<91>^V¤^Gª^KT¿<92>ïKÚ¢^XÁR7<84>^VÖ^!C¯G;X·<9e>BFx<87>^LÝr<83><87>©x«ÃÓu^UêÀé¥èí)CTpåO?'^_GR7^Tµ´Û<9f>:×üY.8^N<80>²2ý%Pÿ!Æû<9a>¶0¦[R?^T×eé^SªÏÔ¡<9a>z^M<9c>õ^_<81>µé^Q(^^s^R<94>ôq7jÃ+bNíR}Ë¡í¤%ê©dý%¥>Zó3ë¯V<9d>+^Eί§´<85>±NÄ,+<99>^»©rÜôع<97>Þa¬<92>sèJÔgµ<9e><89>Iµ²ß¢þ».<84>ìüaê!é<92>t¼×^QÔ?Ð+ÐIU~«k,é;^T®Zí,ÂÏ}E·0<96>µoøZ+<86>é;ëÿp<90>µkÊC^AM<9f>ðI&^\Ã<94>d^QEtykóêvÖáÒç+Àª Ð^®^MÊ<8a>Ϻ<87>^F»H{N_To^?¡í<9b>H^GX'º^P#ïùNÞbX^?êQµ®#å(á^E^F®T}U<82>K$qÑÍ}EÙ¿<8e>¢<82>pÖÏé^RR¬ÿ¤MGÖÊ^M¢0ª^_׍^Dg<90>þ´¦ï6}^M8ë×^]¬ÿ}.pì^ABëЯ<96>ô¾+µ^W^HÐ3(<91>×ÓÐ<9b>ÓÍòIyÆ<8f>^P<96> ½º^C¦^^<88>~(^E^EUe<90>º<85>ºÂ¸<96>¨«KW<99>ò5ý!<9d>rmÓ¤h®ï<98>ã$g»p^Oaü8©Ûü<84>0½AÝ~E^ASgs>ÚTùqÝSÎÉ´0e-:?<81>@§o¡<83>^Z<89>ê*"¦<9e>£ÞúжìÃiRâ<9c>ªÂJìl¹^Re^EYý¢.^MmD}J»íÁr<85>3]o
[I^[CiòëTdrA^UT<98>x<9d>
Å#<97>j*<ôhçCÑ<93><8b>\¹<84>Þ<99>³Ä¨È<98>)%´^DÊ5¥pºat<92>õ§«"±^^<99>®-½o-H'<^_+Ê×®ë<^^=䶪ިëB<9b>mP ët<96>^_Y¢^^<91><8e><8f>â^[{Jé¯6§*^A]¦<93>¼Z©ª3²>^Uº2oVµ*w»ò^E-Y;@Aú¾¢-<96>éùu6<86>3\<9f>T%L<91><9b>Eç@+ùQÏQ^KéV^H:5ä·Z<92>N³By#ãÑ¥£<9d>2<95>^Aõ^Züg´<9d>\<8b>^Lm}Q¿<94><8f>%mÁL5÷q^K©:¨Jb<94>p^VöÕ<9f>÷¢~O^W.iIä+áÑ^_T<86>¨ÿ¦ª²RrêöÎüKŤá}ÄÓS,Q¼Ó_è÷^EÝbYà^Oé\7<95>pÅ+
\<88>ú<93>UGT^[ Ô½6ú3<9c><91>¢^FjG<85>f¥<8a>ä<88>ª<8d><88>[<8a>ÈzûÉI£^N¢<82>Ç'×<8f>JÏ<94> éØèk<94>c<85>[J¦Å)Æ<94>+<9c>±`ý^?-Oq<98>ÒGWc:ò<9d>#ÏVþ5;5úäg<94>7hg)^B«dÐ<93>ϬXÇÇÕ<9c>Þ Þªo4mÕ®ïà¯u¼Ò+<9a>)µlÊ^Ztb<9c>úW><9d>k¥<90>µ<90>^Më~¦<86>Õ=ô<8f>p¦K\§·^Rþ«®!<97>^Bºf^T%õ^CÊ©^TÎèHh<9b>i_420^U^Oú_:ãú®Ú¯Ç[¾¥dôYh^QQ§¯5*Yà¿ëS<88>O^O}Óë^Y<8e>UdþÑ£jZ<82><82>³^^¯b!<99>2^M}¼Þ£¶½ò]^Uu<93><92>FϹS)×Gw²Â<8b>W&^Qãí¢¯WH#^AVþ^WWó¥ø^YÑFS$ª´QâúÙï<9b><94>Ä<95>ÇA9^P¨^F<9a>>`êñò»´Hôõ<94>^LåZ8^\ªÉ´¢Nq]¦^^¥^oº¯(o9£¢ä^A<91>ei·^QEjT^NñJ<87>è<84>)^]Ôëä3^ZU¦ÞIhzùú)¢lö<9e> `<9d>$<98>ÎÏzrñêdAKÒþÐÿSH^_:ä徤v-I5¿²Üò<89>ûªé;í2ý<8e>ª<8f>Xúß<81>_·=W<9e>jj<85><96>HÇG¯IÿQפv<93>jp-)Ó^OÐó¥^DgûGª^YmHíÿy_ϼ֣T±ëtT%áD}Z^L\<94><89>¿ÓéfüYöêj§ÍÖɱuÛp^\u<97>ë^AéÊQ ^],Gµ¡²)z}Z<9f>Ö£TR<81>@ÑBù]÷^E]^Aòn^UT^T<8d>ÝÉÑ<87>ë²!(ëkè^_ë¤+ºÝîî¿<93>ìJ[<91>tºê^M^EnªÌï<8c>B³IÉ<89>V¨-«<9d>¡t<97>,F<97>ëSáEïEi ^E=<9e>Ù^UÑt^Z<89>ì<93>&iqûBk¬EW<9c>vö <81>ÄÙ¥êÜR´¿"<86><9e>¢^N<96>j^@Ý&ºt)d³Î<8c>¢¶<9e>6{ÿ¡âàÉ<87>èæ.:<91><99><8e>1^CRc°·c<8d><9f>¨^Vh{^L2<8a>Ê<8b>^M~HÚ¬I!R[Bé<9a>2<strong i="9">@½</strong> <9d><86>^?uö8 ô<9d>*<8f><86>M¢s«06tû^W<9a>}^O½b}O=f<85>^N½%¯QÕ¶²8<9d>^?mâû^Z¯¨Æ1ç{SÒë^Mèë®5ê<8f>Òx%<90>*úPÇü;¬Åô^\:<80><99>
<9c>BTû<83>¬a^NíG<95>^G^OýÜJ'<8a><8a>C²ßÊîT<8c>!^Aå<89>ï<8b>lWT#OP<92>¬^RãÕ<ó
<95>Èh^Oë5ä^þ._T÷<92>^Oºñ ^@=Ü<ëüuÕ'Õ}!Ý°<89>N<9f>b!ûîáÎ<80>â0Õ<8c><9e>n¾¯(_+REF×'ê^EÔu@TG<92>îhW<87>ò^Y^F^\GV)ÏÐ^Ta¡C¨^G§^U<91>&gEQ=^R<9a>u<99>^RFI<9f>6¬^N<8c>n^Y^]iå<9a>Q¯AA(<86>v_QÛ²mRòWwsÅY<9d>©Jº<90>I"[ý=2QÐRøÕæ<99><8e><87>Ú^GOî8î^Q<82>ýC^U<93><9e><9b>j*½*®9^]>½?^Z[Iïm¦û<9a>æõ<94>^H×Ê|3^UÓ
Este é um arquivo de exemplo do WF https://modex.bnl.gov/pecan_dev/05-running.php?workflowid=2000000991 onde eu estava executando no site da AF Susquehanna Shale Hills Critical Zone Observatory (US-SSH)
Reproduzir
Passos para reproduzir o comportamento:
Comportamento esperado
O driver NARR apropriado é criado e o conjunto de modelos é executado com sucesso
Capturas de tela
Nenhum
Máquina (por favor, preencha as seguintes informações):
Contexto adicional
Nenhum
Curiosamente, o driver criado aparece como uma opção se você voltar para a mesma combinação local / modelo
Além disso, não tenho certeza se isso é o que deveria acontecer, mas uma pasta sipnet.clim foi criada no nível superior da pasta de fluxo de trabalho de noz-pecã, conforme mostrado aqui:
[sserbin<strong i="6">@modex</strong> PEcAn_2000000991]$ ll
total 932
-rw-r--r--. 1 apache test 100 Aug 17 11:44 ensemble.output.2000001031.NPP.2002.2004.Rdata
-rw-r--r--. 1 apache test 785 Aug 17 11:43 ensemble.samples.2000001031.Rdata
drwxr-sr-x. 3 apache test 31 Aug 17 11:43 out
-rw-r--r--. 1 apache test 2957 Aug 17 11:41 pecan.CHECKED.xml
-rw-r--r--. 1 apache test 3195 Aug 17 11:43 pecan.CONFIGS.xml
-rw-r--r--. 1 apache test 3114 Aug 17 11:42 pecan.METProcess.xml
-rw-r--r--. 1 apache test 3155 Aug 17 11:42 pecan.TRAIT.xml
-rw-rw-r--. 1 apache test 2151 Aug 17 11:41 pecan.xml
drwxr-sr-x. 3 apache test 51 Aug 17 11:41 pft
drwxr-sr-x. 3 apache test 50 Aug 17 11:43 run
-rw-r--r--. 1 apache test 871702 Aug 17 11:43 samples.Rdata
drwxr-sr-x. 2 apache test 10 Aug 17 11:41 sipnet.clim
-rw-r--r--. 1 apache test 371 Aug 17 11:44 STATUS
-rw-rw-r--. 1 apache test 6320 Aug 17 11:41 workflow.R
-rw-r--r--. 1 apache test 39635 Aug 17 11:44 workflow.Rout
Mas a pasta esta vazia
Esta é a aparência de uma pasta de execução:
[sserbin<strong i="6">@modex</strong> 2000075070]$ ll
total 20
-rwxr-xr-x. 1 apache test 1767 Aug 17 11:43 job.sh
-rw-r--r--. 1 apache test 664 Aug 17 11:43 README.txt
lrwxrwxrwx. 1 apache test 67 Aug 17 11:43 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-10704043b8b7/sipnet.clim
-rw-r--r--. 1 apache test 2750 Aug 17 11:43 sipnet.in
-rw-r--r--. 1 apache test 2767 Aug 17 11:43 sipnet.param
-rw-r--r--. 1 apache test 1 Aug 17 11:43 sipnet.param-spatial
Com base em um comentário de @robkooper no Slack, parece que o arquivo retornado é um arquivo .zip sem a extensão correta. Se eu renomear o arquivo, posso extrair com êxito o arquivo de dados, que é um arquivo sipnet.clim formatado corretamente.
[sserbin<strong i="7">@modex</strong> BD-10704043b8b7]$ sudo mv sipnet.clim sipnet.clim.zip
[sudo] password for sserbin:
[sserbin<strong i="8">@modex</strong> BD-10704043b8b7]$ ll
total 500
-rw-r--r--. 1 apache test 508617 Aug 17 11:42 sipnet.clim.zip
[sserbin<strong i="9">@modex</strong> BD-10704043b8b7]$ sudo unzip sipnet.clim.zip
Archive: sipnet.clim.zip
inflating: NARR.2002-01-01.2004-12-31.clim
[sserbin<strong i="10">@modex</strong> BD-10704043b8b7]$ ll
total 1780
-rw-r--r--. 1 root test 1309045 Aug 17 10:42 NARR.2002-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 508617 Aug 17 11:42 sipnet.clim.zip
0 2002 1 0 0.125 -7.9094299316406 -2.44315996314612 0 0.000804662704467773 106.125279746456 279.20088185235 231.658948408484 5.31823073993271 0.6
0 2002 1 3 0.125 -9.32294311523435 -2.39741738404251 0 -0.0412188470363617 75.1397549593781 285.159348289328 227.559947202096 5.60749023697066 0.6
0 2002 1 6 0.125 -10.5312866210937 -2.33946353060725 0 -0.0244013965129852 55.1456123301122 294.838635604529 220.208121240694 5.00348134365326 0.6
0 2002 1 9 0.125 -11.3368286132812 -2.27091310812966 0 -0.0244013965129852 35.953950127431 295.342434940375 222.430670123902 5.07081553376126 0.6
0 2002 1 12 0.125 -12.4007629394531 -2.19504814728271 628398.237304688 0.0848717987537384 19.7246218935274 303.128231282344 217.696640681874 4.52785957682463 0.6
0 2002 1 15 0.125 -8.40720214843748 -2.10964517251597 1622754.71191406 0.000804662704467773 67.3028051574853 265.95481312816 257.728592667697 6.00752887354068 0.6
0 2002 1 18 0.125 -5.53836669921873 -2.05694625720645 1374894.71191406 0.00921338796615601 109.890647291759 230.4657112397 295.058308799463 6.37520017434981 0.6
0 2002 1 21 0.125 -4.0488342285156 -2.02781320104941 58806.474609375 0.0176221132278442 132.242433885207 205.770433990006 320.831082348398 5.77486085931632 0.6
0 2002 2 0 0.125 -5.8043273925781 -2.01090098947708 0 0.00921338796615601 68.1552254424385 198.632733047786 328.702943023655 5.63152559393685 0.6
0 2002 2 3 0.125 -6.48831787109373 -1.97915701994827 0 0.000804662704467773 57.8740762854741 209.776452022241 318.84142518764 4.74670963477183 0.6 ...
Execute-o novamente e veja que agora existem dois arquivos BD clim diferentes no arquivo .zip com nome incorreto
[sserbin<strong i="6">@modex</strong> BD-650a29c32afa]$ ll
total 3556
-rw-r--r--. 1 root test 2191869 Aug 17 11:37 NARR.2000-01-01.2004-12-31.clim
-rw-r--r--. 1 root test 439523 Aug 17 09:57 NARR.2004-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 1003128 Aug 17 12:37 sipnet.clim.zip
Outro problema é que o link sym usado em job.sh não corresponde aos nomes dos arquivos:
[sserbin<strong i="10">@modex</strong> 2000075302]$ ll
total 20
-rwxr-xr-x. 1 apache test 1768 Aug 17 12:37 job.sh
-rw-r--r--. 1 apache test 673 Aug 17 12:37 README.txt
lrwxrwxrwx. 1 apache test 67 Aug 17 12:37 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/sipnet.clim
-rw-r--r--. 1 apache test 2750 Aug 17 12:37 sipnet.in
-rw-r--r--. 1 apache test 2771 Aug 17 12:37 sipnet.param
-rw-r--r--. 1 apache test 1 Aug 17 12:37 sipnet.param-spatial
# see if application needs running
if [ ! -e "/data/Model_Output/pecan.output/PEcAn_2000000994/out/2000075302/sipnet.out" ]; then
cd "/data/Model_Output/pecan.output/PEcAn_2000000994/run/2000075302"
ln -s "/data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/sipnet.clim" sipnet.clim
...
Uma verificação rápida do que acho que deve ser a forma como está configurado:
[sserbin<strong i="6">@modex</strong> 2000075302]$ sudo ln -s /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/NARR.2000-01-01.2004-12-31.clim sipnet.clim
[sserbin<strong i="7">@modex</strong> 2000075302]$ ll
total 20
-rwxr-xr-x. 1 apache test 1768 Aug 17 12:37 job.sh
-rw-r--r--. 1 apache test 673 Aug 17 12:37 README.txt
lrwxrwxrwx. 1 root test 87 Aug 17 12:42 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/NARR.2000-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 2750 Aug 17 12:37 sipnet.in
-rw-r--r--. 1 apache test 2771 Aug 17 12:37 sipnet.param
-rw-r--r--. 1 apache test 1 Aug 17 12:37 sipnet.param-spatial
[sserbin<strong i="8">@modex</strong> 2000075302]$ sudo ./job.sh
[sserbin<strong i="9">@modex</strong> out]$ cd 2000075302
[sserbin<strong i="10">@modex</strong> 2000075302]$ ll
total 3456
-rw-r--r--. 1 apache test 1293 Aug 17 12:43 logfile.txt
-rw-r--r--. 1 root test 673 Aug 17 12:43 README.txt
-rw-r--r--. 1 root test 3523496 Aug 17 12:43 sipnet.out
-rw-------. 1 apache apache 0 Aug 17 12:37 stderr.log
-rw-------. 1 apache apache 119 Aug 17 12:37 stdout.log
[sserbin<strong i="11">@modex</strong> 2000075302]$ ll
total 5956
-rw-rw-r--. 1 sserbin test 507576 Aug 17 12:48 2000.nc
-rw-rw-r--. 1 sserbin test 743 Aug 17 12:48 2000.nc.var
-rw-rw-r--. 1 sserbin test 506200 Aug 17 12:48 2001.nc
-rw-rw-r--. 1 sserbin test 743 Aug 17 12:48 2001.nc.var
-rw-rw-r--. 1 sserbin test 506200 Aug 17 12:48 2002.nc
-rw-rw-r--. 1 sserbin test 743 Aug 17 12:48 2002.nc.var
-rw-rw-r--. 1 sserbin test 506200 Aug 17 12:48 2003.nc
-rw-rw-r--. 1 sserbin test 743 Aug 17 12:48 2003.nc.var
-rw-rw-r--. 1 sserbin test 507576 Aug 17 12:48 2004.nc
-rw-rw-r--. 1 sserbin test 743 Aug 17 12:48 2004.nc.var
-rwxrwxrwx. 1 apache test 16 Aug 17 12:46 logfile.txt
-rwxrwxrwx. 1 root test 673 Aug 17 12:46 README.txt
-rwxrwxrwx. 1 root test 3523496 Aug 17 12:43 sipnet.out
-rwxrwxrwx. 1 apache apache 0 Aug 17 12:37 stderr.log
-rwxrwxrwx. 1 apache apache 119 Aug 17 12:37 stdout.log
@robkooper: alguma chance de você ter tido tempo de examinar os problemas do BD com o NARR?
Acho que isso pode ter sido corrigido com # 2039. Precisarei testar isso.
que ano você está selecionando?
um ano ou vários?
@robkooper acabou de tentar novamente e conseguiu:
prerun
Error: no climate data in sipnet.clim
mv: cannot stat `/data/Model_Output/pecan.output/PEcAn_2000001054/run/2000079623/sipnet.out': No such file or directory
Aqui está o diretório, que realmente parece melhor desta vez:
[sserbin<strong i="10">@modex</strong> run]$ cd 2000079623/
[sserbin<strong i="11">@modex</strong> 2000079623]$ ll
total 20
-rwxr-xr-x. 1 apache test 1767 Sep 14 08:09 job.sh
-rw-r--r--. 1 apache test 663 Sep 14 08:09 README.txt
lrwxrwxrwx. 1 apache test 67 Sep 14 08:10 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/sipnet.clim
-rw-r--r--. 1 apache test 2750 Sep 14 08:09 sipnet.in
-rw-r--r--. 1 apache test 2757 Sep 14 08:09 sipnet.param
-rw-r--r--. 1 apache test 1 Sep 14 08:09 sipnet.param-spatial
Mas nada no arquivo ??
[sserbin<strong i="15">@modex</strong> 2000079623]$ cd /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/
[sserbin<strong i="16">@modex</strong> BD-9ac83554512c]$ ll
total 0
-rw-r--r--. 1 apache test 0 Sep 14 08:08 sipnet.clim
[sserbin<strong i="17">@modex</strong> BD-9ac83554512c]$
Do workflow.log
>
> # Do conversions
> settings <- PEcAn.utils::do_conversions(settings)
2018-09-14 08:06:24 DEBUG [PEcAn.utils::do_conversions] :
do.conversion outdir /data/Model_Output/pecan.output/dbfiles
2018-09-14 08:06:24 INFO [PEcAn.utils::do_conversions] : PROCESSING: met
2018-09-14 08:06:24 INFO [PEcAn.utils::do_conversions] :
calling met.process:
2018-09-14 08:06:28 INFO [browndog.met] :
browndog download url :
http://dap.ncsa.illinois.edu:8184/file/20285355_pecan.clim
2018-09-14 08:08:29 WARN [PEcAn.DB::db.close] :
Connection created outside of PEcAn.DB package
2018-09-14 08:08:29 DEBUG [PEcAn.utils::do_conversions] :
updated met path:
/data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/sipnet.clim
>
> # Query the trait database for data and priors
> if (PEcAn.utils::status.check("TRAIT") == 0){
+ PEcAn.utils::status.start("TRAIT")
+ settings <- PEcAn.workflow::runModule.get.trait.data(settings)
+ PEcAn.settings::write.settings(settings, outputfile='pecan.TRAIT.xml')
+ PEcAn.utils::status.end()
+ } else if (file.exists(file.path(settings$outdir, 'pecan.TRAIT.xml'))) {
+ settings <- PEcAn.settings::read.settings(file.path(settings$outdir, 'pecan.TRAIT.xml'))
+ }
2018-09-14 08:08:31 INFO [query.trait.data] :
---------------------------------------------------------
Aqui estão minhas informações de corrida
<run>
<site>
<id>1000025731</id>
<met.start>1990/01/01</met.start>
<met.end>1991/12/31</met.end>
</site>
<inputs>
<met>
<source>NARR</source>
<output>SIPNET</output>
</met>
</inputs>
<start.date>1990/01/01</start.date>
<end.date>1991/12/31</end.date>
</run>
Eu acredito que isso foi corrigido no branch de desenvolvimento, mas ainda não foi implantado. Vou trabalhar com @ yan130 para testar e ver se funciona no servidor de desenvolvimento com aquele arquivo específico.
@robkooper OK, obrigado. Estou usando desenvolver branch para essas execuções, mas ainda não enviou as alterações para um branch local?
não temos o branch de desenvolvimento implantado aqui. esta instância particular está seguindo o branch master. Eu esperava implantar o novo lançamento lá. Vou verificar com @tonygardella quando o novo lançamento acontecerá.
@robkooper Não tenho certeza se entendi ... Eu também não tenho certeza de em que lado esse bug está. Presumo que iremos garantir que funcione tanto para master quanto para dev.
Ainda temos alguma correção para isso? @ para2x em algum ponto do seu SDA multi-site, acho que vamos querer rodar com drivers NARR em todos os sites, ou pelo menos esse era o plano original. Mas estávamos esperando por uma solução.
Ressalto. Alguém mais conseguiu usar BrownDog NARR com sipnet recentemente? Em caso afirmativo, diga-me, talvez tenha sido resolvido e esteja funcionando novamente ... não está claro.
Se houver problemas com o BrownDog NARR, eu usaria o NARR_site baseado em THREDDS nesse ínterim
@robkooper Eu testo esse caso no prod e o erro é um link de ftp errado:
<input>
<type>NARR</type>
<site>US-SSH</site>
<lat>40.6658</lat>
<lon>-77.9041</lon>
<start_date>1990-01-01 00:00:00</start_date>
<end_date>1991-12-31 23:59:59</end_date>
</input>
remotefunc <- function () {PEcAn.data.atmosphere :: download.NARR (site_id = '1135', lat.in = 40.6658, lon.in = -77.9041, model = NULL, scenery = NULL, ensemble_member = NULL, substituir = FALSE, outfolder = '/ home / polyglot / cache / PEcAn / NARR_site_1-25731 /', start_date = '1990-01-01', end_date = '2014-12-31')}
remoteout <- remotefunc ()
Anexando pacote: 'PEcAn.utils'
O seguinte objeto é mascarado de ' pacote: utils ':
⇬ Fazer download do arquivo
23/01/2019 11:18:33 DEBUG [PEcAn.data.atmosphere :: download.NARR]:
Arquivo '/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2014.nc'
já existe, pulando para o próximo arquivo.
23/01/2019 11:18:33 DEBUG [PEcAn.data.atmosphere :: download.NARR]:
Arquivo '/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2013.nc'
já existe, pulando para o próximo arquivo.
23/01/2019 11:18:33 DEBUG [PEcAn.data.atmosphere :: download.NARR]:
Baixando de:
ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc para:
/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2012.nc
tentando URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc'
Erro em utils :: download.file (url, nome do arquivo, método):
não é possível abrir o URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc'
Chamadas: remotefunc ->
Além disso: mensagem de aviso:
Em utils :: download.file (url, nome do arquivo, método):
URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc': o status era 'Não foi possível conectar ao servidor'
Execução interrompida
[1] 1
23/01/2019 11:20:41 INFO [PEcAn.utils :: convert.input]:
RESULTADOS: Convert.Input
23/01/2019 11:20:41 INFO [PEcAn.utils :: convert.input]: 1
23/01/2019 11:20:41 INFO [PEcAn.utils :: convert.input]:
Erro no arquivo! = "":comparação (2) é possível apenas para tipos atômicos e de lista
Chamadas: met.process ... .download.raw.met.module ->
23/01/2019 11:20:41 WARN [db.close]:
Conexão criada fora do pacote PEcAn.DB
Execução interrompida
PS: Não sei por que baixei de 2014, acabei de definir o início em 1990 e o final em 1991.
Bem-vindo ao fechamento do governo, talvez?
@ yan130 Acabei de testar aquele link de FTP e parece estar de volta
Acabei de executar isso e parece estar puxando dados
remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL,
ensemble_member=NULL, overwrite=FALSE, outfolder='~/scratch',
start_date='1990-01-01', end_date='2014-12-31')}
remoteout <- remotefunc()
@serbinsh Estou executando, leva algum tempo (talvez um dia), irei atualizá-lo quando terminar ou obtenho um erro.
Obrigado @ yan130 Você está testando o código NARR básico ou a versão BrownDog?
Eu preciso executar o código NARR básico no servidor BrownDog primeiro.
quando o que eu executo terminar, você poderá executar a versão BrownDog em sua máquina.
Ah, ok, isso faz sentido. obrigada!
Estranho, atualizei a noz-pecã para o desenvolvimento mais recente e agora recebo este erro:
> remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, ensemble_member=NULL, method=NULL, overwrite=FALSE, outfolder='/data/Model_Output/pecan.output/dbfiles/NARR_site_1135/', start_date='1990-01-01', end_date='2014-12-31')}
> remoteout <- remotefunc()
2019-01-28 15:10:40 DEBUG [#1: PEcAn.data.atmosphere::download.NARR] :
Downloading from:
ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2014.nc to:
/data/Model_Output/pecan.output/dbfiles/NARR_site_1135//pres.sfc.2014.nc
Error in if (method == "ncftpget") { : argument is of length zero
> traceback()
3: PEcAn.utils::download.file(url, new.file, method)
2: PEcAn.data.atmosphere::download.NARR(site_id = "1135", lat.in = 40.6658,
lon.in = -77.9041, model = NULL, scenario = NULL, ensemble_member = NULL,
method = NULL, overwrite = FALSE, outfolder = "/data/Model_Output/pecan.output/dbfiles/NARR_site_1135/",
start_date = "1990-01-01", end_date = "2014-12-31") at #1
1: remotefunc()
No entanto, o comando semelhante acima ainda está funcionando, é preciso descobrir por que há uma diferença agora
Aha, o problema com o comando mais recente em PEcAn é que ele define "método" como NULL por padrão, o que me causa um erro. Mas se eu executar como:
remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, ensemble_member=NULL, overwrite=FALSE,
outfolder='~/scratch', start_date='1990-01-01', end_date='1990-02-01')}
remoteout <- remotefunc()
funciona bem.
Não consigo encontrar aqui: https://github.com/PecanProject/pecan/blob/develop/modules/data.atmosphere/R/download.NARR.R
OU aqui: https://github.com/PecanProject/pecan/blob/develop/modules/data.atmosphere/R/download.NARR_site.R
onde "método" está sendo definido como NULL por padrão? Também não está acontecendo aqui, pelo que eu posso dizer? https://github.com/PecanProject/pecan/blob/develop/web/03a-narr.php . Mas esse "método = NULL" está quebrando o NARR para mim no modex porque isso precisa ser obtido de nosso perfil R.
log de erro atual:
Iniciar conversão de modelo específico
[1] "Converter para o formato do modelo"
Nenhum geonamesUsername definido. Consulte http://geonames.wordpress.com/2010/03/16/ddos-part-ii/ e defina um com opções (geonamesUsername = "foo") para que alguns serviços funcionem
Erro no url (url, open = "r"):
não é possível abrir a conexão com 'http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya'
Chamadas: met.process ... site.lst -> GNtimezone -> as.data.frame -> getJson -> url
Além disso: mensagem de aviso:
Em url (url, open = "r"):
URL ' http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya ': o status era 'Não foi possível resolver o nome do host'
31/01/2019 15:28:05 WARN [db.close]:
Conexão criada fora do pacote PEcAn.DB
Execução interrompida
@ yan130 Recebo esta mensagem de erro do meu lado:
`` `> # Faça conversões
settings <- PEcAn.workflow :: do_conversions (settings)
01/02/2019 08:33:22 DEBUG [PEcAn.workflow :: do_conversions]:
do.conversion outdir /data/Model_Output/pecan.output/dbfiles
01/02/2019 08:33:22 INFO [PEcAn.workflow :: do_conversions]: PROCESSING: met
01/02/2019 08:33:22 INFO [PEcAn.workflow :: do_conversions]:
chamando met.process:
01/02/2019 08:33:25 INFO [browndog.met]:
URL de download do browndog:
http://dap.ncsa.illinois.edu : 8184 / file / 20318176_pecan.clim
Erro no nome de base (arquivo baixado): um argumento de vetor de caractere esperado
Ligações:-> -> browndog.met -> nome de base
proc.time ()
sistema do usuário decorrido
11.513 1.215 662.677
`` `.
talvez seu trabalho para derrubar todo o NARR tenha falhado? Esse erro veio após uma longa espera, então presumo que ele estava trabalhando na extração e falhou na transferência. @robkooper , vocês têm logs que podem esclarecer esse problema?
log de erro atual:
Iniciar conversão de modelo específico
[1] "Converter para o formato do modelo"
Nenhum geonamesUsername definido. Consulte http://geonames.wordpress.com/2010/03/16/ddos-part-ii/ e defina um com opções (geonamesUsername = "foo") para que alguns serviços funcionem
Erro no url (url, open = "r"):
não é possível abrir a conexão com 'http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya'
Chamadas: met.process ... site.lst -> GNtimezone -> as.data.frame -> getJson -> url
Além disso: mensagem de aviso:
Em url (url, open = "r"):
URL ' http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya ': o status era 'Não foi possível resolver o nome do host'
31/01/2019 15:28:05 WARN [db.close]:
Conexão criada fora do pacote PEcAn.DB
Execução interrompida
isso pode ser corrigido adicionando um novo URL de api:
opções (geonamesHost = "api.geonames.org")
para todos os geonames :: chamadas GNtimezone.
@robkooper
Posso adicionar esta linha a PEcAn_convert.R em browndog,
ou modules / data.atmosphere / R / site.lst.R no pecanproject.
de que maneira você prefere?
@serbinsh deve estar funcionando agora, por favor, deixe um comentário se você ainda tiver problemas.
Verifique qual versão dos geonames está instalada. Isso pode ser corrigido em uma atualização.
o mais recente, sem atualização desde 2014.
https://cran.r-project.org/web/packages/geonames/index.html
Você pode tentar Rscript -e "devtools::install_github('ropensci/geonames')"
e ver se isso resolve o problema. Isso é o que é usado atualmente no PEcAn.
não está funcionando. não encontrou o nome do host no código-fonte de 'ropensci / geonames'
Apenas acompanhando isso, algum progresso em fazer com que o processo NARR seja executado novamente via BD?
Acabei de tentar novamente este AM e descobri que ele cria um arquivo sipnet.clim, MAS está vazio
Este problema está desatualizado porque esteve aberto 365 dias sem atividades.