Pecan: BrownDog/NARR sipnet.clim-Dateien werden nicht korrekt generiert

Erstellt am 17. Aug. 2018  ·  39Kommentare  ·  Quelle: PecanProject/pecan

Beschreibe den Fehler
verwandt mit #2047

Ich versuche, NARR-Treiber für sipnet an zwei verschiedenen Standorten zu generieren, und stoße auf ein Problem, bei dem die Ausgabe des BD-Befehls entweder eine leere Datei oder ein Kauderwelsch ist. Zum Beispiel:

PK^C^D^T^@^B^@^H^@EU^QM æµ3)Â^G^@uù^S^@^_^@^@^@NARR.2002-01-01.2004-12-31.clim<8c><9d>W<96>39<96>¤<9f>9{)^^h±ÿ<8d><8d>}^F<92>^N^G<83>ù÷<88>îªÌ<88> è^N\\a"<R^Hé^Q^_á^Q<9e>1ÕÇÿús<86>YÒ<9c>9¶^RÚã^?éYJ<8e>uÎ<96>ci1ùGC^H#<94>ÖR^O¥´Þ{~ÄÐø^K©Ï^Z©í¡ÿôÔ_^_#<8e><9a>r}¤^\<9f>­<8e>YF        CÿãQ<9f>9<8e><94>CÏú´Ôµ<88>gû^?á½¢ü^Ñ|æ<94>¦Ö^Põg<8a>þ<90><96><94>õ!±gý¥<92>*«ÿ<9f>ÖTb<8a>c<94>^^rË-öG¯Ï¨^_¬eÖ<99>û<88><8f>4ôOô<9f>ËHC<9f>8^^)õgÕW+=<85>^TfÓ<92>Zèe<86><94>Û졵û<92>Ú{I1<k<8e>iè^AÄ ¿í%åYZ®9è/ègÖ<92>R)Akh5¦©§ð¨Z<80><9e>ML9<87>^XSzè<8b>=G^^úÅ^VJMSK
zjC_%éñO<9e>R^HZqÔWo5§cI󳤨^U4}±^VõÍô<9a>´$½<9d>^Ysä¯M¾Ë<9f>KÊõ9k<9e>5ÄÔõ<90>µ"½<97><92>J.³<84>ÜõÞ<92>¶<80>¾V×Od=^ZVÔõ7k͹ë«^\+b<87>¼<96>¤ß^K¡·4õhô¼XRÔ^GéËè<81>^OÞxK#ÏñL¹gm§1ØZÚ^[=ö9zͼáG<9c>Ï<9e><8a><9e>´Þ<99>¶Wyä<90>õ^AÚ9þ^_¥<RìϦo¨^G¦Í¦<9f>(Oýਲ਼v=^Q½<95>c<85>õ½Â¡^Eòꣶcîex<85>Ú^G¥F½Cm<95>þ<88>M<9b>¤<96>g<8f>qF^NÄ<9f><9b>¿õg^Ni^Dý<8e>þLÍ<8f>Ôx¬¼6-2ê0Ô®o¡%¥ÖºöÖ£éÏô<9a>Æè¹²îc<89>ã½Äª<9d>6rkmN=^A}<94><96>^Xª6FÓ<9f>LAK}D<96>><8f>%ê§s^^]O%jké/<86>ù^\S?ßÓ<8c>½j£åð,­ê<97>ôV»_{¨#^Gý^N^[Y^KÔË×rbg+<8c>ãt¦ø^`ÑÁ^[C;FßN^_åõéák^W<86>^X´<87>â£<8e>¡ØP^T^V8+<|ýQ=Ö¨<9f>ÑO<96>¢?<98>µ[ÙtyhO^F-'Ôg×óÕ©<9a>zÞí¡?§<83>¢½¬7Î<9e>yðïËhAÏT¡*§}}é<8a>gõ©w¥è<92>§<9e>×ð^^Ôºô7§^^<99>>a¼âÙù¼ÚP¨¨)Õ²<86><9e>²öiã^Oi§ö>XÑxö@d"\ÔJðP L
(yê(Öû<8a>>ñL<8f>BÏ+vír<9e><87>Þh|Î>µsBÔ£×¹ø^Ubµ<87>´»9Q£êqê-è¥ö®= =<9c><92>þ<81>^Bês<94>HP^\úç:^Hzê<8a>^B-kÍqäû<92>Úu^N´î<96>´íc_<9b>LKâÏäÖ^U­ô2_Á<83>{ µ®_RôÐ[Ò/êiêÿè ^VþAjú|-Y¯D[gú¬j{iw)Rêß<<88>Éz<80><83>h<9d><8f>m<95>®p¦ ¯Ð¥g^]ôÒ^R'3><87>Þ<98>¾vÐÛÖ+]^OI_²q<83><94>©^]ÃÎT@×^[k<9d>gÂ^WÖï><89>^DSK^LÚ©ZsæGØ5<8a>^[­ë^YÍZ<8b><9e>¾^JÎuÜW´<85>3^E}}«1Fã!U/<89>ãL@^K<8a>üMa *®>õ<82>Úä<82>`<85>©^E^]*=<9f>¡^?<94>ØGº^Eµ^W31¾èÉê^Hèaëqש^@¢ <98>ª<82><83>¾T<8b>QGO¡¡( k7èN<8a>z!áx<8b>W8kO<85>;^]ºâP±^^Z'¶·^X^TEô¿ô<82>¦<9e>ý'âο^BîhO]#<ì»Jÿ@·úSqMïµk?f-yèÖÒ<81>R4<89>5ÎÄ>KMA<80>ó©¿s>ÃO4ËOös]/uεB]<±)6(úÌ©<80>«<8f>ÌÛ
ÿº´bÑÆ^O-Ný-ö«<82>      <97>Rm<84>Bö<81>Î<97>V¨¼¢7<9e>><87><93><93>JxStÊ©ÜWx<85>³DØÖ^]µ®¬ä£ÀÝ2µF}´ö¸6s^H^?¾Ù^R<9f>\Ò<93>7©ÿ ï­m¬<8c>D^OS[¤wݵºÜuíWÝæ£^N?· OÒ<83>Õ߯㶪¼^G±>µ|­<9f>Lf½Ø¦<9b>^k*½VVõw
T§n¸DJ^P«<8f><9f>^B<85>².Å?^]^O^E)-)ëb<9a>^D$^]-<9d><8d><87>^<91>^V¤^Gª^KT¿<92>ïKÚ¢^XÁR7<84>^VÖ^!C¯G;X·<9e>BFx<87>^LÝr<83><87>©x«ÃÓu^UêÀé¥èí)CTpåO?'^_GR7^Tµ´Û<9f>:×üY.8^N<80>²2ý%­Pÿ!Æû<9a>¶0¦[R?^T×eé^SªÏÔ¡<9a>z^M<9c>õ^_<81>µé^Q(^^s^R<94>ôq7jÃ+bNíR}Ë¡í¤%ê©dý%¥>Zó3ë¯V<9d>+^Eί§´<85>±NÄ,+<99>^»©rÜôع<97>Þa¬<92>sèJÔgµ<9e><89>Iµ²ß¢þ».<84>ìüaê!é<92>t¼×^QÔ?Ð+ÐIU~«k,é;^T®Zí,ÂÏ}E·0<96>µoøZ+<86>é;ëÿp<90>µkÊC^AM<9f>ðI&^\Ã<94>d^QEtykóêvÖáÒç+Àª Ð^®^MÊ<8a>Ϻ<87>^F»H{N_To^?¡­í<9b>H^GX'º^P#ïùNÞbX^?êQµ®#å(á^E^F®T}U<82>K$qÑÍ}EÙ¿<8e>¢<82>pÖÏé^RR¬ÿ¤MGÖÊ^M¢0ª^_׍^Dg<90>þ´¦ï6}^M8ë×^]¬ÿ}.pì^ABëЯ<96>ô¾+µ^W^HÐ3(<91>×ÓÐ<9b>ÓÍòIyÆ<8f>^P<96> ½º^C¦^^<88>~(^E^EUe<90>º<85>ºÂ¸<96>¨«KW<99>ò5ý!<9d>rmÓ¤h®ï<98>ã$g»­p^Oaü8©Ûü<84>0½AÝ~E^ASgs>ÚTùqÝSÎÉ´0e-:?<81>@§o¡<83>^Z<89>ê*"¦<9e>£ÞúжìÃiRâ<9c>ªÂJìl¹^Re^EYý¢.^MmD}J»íÁr<85>3]o
[I^[CiòëTdrA^UT<98>x<9d>
Å#<97>j*<ôhçCÑ<93><8b>\¹<84>Þ<99>³Ä¨È<98>)%´^DÊ5¥pºat<92>õ§«"±^^<99>®-½o-H'<^_+Ê×®ë<^^=䶪ިëB<9b>mP    ët<96>^_Y¢^^<91><8e><8f>â^[{Jé¯6§*^A]¦<93>¼Z©ª3²>^Uº2oVµ*w»ò^E-Y;@Aú¾¢-<96>éùu6<86>3\<9f>T%L<91><9b>Eç@+ùQÏQ^KéV^H:5ä·Z<92>N³By#ãÑ¥£<9d>2<95>^Aõ^Züg´<9d>\<8b>^Lm}­Q¿<94><8f>%mÁL5÷q^K©:¨Jb<94>p^VöÕ<9f>÷¢~O^W.iIä­+áÑ^_T<86>¨ÿ¦ª²RrêöÎüKŤá}ÄÓS,Q¼Ó_è÷^EÝbYà^Oé\7<95>pÅ+
\<88>ú<93>UGT^[ Ô½6ú3<9c><91>¢^FjG<85>f¥<8a>ä<88>ª<8d><88>[<8a>ÈzûÉI£^N¢<82>Ç'×<8f>JÏ<94> éØèk<94>c<85>[J¦Å)Æ<94>+<9c>±`ý^?-Oq<98>ÒGWc:ò<9d>#ÏVþ5;5úäg<94>7hg)^B«dÐ<93>ϬXÇÇÕ<9c>Þ Þªo4mÕ®ïà¯u¼Ò+<9a>)µlÊ^Ztb<9c>úW><9d>k¥<90>µ<90>^Më~¦<86>Õ=ô<8f>p¦K\§·^Rþ«®!<97>^Bºf^T%õ^CÊ©^TÎèHh<9b>i_420^U^Oú_:ãú®Ú¯Ç[¾¥dôYh^QQ§¯5*Yà¿ëS<88>O^O}Óë^Y<8e>UdþÑ£jZ<82><82>³^^¯b!<99>­2^M}¼Þ£¶½ò]^Uu<93><92>FϹS)×Gw²Â<8b>W&^Qãí¢¯WH#^AVþ^WWó¥ø^YÑFS$ª´QâúÙï<9b><94>Ä<95>ÇA9^P¨^F<9a>>`êñò»´Hôõ<94>^LåZ8^\ªÉ´¢Nq]¦^^¥^oº¯(o9£¢ä^A<91>ei·^QEjT^NñJ<87>è<84>)^]Ôëä3^ZU¦ÞIhzùú)¢lö<9e> `<9d>$<98>ÎÏzrñêdAKÒþÐÿSH^_:ä徤v-I5¿²Üò<89>ûªé;í2ý<8e>ª<8f>Xúß<81>_·=W<9e>jj<85><96>HÇG¯IÿQפv<93>jp-)Ó^OÐó¥^DgûGª^YmHíÿy_ϼ֣T±ëtT%áD}Z^L\<94><89>¿ÓéfüYöêj§ÍÖɱuÛp^\u<97>ë^AéÊQ ^],Gµ¡²)z}Z<9f>Ö£TR<81>@ÑBù]­÷^E]^A­òn^UT^T<8d>ÝÉÑ<87>ë²!(ëkè^_ë¤+ºÝîî¿<93>ìJ[<91>tºê^M^EnªÌï<8c>B³IÉ<89>V¨-«<9d>¡t<97>,F<97>ëSáEïEi ^E=<9e>Ù^UÑt^Z<89>ì<93>&iqûBk¬EW<9c>vö <81>ÄÙ¥êÜR´¿"<86><9e>¢^N<96>j^@Ý&ºt)d³Î<8c>¢¶<9e>6{ÿ¡âàÉ<87>èæ.:<91><99><8e>1­^CRc­°·c<8d><9f>¨^Vh{^L2<8a>Ê<8b>^M~HÚ¬I!R[Bé<9a>2<strong i="9">@½</strong> <9d><86>^?uö8 ô<9d>*<8f><86>M¢s«06tû^W<9a>}^O½b}O=f<85>^N½%¯QÕ¶²8<9d>^?mâû^Z¯¨Æ1ç{SÒë^Mèë®5ê<8f>Òx%<90>*úPÇü;¬Åô^\:<80><99>
<9c>BTû<83>¬a^NíG<95>^G^OýÜJ'<8a><8a>C²ßÊîT<8c>!^Aå<89>ï<8b>lWT#OP<92>¬^RãÕ<ó
<95>Èh^Oë5ä^þ._T÷<92>^Oºñ ^@=Ü<ëüuÕ'Õ}!Ý°<89>N<9f>b!ûîáÎ<80>â0Õ<8c><9e>n¾¯(_+REF×'ê^EÔu@TG<92>îhW<87>ò^Y^F^\GV)ÏÐ^Ta¡C¨^G§^U<91>&gEQ=^R<9a>u<99>^RFI<9f>6¬^N<8c>n^Y^]iå<9a>Q¯AA(<86>v_QÛ²mRòWwsÅY<9d>©Jº<90>I"[ý=2QÐRøÕæ<99><8e><87>Ú^GOî8î^Q<82>ýC^U<93><9e><9b>j*½*®9^]>½?^Z[Iïm¦û<9a>æõ<94>^H×Ê|3^UÓ

Das ist eine Beispieldatei von WF https://modex.bnl.gov/pecan_dev/05-running.php?workflowid=2000000991 wo ich am AF-Standort Susquehanna Shale Hills Critical Zone Observatory (US-SSH) ausgeführt wurde.

Fortpflanzen
Schritte zum Reproduzieren des Verhaltens:

  1. Gehen Sie zu https://modex.bnl.gov/pecan_dev/
  2. Klicken Sie auf die Seite Susquehanna Shale Hills Critical Zone Observatory (US-SSH)
    , UNS
  3. Scrollen Sie nach unten zu SIPNET-Modell (r136)
  4. Führen Sie SIPNET mit jedem PFT mit NARR und BrownDog aus
  5. Hinweis BD-Befehl wird beendet, ABER CLIM-Datei ist leer oder falsch.
  6. Beachten Sie, dass alle Ensembles keine Ausgabe generieren

Erwartetes Verhalten
Der entsprechende NARR-Treiber wird erstellt und die Modellensemble-Läufe werden erfolgreich abgeschlossen

Screenshots
keiner

Maschine (bitte füllen Sie die folgenden Informationen aus):

  • Server BNL/modex
  • Betriebssystem: Linux
  • Browser (falls zutreffend) Chrome
  • Version nicht zutreffend

Zusätzlicher Kontext
keiner

Bug 03 - High models - SIPNET Stale

Alle 39 Kommentare

Interessanterweise wird der erstellte Treiber als Option angezeigt, wenn Sie zur gleichen Site/Modell-Kombination zurückkehren

screen shot 2018-08-17 at 11 50 36 am

Ich bin mir auch nicht sicher, ob dies geschehen soll, aber ein sipnet.clim-Ordner wurde auf der obersten Ebene des Pekannuss-Workflow-Ordners erstellt, wie hier zu sehen:

[sserbin<strong i="6">@modex</strong> PEcAn_2000000991]$ ll
total 932
-rw-r--r--. 1 apache test    100 Aug 17 11:44 ensemble.output.2000001031.NPP.2002.2004.Rdata
-rw-r--r--. 1 apache test    785 Aug 17 11:43 ensemble.samples.2000001031.Rdata
drwxr-sr-x. 3 apache test     31 Aug 17 11:43 out
-rw-r--r--. 1 apache test   2957 Aug 17 11:41 pecan.CHECKED.xml
-rw-r--r--. 1 apache test   3195 Aug 17 11:43 pecan.CONFIGS.xml
-rw-r--r--. 1 apache test   3114 Aug 17 11:42 pecan.METProcess.xml
-rw-r--r--. 1 apache test   3155 Aug 17 11:42 pecan.TRAIT.xml
-rw-rw-r--. 1 apache test   2151 Aug 17 11:41 pecan.xml
drwxr-sr-x. 3 apache test     51 Aug 17 11:41 pft
drwxr-sr-x. 3 apache test     50 Aug 17 11:43 run
-rw-r--r--. 1 apache test 871702 Aug 17 11:43 samples.Rdata
drwxr-sr-x. 2 apache test     10 Aug 17 11:41 sipnet.clim
-rw-r--r--. 1 apache test    371 Aug 17 11:44 STATUS
-rw-rw-r--. 1 apache test   6320 Aug 17 11:41 workflow.R
-rw-r--r--. 1 apache test  39635 Aug 17 11:44 workflow.Rout

Aber der Ordner ist leer

So sieht ein Ausführungsordner aus:

[sserbin<strong i="6">@modex</strong> 2000075070]$ ll
total 20
-rwxr-xr-x. 1 apache test 1767 Aug 17 11:43 job.sh
-rw-r--r--. 1 apache test  664 Aug 17 11:43 README.txt
lrwxrwxrwx. 1 apache test   67 Aug 17 11:43 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-10704043b8b7/sipnet.clim
-rw-r--r--. 1 apache test 2750 Aug 17 11:43 sipnet.in
-rw-r--r--. 1 apache test 2767 Aug 17 11:43 sipnet.param
-rw-r--r--. 1 apache test    1 Aug 17 11:43 sipnet.param-spatial

Basierend auf einem Kommentar von @robkooper auf Slack sieht es so aus, als ob die zurückgegebene Datei eine ZIP-Datei ohne die richtige Erweiterung ist. Wenn ich die Datei umbenenne, kann ich die Datendatei, die eine richtig formatierte sipnet.clim-Datei ist, erfolgreich extrahieren.

[sserbin<strong i="7">@modex</strong> BD-10704043b8b7]$ sudo mv sipnet.clim sipnet.clim.zip
[sudo] password for sserbin:
[sserbin<strong i="8">@modex</strong> BD-10704043b8b7]$ ll
total 500
-rw-r--r--. 1 apache test 508617 Aug 17 11:42 sipnet.clim.zip

[sserbin<strong i="9">@modex</strong> BD-10704043b8b7]$ sudo unzip sipnet.clim.zip
Archive:  sipnet.clim.zip
  inflating: NARR.2002-01-01.2004-12-31.clim
[sserbin<strong i="10">@modex</strong> BD-10704043b8b7]$ ll
total 1780
-rw-r--r--. 1 root   test 1309045 Aug 17 10:42 NARR.2002-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test  508617 Aug 17 11:42 sipnet.clim.zip

0       2002    1       0       0.125   -7.9094299316406        -2.44315996314612       0       0.000804662704467773    106.125279746456        279.20088185235 231.658948408484        5.31823073993271        0.6
0       2002    1       3       0.125   -9.32294311523435       -2.39741738404251       0       -0.0412188470363617     75.1397549593781        285.159348289328        227.559947202096        5.60749023697066        0.6
0       2002    1       6       0.125   -10.5312866210937       -2.33946353060725       0       -0.0244013965129852     55.1456123301122        294.838635604529        220.208121240694        5.00348134365326        0.6
0       2002    1       9       0.125   -11.3368286132812       -2.27091310812966       0       -0.0244013965129852     35.953950127431 295.342434940375        222.430670123902        5.07081553376126        0.6
0       2002    1       12      0.125   -12.4007629394531       -2.19504814728271       628398.237304688        0.0848717987537384      19.7246218935274        303.128231282344        217.696640681874        4.52785957682463        0.6
0       2002    1       15      0.125   -8.40720214843748       -2.10964517251597       1622754.71191406        0.000804662704467773    67.3028051574853        265.95481312816 257.728592667697        6.00752887354068        0.6
0       2002    1       18      0.125   -5.53836669921873       -2.05694625720645       1374894.71191406        0.00921338796615601     109.890647291759        230.4657112397  295.058308799463        6.37520017434981        0.6
0       2002    1       21      0.125   -4.0488342285156        -2.02781320104941       58806.474609375 0.0176221132278442      132.242433885207        205.770433990006        320.831082348398        5.77486085931632        0.6
0       2002    2       0       0.125   -5.8043273925781        -2.01090098947708       0       0.00921338796615601     68.1552254424385        198.632733047786        328.702943023655        5.63152559393685        0.6
0       2002    2       3       0.125   -6.48831787109373       -1.97915701994827       0       0.000804662704467773    57.8740762854741        209.776452022241        318.84142518764 4.74670963477183        0.6 ...

Führen Sie es erneut aus und sehen Sie, dass sich jetzt zwei verschiedene BD-clim-Dateien in der falsch benannten .zip-Datei befinden

[sserbin<strong i="6">@modex</strong> BD-650a29c32afa]$ ll
total 3556
-rw-r--r--. 1 root   test 2191869 Aug 17 11:37 NARR.2000-01-01.2004-12-31.clim
-rw-r--r--. 1 root   test  439523 Aug 17 09:57 NARR.2004-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 1003128 Aug 17 12:37 sipnet.clim.zip

Ein weiteres Problem ist, dass der in job.sh verwendete Sym-Link nicht mit den Dateinamen übereinstimmt:

[sserbin<strong i="10">@modex</strong> 2000075302]$ ll
total 20
-rwxr-xr-x. 1 apache test 1768 Aug 17 12:37 job.sh
-rw-r--r--. 1 apache test  673 Aug 17 12:37 README.txt
lrwxrwxrwx. 1 apache test   67 Aug 17 12:37 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/sipnet.clim
-rw-r--r--. 1 apache test 2750 Aug 17 12:37 sipnet.in
-rw-r--r--. 1 apache test 2771 Aug 17 12:37 sipnet.param
-rw-r--r--. 1 apache test    1 Aug 17 12:37 sipnet.param-spatial
# see if application needs running
if [ ! -e "/data/Model_Output/pecan.output/PEcAn_2000000994/out/2000075302/sipnet.out" ]; then
  cd "/data/Model_Output/pecan.output/PEcAn_2000000994/run/2000075302"
  ln -s "/data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/sipnet.clim" sipnet.clim
...

Ein kurzer Check, wie es meiner Meinung nach eingerichtet sein sollte:

[sserbin<strong i="6">@modex</strong> 2000075302]$ sudo ln -s /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/NARR.2000-01-01.2004-12-31.clim sipnet.clim
[sserbin<strong i="7">@modex</strong> 2000075302]$ ll
total 20
-rwxr-xr-x. 1 apache test 1768 Aug 17 12:37 job.sh
-rw-r--r--. 1 apache test  673 Aug 17 12:37 README.txt
lrwxrwxrwx. 1 root   test   87 Aug 17 12:42 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-650a29c32afa/NARR.2000-01-01.2004-12-31.clim
-rw-r--r--. 1 apache test 2750 Aug 17 12:37 sipnet.in
-rw-r--r--. 1 apache test 2771 Aug 17 12:37 sipnet.param
-rw-r--r--. 1 apache test    1 Aug 17 12:37 sipnet.param-spatial

[sserbin<strong i="8">@modex</strong> 2000075302]$ sudo ./job.sh

[sserbin<strong i="9">@modex</strong> out]$ cd 2000075302
[sserbin<strong i="10">@modex</strong> 2000075302]$ ll
total 3456
-rw-r--r--. 1 apache test      1293 Aug 17 12:43 logfile.txt
-rw-r--r--. 1 root   test       673 Aug 17 12:43 README.txt
-rw-r--r--. 1 root   test   3523496 Aug 17 12:43 sipnet.out
-rw-------. 1 apache apache       0 Aug 17 12:37 stderr.log
-rw-------. 1 apache apache     119 Aug 17 12:37 stdout.log

[sserbin<strong i="11">@modex</strong> 2000075302]$ ll
total 5956
-rw-rw-r--. 1 sserbin test    507576 Aug 17 12:48 2000.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2000.nc.var
-rw-rw-r--. 1 sserbin test    506200 Aug 17 12:48 2001.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2001.nc.var
-rw-rw-r--. 1 sserbin test    506200 Aug 17 12:48 2002.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2002.nc.var
-rw-rw-r--. 1 sserbin test    506200 Aug 17 12:48 2003.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2003.nc.var
-rw-rw-r--. 1 sserbin test    507576 Aug 17 12:48 2004.nc
-rw-rw-r--. 1 sserbin test       743 Aug 17 12:48 2004.nc.var
-rwxrwxrwx. 1 apache  test        16 Aug 17 12:46 logfile.txt
-rwxrwxrwx. 1 root    test       673 Aug 17 12:46 README.txt
-rwxrwxrwx. 1 root    test   3523496 Aug 17 12:43 sipnet.out
-rwxrwxrwx. 1 apache  apache       0 Aug 17 12:37 stderr.log
-rwxrwxrwx. 1 apache  apache     119 Aug 17 12:37 stdout.log

@robkooper hatten Sie die Möglichkeit, die BD-Probleme mit NARR zu untersuchen?

Ich denke, dies wurde möglicherweise mit # 2039 behoben. Ich muss dies testen.

welches jahr wählst du?
ein Jahr oder mehrere?

@robkooper hat es gerade noch einmal versucht und folgendes bekommen:

prerun
Error: no climate data in sipnet.clim
mv: cannot stat `/data/Model_Output/pecan.output/PEcAn_2000001054/run/2000079623/sipnet.out': No such file or directory

Hier ist das Verzeichnis, das diesmal tatsächlich besser aussieht:

[sserbin<strong i="10">@modex</strong> run]$ cd 2000079623/
[sserbin<strong i="11">@modex</strong> 2000079623]$ ll
total 20
-rwxr-xr-x. 1 apache test 1767 Sep 14 08:09 job.sh
-rw-r--r--. 1 apache test  663 Sep 14 08:09 README.txt
lrwxrwxrwx. 1 apache test   67 Sep 14 08:10 sipnet.clim -> /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/sipnet.clim
-rw-r--r--. 1 apache test 2750 Sep 14 08:09 sipnet.in
-rw-r--r--. 1 apache test 2757 Sep 14 08:09 sipnet.param
-rw-r--r--. 1 apache test    1 Sep 14 08:09 sipnet.param-spatial

Aber nichts in der Datei??

[sserbin<strong i="15">@modex</strong> 2000079623]$ cd /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/
[sserbin<strong i="16">@modex</strong> BD-9ac83554512c]$ ll
total 0
-rw-r--r--. 1 apache test 0 Sep 14 08:08 sipnet.clim
[sserbin<strong i="17">@modex</strong> BD-9ac83554512c]$

Aus dem workflow.log

> 
> # Do conversions
> settings <- PEcAn.utils::do_conversions(settings)
2018-09-14 08:06:24 DEBUG  [PEcAn.utils::do_conversions] : 
   do.conversion outdir /data/Model_Output/pecan.output/dbfiles 
2018-09-14 08:06:24 INFO   [PEcAn.utils::do_conversions] : PROCESSING:  met 
2018-09-14 08:06:24 INFO   [PEcAn.utils::do_conversions] : 
   calling met.process: 
2018-09-14 08:06:28 INFO   [browndog.met] : 
   browndog download url : 
   http://dap.ncsa.illinois.edu:8184/file/20285355_pecan.clim 
2018-09-14 08:08:29 WARN   [PEcAn.DB::db.close] : 
   Connection created outside of PEcAn.DB package 
2018-09-14 08:08:29 DEBUG  [PEcAn.utils::do_conversions] : 
   updated met path: 
   /data/Model_Output/pecan.output/dbfiles/BD-9ac83554512c/sipnet.clim 
> 
> # Query the trait database for data and priors
> if (PEcAn.utils::status.check("TRAIT") == 0){
+   PEcAn.utils::status.start("TRAIT")
+   settings <- PEcAn.workflow::runModule.get.trait.data(settings)
+   PEcAn.settings::write.settings(settings, outputfile='pecan.TRAIT.xml')
+   PEcAn.utils::status.end()
+ } else if (file.exists(file.path(settings$outdir, 'pecan.TRAIT.xml'))) {
+   settings <- PEcAn.settings::read.settings(file.path(settings$outdir, 'pecan.TRAIT.xml'))
+ }
2018-09-14 08:08:31 INFO   [query.trait.data] : 
   --------------------------------------------------------- 

Hier sind meine Laufinfos

  <run>
    <site>
      <id>1000025731</id>
      <met.start>1990/01/01</met.start>
      <met.end>1991/12/31</met.end>
    </site>
    <inputs>
      <met>
        <source>NARR</source>
        <output>SIPNET</output>
      </met>
    </inputs>
    <start.date>1990/01/01</start.date>
    <end.date>1991/12/31</end.date>
  </run>

Ich glaube, dies ist im Entwicklungszweig behoben, aber noch nicht bereitgestellt. Ich werde mit @yan130 zusammenarbeiten , um zu testen, ob es auf dem

@robkooper OK danke. Ich verwende den Develop Branch für diese Läufe, habe die Änderungen nur noch nicht für einen lokalen Branch gepusht?

Wir haben den Entwicklungszweig hier nicht bereitgestellt. diese spezielle Instanz folgt dem Master-Zweig. Ich hatte gehofft, die neue Version dort bereitzustellen. Ich werde bei @tonygardella nachfragen, wann die neue Veröffentlichung erscheint.

@robkooper Ich bin mir nicht sicher, ob ich folge ... Ich bin mir auch immer noch nicht sicher, an welchem ​​Ende dieser Fehler liegt. Ich gehe davon aus, dass wir sicherstellen werden, dass es sowohl für Master als auch für Entwickler funktioniert?

Haben wir dafür schon irgendwelche Fixes? @para2x Irgendwann in Ihrem Multi-Site-SDA werden wir denke ich, dass wir mit NARR-Treibern über Sites hinweg laufen wollen, oder zumindest war das der ursprüngliche Plan. Aber wir haben auf eine Lösung gewartet.

Stoßen. Konnte jemand anderes BrownDog NARR in letzter Zeit mit sipnet verwenden? Wenn ja, lassen Sie es mich bitte wissen, vielleicht wurde es behoben und funktioniert wieder....unklar.

Wenn es Probleme mit BrownDog NARR gibt, würde ich in der Zwischenzeit die THREDDS-basierte NARR_site verwenden

@robkooper Ich

<input> <type>NARR</type> <site>US-SSH</site> <lat>40.6658</lat> <lon>-77.9041</lon> <start_date>1990-01-01 00:00:00</start_date> <end_date>1991-12-31 23:59:59</end_date> </input>

remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, Szenario=NULL, ensemble_member=NULL, überschreiben =FALSE, outfolder='/home/polyglot/cache/PEcAn/NARR_site_1-25731/', start_date='1990-01-01', end_date='2014-12-31')}
remoteout <- remotefunc()

Anhängendes Paket: 'PEcAn.utils'

Das folgende Objekt wird von ' package:utils ' maskiert:
Download-Datei

2019-01-23 11:18:33 DEBUG [PEcAn.data.atmosphere::download.NARR] :
Datei ' /home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2014.nc '
bereits vorhanden, Springen zur nächsten Datei.
2019-01-23 11:18:33 DEBUG [PEcAn.data.atmosphere::download.NARR] :
Datei ' /home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2013.nc '
bereits vorhanden, Springen zur nächsten Datei.
2019-01-23 11:18:33 DEBUG [PEcAn.data.atmosphere::download.NARR] :
Herunterladen von:
ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc an:
/home/polyglot/cache/PEcAn/NARR_site_1-25731//pres.sfc.2012.nc
Versuch URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc'
Fehler in utils::download.file(url, filename, method):
URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc' kann nicht geöffnet werden
Aufrufe: remotefuc ->->->
Außerdem: Warnmeldung:
In utils::download.file(url, filename, method) :
URL 'ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2012.nc': Status war 'Verbindung zum Server nicht möglich'
Ausführung gestoppt
[1] 1
2019-01-23 11:20:41 INFO [PEcAn.utils::convert.input] :
ERGEBNISSE: Convert.Input
2019-01-23 11:20:41 INFO [PEcAn.utils::convert.input] : 1
2019-01-23 11:20:41 INFO [PEcAn.utils::convert.input] :
Fehler in Datei != "" :Vergleich (2) ist nur für Atom- und Listentypen möglich
Aufrufe: met.process ... .download.raw.met.module ->-> Teilmenge -> Teilmenge.Standard
23.01.2019 11:20:41 WARN [db.close] :
Verbindung außerhalb des PEcAn.DB-Pakets erstellt
Ausführung gestoppt

PS: Ich weiß nicht, warum es ab 2014 heruntergeladen wird, ich habe einfach den Anfang als 1990 und das Ende als 1991 festgelegt.

Willkommen zum Shutdown der Regierung vielleicht?

@yan130 Ich habe gerade diesen FTP-Link getestet und er

Ich habe das gerade ausgeführt und es scheint Daten herunterzuladen

remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, 
                                                               ensemble_member=NULL, overwrite=FALSE, outfolder='~/scratch', 
                                                               start_date='1990-01-01', end_date='2014-12-31')}
remoteout <- remotefunc()

@serbinsh Ich angezeigt wird.

Danke @yan130 Testen Sie den grundlegenden NARR-Code oder die BrownDog-Version?

Ich muss zuerst den grundlegenden NARR-Code auf dem BrownDog-Server ausführen.
Wenn das, was ich ausführe, fertig ist, können Sie die BrownDog-Version von Ihrem Computer ausführen.

Ah, okay, das macht Sinn. Danke schön!

Seltsam, ich habe Pekannuss auf die neueste Entwicklung aktualisiert und erhalte jetzt diesen Fehler:

> remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, ensemble_member=NULL, method=NULL, overwrite=FALSE, outfolder='/data/Model_Output/pecan.output/dbfiles/NARR_site_1135/', start_date='1990-01-01', end_date='2014-12-31')}

> remoteout <- remotefunc()

2019-01-28 15:10:40 DEBUG  [#1: PEcAn.data.atmosphere::download.NARR] :
   Downloading from:
   ftp://ftp.cdc.noaa.gov/Datasets/NARR/monolevel/pres.sfc.2014.nc to:
   /data/Model_Output/pecan.output/dbfiles/NARR_site_1135//pres.sfc.2014.nc
Error in if (method == "ncftpget") { : argument is of length zero
> traceback()
3: PEcAn.utils::download.file(url, new.file, method)
2: PEcAn.data.atmosphere::download.NARR(site_id = "1135", lat.in = 40.6658,
       lon.in = -77.9041, model = NULL, scenario = NULL, ensemble_member = NULL,
       method = NULL, overwrite = FALSE, outfolder = "/data/Model_Output/pecan.output/dbfiles/NARR_site_1135/",
       start_date = "1990-01-01", end_date = "2014-12-31") at #1
1: remotefunc()

Der ähnliche Befehl oben funktioniert jedoch immer noch, ich muss herausfinden, warum es jetzt einen Unterschied gibt

Aha, das Problem mit dem neueren Befehl in PEcAn ist, dass "method" standardmäßig auf NULL gesetzt wird, was für mich Fehler darstellt. Aber wenn ich laufe als:

remotefunc <- function() {PEcAn.data.atmosphere::download.NARR(site_id='1135', lat.in=40.6658, lon.in=-77.9041, model=NULL, scenario=NULL, ensemble_member=NULL, overwrite=FALSE, 
                                                               outfolder='~/scratch', start_date='1990-01-01', end_date='1990-02-01')}
remoteout <- remotefunc()

es läuft prima.

Ich kann hier nicht finden: https://github.com/PecanProject/pecan/blob/develop/modules/data.atmosphere/R/download.NARR.R

ODER hier: https://github.com/PecanProject/pecan/blob/develop/modules/data.atmosphere/R/download.NARR_site.R

wo "Methode" standardmäßig auf NULL gesetzt wird? Das passiert hier auch nicht, soweit ich das beurteilen kann? https://github.com/PecanProject/pecan/blob/develop/web/03a-narr.php . Aber dieses "method=NULL" unterbricht NARR für mich auf Modex, weil das aus unserem R-Profil geholt werden muss.

aktuelles Fehlerprotokoll:

Beginnen Sie mit der modellspezifischen Konvertierung
[1] "In Modellformat konvertieren"
Kein GeonamesUsername festgelegt. Siehe http://geonames.wordpress.com/2010/03/16/ddos-part-ii/ und stellen Sie einen mit options(geonamesUsername="foo") ein, damit einige Dienste funktionieren
Fehler in url(url, open = "r") :
kann die Verbindung zu 'http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya' nicht öffnen
Aufrufe: met.process ... site.lst -> GNtimezone -> as.data.frame -> getJson -> url
Außerdem: Warnmeldung:
In url(url, open = "r") :
URL ' http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya ': Status war 'Hostname konnte nicht aufgelöst werden'
31.01.2019 15:28:05 WARN [db.close] :
Verbindung außerhalb des PEcAn.DB-Pakets erstellt
Ausführung gestoppt

@yan130 Ich bekomme diese Fehlermeldung an meinem Ende:

```> # Konvertierungen durchführen

Einstellungen <- PEcAn.workflow::do_conversions(Einstellungen)
2019-02-01 08:33:22 DEBUG [PEcAn.workflow::do_conversions] :
do.conversion outdir /data/Model_Output/pecan.output/dbfiles
2019-02-01 08:33:22 INFO [PEcAn.workflow::do_conversions] : VERARBEITUNG: met
2019-02-01 08:33:22 INFO [PEcAn.workflow::do_conversions] :
Aufruf von met.process:
2019-02-01 08:33:25 INFO [browndog.met] :
Browndog-Download-URL:
http://dap.ncsa.illinois.edu :8184/file/20318176_pecan.clim
Fehler in basename(downloadedfile): ein Zeichenvektorargument erwartet
Anrufe:->-> browndog.met -> Basisname
Vorgangszeit()
Benutzersystem abgelaufen
11.513 1.215 662.677
```.

Vielleicht ist Ihre Arbeit, alle NARR herunterzufahren, gescheitert? Dieser Fehler trat nach einer langen Wartezeit auf, daher gehe ich davon aus, dass er bei der Extraktion funktioniert hat und bei der Übertragung fehlgeschlagen ist. @robkooper habt ihr protokolle an diesem ende, die dieses

aktuelles Fehlerprotokoll:

Beginnen Sie mit der modellspezifischen Konvertierung
[1] "In Modellformat konvertieren"
Kein GeonamesUsername festgelegt. Siehe http://geonames.wordpress.com/2010/03/16/ddos-part-ii/ und stellen Sie einen mit options(geonamesUsername="foo") ein, damit einige Dienste funktionieren
Fehler in url(url, open = "r") :
kann die Verbindung zu 'http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya' nicht öffnen
Aufrufe: met.process ... site.lst -> GNtimezone -> as.data.frame -> getJson -> url
Außerdem: Warnmeldung:
In url(url, open = "r") :
URL ' http://ws.geonames.org/timezoneJSON?lat=40.6658&lng=-77.9041&radius=0&username=carya ': Status war 'Hostname konnte nicht aufgelöst werden'
31.01.2019 15:28:05 WARN [db.close] :
Verbindung außerhalb des PEcAn.DB-Pakets erstellt
Ausführung gestoppt

Dies kann durch Hinzufügen einer neuen API-URL behoben werden:
options(geonamesHost = "api.geonames.org")

zu allen geonames::GNtimezone-Anrufen.

@robkooper
Ich kann diese Zeile zu PEcAn_convert.R in browndog hinzufügen,
oder module/data.atmosphere/R/site.lst.R in pecanproject.
welchen Weg bevorzugen Sie?

@serbinsh es sollte jetzt funktionieren, bitte hinterlassen Sie einen Kommentar, wenn Sie immer noch Probleme haben.

Überprüfen Sie, welche Version von Geonames installiert ist. Dies könnte in einem Update behoben werden.

Können Sie Rscript -e "devtools::install_github('ropensci/geonames')" versuchen und sehen, ob das das Problem löst. Dies wird derzeit in PEcAn verwendet.

funktioniert nicht. habe den Hostnamen im Quellcode von 'ropensci/geonames' nicht gefunden

Gibt es im Anschluss daran irgendwelche Fortschritte, den NARR-Prozess über BD wieder zum Laufen zu bringen?

Ich habe es gerade am Morgen erneut versucht und festgestellt, dass eine Datei sipnet.clim erstellt wird, ABER sie ist leer

Dieses Problem ist veraltet, da es 365 Tage ohne Aktivität geöffnet war.

War diese Seite hilfreich?
0 / 5 - 0 Bewertungen

Verwandte Themen

istfer picture istfer  ·  8Kommentare

serbinsh picture serbinsh  ·  21Kommentare

serbinsh picture serbinsh  ·  17Kommentare

dlebauer picture dlebauer  ·  5Kommentare

ashiklom picture ashiklom  ·  4Kommentare