Pecan: Erweiterung für remote.copy.from

Erstellt am 17. Mai 2019  ·  6Kommentare  ·  Quelle: PecanProject/pecan

Beschreibung

Bezieht sich Ihre Feature-Anfrage auf ein Problem?
Da immer mehr Menschen Remote-Cluster verwenden, um rechenintensive PEcAn-Läufe/Analysen durchzuführen, besteht jetzt die Notwendigkeit, nicht alles von der Remote zurück zu synchronisieren. Dies würde auch bei Platzproblemen auf lokalen Clustern helfen (wie wir es bei BU erleben).

Vorgeschlagene Lösung

Beschreiben Sie die gewünschte Lösung
Ich dachte daran, die vorhandene Funktion remote.copy.from so zu erweitern, dass sie ein oder zwei zusätzliche Argumente akzeptiert. Beispielsweise ein include - und ein rule -Argument (für Dateifilterregeln), und wenn sie nicht NULL sind, wird der rsync -Befehl innerhalb der Funktion entsprechend geändert.

Alternativen in Betracht gezogen

Beschreiben Sie Alternativen, die Sie in Betracht gezogen haben
Alternativ kann eine ganz andere Funktion (oder Funktionen) zum Remote-Paket hinzugefügt werden, wie remote.copy.from.with.include / remote.copy.from.with.rule

Enhancement
Quelle
picture istfer

Hilfreichster Kommentar

Würde so etwas funktionieren?

remote.copy.from <- function(host, src, dst, options=c(), delete = FALSE, stderr = FALSE) {
  args <- c("-az", "-q", options)
picture robkooper am 17. Mai 2019
👍2

Alle 6 Kommentare

zB verwendet @femeunier Exclude https://github.com/femeunier/pecan/blob/d12b902cbc244983a6fdb2eee0d13ab9216149eb/base/remote/R/remote.copy.from.R#L22

Ich spezifiziere eine Reihe von Einschlüssen und schließe alles andere aus, zB "--include=pecan.pda*", "--include=history*", "--exclude=*"

Markiere Leute, die daran interessiert sein könnten @femeunier @para2x @ashiklom @mdietze @robkooper

istfer picture istfer am 17. Mai 2019

Was ist, wenn Sie dies als Argument anführen, mit dem die Leute mit allen Flaggen beginnen können, die sie brauchen? Ich meine, nicht fest codiert.

para2x picture para2x am 17. Mai 2019
👍1

Oh ja, es sollte definitiv nicht fest codiert sein. Ich habe nur Beispiele gegeben

istfer picture istfer am 17. Mai 2019
👍1

Oh ja, es sollte definitiv nicht fest codiert sein. Ich habe nur Beispiele gegeben

Sehr hilfreich.

para2x picture para2x am 17. Mai 2019

Würde so etwas funktionieren?

remote.copy.from <- function(host, src, dst, options=c(), delete = FALSE, stderr = FALSE) {
  args <- c("-az", "-q", options)
robkooper picture robkooper am 17. Mai 2019
👍2

super, ja ich denke das wäre die flexibelste Variante

istfer picture istfer am 17. Mai 2019
War diese Seite hilfreich?
0 / 5 - 0 Bewertungen

Verwandte Themen

dlebauer picture dlebauer  ·  5Kommentare
ashiklom picture ashiklom  ·  4Kommentare
serbinsh picture serbinsh  ·  12Kommentare
serbinsh picture serbinsh  ·  30Kommentare
tonygardella picture tonygardella  ·  5Kommentare