Re: Oeffentliche FTP-Server per rsync spiegeln?

Autor: Markus Hochholdinger <Markus_at_hochholdinger.net>
Datum: Sun, 1 Jul 2007 13:03:29 +0200
Hi,

Am Samstag, 30. Juni 2007 22:24 schrieb Christian Weisgerber:
> Alexander Holler <holler_at_ahsoftware.de> wrote:
> In der Praxis sind rsync-Server typischerweise durch Disk-I/O
> begrenzt.

da ich in letzter Zeit häufig Server umziehe (virtualisiere) habe ich ein 
wenig Erfahrung mit rsync (über ssh) gesammelt.
Der erste Sync dauert ziemlich lange, weil ja alle Metadaten von Platte 
gelesen werden müssen und natürlich auch die Daten übertragen werden müssen. 
(Man sieht ja mit --verbose sehr schön wann rsync mit dem Erstellen der 
Dateiliste fertig ist und das Kopieren anfängt.)
Ein zweiter Sync kurz danach läuft sehr schnell, da ja noch das meiste im 
Cache hängt und auch nicht mehr so viele Daten übertragen werden müssen.

(Ich arbeite normalerweise so, dass ich einen Sync mache, bereite die Kopie 
auf ihren neuen Aufenthaltsort vor und teste. Alle Änderungen an der Kopie 
merke (Dateien) ich mir. Kurz bevor es los geht mache ich den letzten Test, 
Sync, Änderungen einspielen, kopiertes System hochfahren und testen. Dann 
beende ich alle Dienste (außer ssh) auf dem Quell-Server, mache den letzten 
Sync, spiele die Änderungen ein, fahre die Kopie hoch und richte eine 
IP-Weiterleitung auf dem Quell-System zum kopierten System ein.)

Jetzt habe ich festgestellt, dass je nach Anzahl der Dateien und verfügbarem 
Hauptspeicher auf dem Quell-System die ganze Performance zusammenbricht, wenn 
der Cache nicht alles halten kann. Bei mir ist das passiert bei ca. 100000 
Dateien und 2GB RAM. Dann muss nämlich wieder von Platte gelesen werden und 
das kostet Performance.

Also wäre meine Schlußfolgerung dass es auf die Daten und den verfügbaren 
Hauptspeicher ankommt ob man rsync oder ftp/http einsetzen sollte. Wenn z.B. 
ein Datenbestand mit wenigen Dateien häufig ausgeliefert wird, dann wäre wohl 
rsync das Mittel der Wahl. Werden jedoch große Datenbestände mit vielen 
Dateien ausgeliefert und der Cache kann es nicht halten, dann wäre wohl eher 
ftp/http gefragt.

Hier geht es ja hauptsächlich um die Vorbereitung der Datenübertragung. Ich 
denke wir sind uns einig dass die eigentliche Datenübertragung mit rsync, ftp 
und http ungefähr gleich schnell sein wird.


-- 
Gruß
                                                          \|/
       eMHa                                              (o o)
------------------------------------------------------oOO--U--OOo--
 Markus Hochholdinger
 e-mail  mailto:Markus_at_Hochholdinger.net             .oooO
 www     http://www.hochholdinger.net                (   )   Oooo.
------------------------------------------------------\ (----(   )-
                                                       \_)    ) /
                                                             (_/


-- 
http://mailman.uugrn.org/mailman/listinfo/uugrn


Empfangen am 01.07.2007

Dieses Archiv wurde generiert von hypermail 2.2.0 : 01.07.2007 CEST