Re: Job Scheduler (was: Re: File-Locking in Shellscripten auf NFS)

Autor: Markus Hochholdinger <Markus_at_hochholdinger.net>
Datum: Wed, 12 Jan 2011 11:13:45 +0100
Hi,

in diesem Zusammenhang ist mir eben http://gearman.org/ über den Weg gelaufen:

Introduction
 Gearman provides a generic application framework to farm out work to other 
machines or processes that are better suited to do the work. It allows you to 
do work in parallel, to load balance processing, and to call functions 
between languages. It can be used in a variety of applications, from 
high-availability web sites to the transport of database replication events. 
In other words, it is the nervous system for how distributed processing 
communicates. A few strong points about Gearman: 
* Open Source  - It's free! (in both meanings of the word) Gearman has an 
active open source community that is easy to get involved with if you need 
help or want to contribute.
* Multi-language  - There are interfaces for a number of languages, and this 
list is growing. You also have the option to write heterogeneous applications 
with clients submitting work in one language and workers performing that work 
in another.
* Flexible  - You are not tied to any specific design pattern. You can quickly 
put together distributed applications using any model you choose, one of 
those options being Map/Reduce.
* Fast  - Gearman has a simple protocol and interface with a new optimized 
server in C to minimize your application overhead.
* Embeddable  - Since Gearman is fast and lightweight, it is great for 
applications of all sizes. It is also easy to introduce into existing 
applications with minimal overhead.
* No single point of failure  - Gearman can not only help scale systems, but 
can do it in a fault tolerant way.


Am 17.12.2010 um 18:39 Uhr schrieb Thomas Stiefel <Tom_at_vtux.de>:
> Hallo zusammen,
>
> ich bin neu hier und wollte auch mal meinen Senf dazu geben ;-)
>
> On Thu, Dec 09, 2010 at 10:23:03AM +0100, Alexander Holler wrote:
> > > Gibt es eine *einfache* Lösung basierend auf NFS?
> >
> >  Ich würde das eigentliche Problem beseitigen. D.h. die offensichtlich
> >  zentrale Aufgabe (sonst wäre Mehrfachausführung ja wohl kein
> >  Problem), zentral erledigen lassen, oder die Problemstellung so
> >  angehen, daß Mehrfachausführung kein Problem ist.
>
> Ich sehe das genauso. Wenn es schon einen zentralen Server gibt, der für
> alle Jobs auf allen Clients benötigt wird, dann sollten die Jobs am
> besten auch auf diesem zentralen Server laufen.
> Daher wäre für mich die einfachste Lösung ein Script auf dem NFS-Server
> laufen zu lassen, das die Dateien von den Clients per rsync auf den
> NFS-Server kopiert.
>
> Dadurch müsste man nur auf einem Rechner einen Job per PID überwachen.
> Wenn einer der Clients nicht erreichbar ist, dann kann der Job einfach
> übersprungen werden.
>
> Mi rsync und SSH-Keys ist sowas total easy einzurichten und das benutze
> ich eigentlich schon seit Jahren immer wieder in dieser Art.
>
> Gruß Tom


-- 
Gruß
                                                          \|/
       eMHa                                              (o o)
------------------------------------------------------oOO--U--OOo--
 Markus Hochholdinger
 e-mail  mailto:Markus_at_Hochholdinger.net             .oooO
 www     http://www.hochholdinger.net                (   )   Oooo.
------------------------------------------------------\ (----(   )-
Ich will die Welt verändern,                           \_)    ) /
aber Gott gibt mir den Quelltext nicht!                      (_/


-- 
UUGRN e.V. http://www.uugrn.org/
http://mailman.uugrn.org/mailman/listinfo/uugrn
Wiki: https://wiki.uugrn.org/UUGRN:Mailingliste
Archiv: http://lists.uugrn.org/

Empfangen am 12.01.2011

Dieses Archiv wurde generiert von hypermail 2.2.0 : 12.01.2011 CET