[python-users] Python & Grid Computing

[Guy K. Kloss]

On Tue, 23 Mar 2010 18:37:24 Ralf Schoenian wrote:
> Ich habe zwei use cases fürs grid. a) Reduzierung der Laufzeit unserer 
> Monte Carlo Simulation (derzeit 16 Stunden) durch Verteilung einzelner 
> Rechenschritte und b) Verteilung kompletter Batchläufe auf freie 
> Clients. Für b) sollte ein einfacher dispatcher ausreichend sein. Den 
> kann man sicher selbst umsetzen aber warum das Rad neu erfinden.

Naechste Frage dazu: Sind die codes fuer (A) embarrassingly parallel, oder 
benoetigen sie intensive Inter-Process-Communication zu Laufzeit?

Fuer (B) kann ich z. B. auch Condor empfehlen. Condor ist ein Cycle-
Scavenging-System, d. h. es verwendet gerade brachliegende Resourcen, und kann 
so auch auf Arbeitsplatzrechnern eingesetzt werden, um z. B. ueber Nacht oder 
waehrend der Mittagspause Jobs an Rechner auszuliefern, die ansonsten fuer 
"normale Menschen" als Workstations verwendet werden.

Wenn Du Python machen moechtest, dann gibt es fuer die Jobverwaltung auch 
Grisu [1]. Grisu ist ein Java (auch Web-Start faehig) client zur komfortablen 
Job-submission in Grids. Man kann ihn entweder als GUI-Clicki-Tool verwenden 
(Java Swing), oder als Bibliothek. Dabei gibt's fuer die Bibliothek-Variante 
eine Java und eine Jython-API, die man dann natuerlich auch komfortabel 
scripten kann.

HTH,

Guy


[1] http://projects.arcs.org.au/trac/grisu/

-- 
Guy K. Kloss
Institute of Information and Mathematical Sciences
Te Kura Pūtaiao o Mōhiohio me Pāngarau
Massey University, Albany (North Shore City, Auckland)
473 State Highway 17, Gate 1, Mailroom, Quad B Building
voice: +64 9 414-0800 ext. 9266   fax: +64 9 441-8181
G.Kloss at massey.ac.nz http://www.massey.ac.nz/~gkloss
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 197 bytes
Beschreibung: This is a digitally signed message part.
URL         : <http://lists.uni-koeln.de/pipermail/python-users/attachments/20100323/70546105/attachment.sig>