Aufgaben in der BASH parallelisieren
Heute wollte ich in der Bash (genauer: in der Bash meiner Cygwin-Installation) mehrere große Logfiles durchsuchen. Mit grep habe ich nach einer bestimmten Zeichenfolge ausschau gehalten und die Ausgabe sollte pro Datei in einer eigenen Ausgabedatei landen. Mein erster Ansatz war eine Schleife über die Verzeichnisse mit den Logfiles: for i in *;do grep -hE "^[0-9.]+" $i/access_log* > $i-ips.txt;done Dabei stellte sich schnell heraus, dass die Logfiles mit mehreren Hundert Megabytes etwas zu groß für so eine Herangehensweise waren....