Ich muss hier im Rahmen einer Aufgabe den Inhalt einer 3.5 GB (!!!) grossen XML-Datei in eine Datenbank pumpen. PHP ist ja nicht so wirklich toll, wenn es um grosse Textdateien und Speicherauslastung geht. Da habe ich mich doch an meine Webanfänge erinnert und die guten Ratschläge diverses Administratoren: Viel Text – PERL!

So habe ich jetzt auch ein nettes kleines PERL-Script namens xml_split gefunden, was genau das tut, was ich möchte – es legt mir pro entity eine Datei an. Der Prozessor meiner kleines Linux-Mühle ist zwar jetzt fein ausgelastet, aber der Speicherverbrauch hält sich fein in Grenzen. In 10 Minuten hat das Script 3000 Dateien geschreiben, die zusammen 35 MB gross sind. Das kann jetzt also noch etwas dauern, aber das ist schon ok.

Aber Chef, natürlich arbeite ich – ich muss nur _eben_ auf die Ausgabe eines Scriptes hier warten ….