Ja hoor, ook in deze aflevering van "Mag IT iets méér zijn?" kan ik niet om een acroniem heen. Deze keer is dat GPFS. Dat staat voor General Parallel File System. That explains it, doesn't it?
Elk besturingssysteem heeft zo zijn eigen file system, inmiddels zijn er vele protocollen beschikbaar om diverse file systemen met elkaar uit te wisselen. Wellicht denk je: "Hmm, ik doe nooit wat met file system waarom zou ik die dan überhaupt willen uitwisselen?". Vergis je niet. In vele thuissituaties staat er ergens een netwerkschijfje te zoemen voor de foto's en --helaas-- droevige MP3 bestanden (Doe toch FLAC, beste mensen, klinkt zoveeeeeel mooier dan MP3, maar dat een andere keer). 10 tegen 1 dat dit kleinnood op Linux draait. En Linux heeft nu eenmaal een ander file system dan Apple en Windows. Toch kan je met nagenoeg elk apparaat naar die bestanden. Dat komt omdat de meeste besturing systemen allerlei protocollen van de beschikbare file systemen ondersteunen.
Goed, dat was het FS, nu General Parallel. Met name het "Parallel" maakt GPFS zo mooi. GPFS werd en wordt veel gebruikt in de High Performance Computing (HPC). Daar waar vele, vele nodes (lees: computers) hongerig op de data (in files) zitten te azen. Het protocol om vanuit die meerdere nodes 'n soepele afhandeling te doen en geen bottleneck te vormen is één van de belangrijkste zaken in HPC. En IBM heeft dat probleem in 1998 aangepakt in de toenmalige RS/6000 SP1 machines. Dat was diegene die Kasparov heeft verslagen met een spelletje schaak.
Omdat er parallel naar files gelezen en geschreven kan worden kunnen taken ook parallel uitgevoerd worden. Dat parallelliteit snelheid oplevert weet iedereen die tegenwoordig over A2 tussen Amsterdam en Utrecht rijdt.
In het IBM Advanced Storage Lab in Almaden (daar waar ook GPFS uitgevonden is) heeft men maar liefs 10 miljard files in 43 minuten weten te scannen. Met dat scannen bedoelt men te kijken welke van de 10 miljard files de dagelijkse operaties als back-up, verwijdering of migratie dienen te ondergaan. 43 minuten zijn 2580 seconde. Per file was er dus een loutere 0.000000258 seconde nodig. Dat is 258 nanoseconde.
Da's rap.
Geloof me.
Ik weet ook niet waarom er mensen drie minuten naar een zandlopertje zitten te kijken om een file-tje van 1 MB te openen, maar ik ben dan ook fanatieke Linux gebruiker. Zelfs mijn Linux systeem redt dat natuurlijk niet. Het komt door GPFS.
GPFS is gewoon verkrijgbaar. Al jaren lang. Steeds meer bedrijven, die zich verre houden van HPC, hebben dringend behoefte om data te bewerken. En GPFS kan daarin een helpende hand bieden. Het draait op Linux, AIX en inmiddels ook op Windows, dus op IBM Power en ook op IBM System x. De setup van het wereldrecord werd op 10 IBM System x servers gedaan, met 32 GB RAM.
GPFS? Prachtig Spul!
