Der Durchbruch

Irgendwie hab ich ja das Gefühl mich zumindest ein bisschen schämen zu müssen. Vor zweieinhalb Jahren habe ich einmal gelernt, was Transaktionen bei Datenbanken sind. Wenn ich das Wissen parat gehabt hätte, wäre der Import schon gestern komplett fertig geworden.

Nach genau 2 Zeilen in der Import-Datei und damit auch 2 Zeilen im osm2sql ist der Import jetzt etwa um Faktor 40 schneller. Den ganzen Beitrag lesen

September 29, 2008 | Kategorie Software | 7 Kommentare 

Es scheint zu funktionieren

Heute war der MySQL-Server durchgehend am Schreiben von OpenStreetMap-Daten. Ein weiterer Bug wurde behoben – int statt float – und der Import neu gestartet. Das Schreiben dauert definitiv zu lange, jetzt kommt es darauf an, wie die Datenbank optimiert wird. 400 MB zu schreiben darf einfach nicht 6 Stunden dauern. Sonst dauern die 40 GB die da irgendwann mal in der Datenbank stehen sollen ja Wochen.

Das hätte ich mir allerdings mal früher überlegen sollen. MySQL hat da so ne nette Funktion, die heißt LOAD DATA INFILE und die sorgt jetzt dafür, dass ich mein bisheriges Parsing komplett überarbeiten muss. Den ganzen Beitrag lesen

September 28, 2008 | Kategorie Software | Kommentieren