Der Durchbruch

Irgendwie hab ich ja das Gefühl mich zumindest ein bisschen schämen zu müssen. Vor zweieinhalb Jahren habe ich einmal gelernt, was Transaktionen bei Datenbanken sind. Wenn ich das Wissen parat gehabt hätte, wäre der Import schon gestern komplett fertig geworden.

Nach genau 2 Zeilen in der Import-Datei und damit auch 2 Zeilen im osm2sql ist der Import jetzt etwa um Faktor 40 schneller. Den ganzen Beitrag lesen

September 29, 2008 | Kategorie Software | 7 Kommentare

Es scheint zu funktionieren

Heute war der MySQL-Server durchgehend am Schreiben von OpenStreetMap-Daten. Ein weiterer Bug wurde behoben – int statt float – und der Import neu gestartet. Das Schreiben dauert definitiv zu lange, jetzt kommt es darauf an, wie die Datenbank optimiert wird. 400 MB zu schreiben darf einfach nicht 6 Stunden dauern. Sonst dauern die 40 GB die da irgendwann mal in der Datenbank stehen sollen ja Wochen.

Das hätte ich mir allerdings mal früher überlegen sollen. MySQL hat da so ne nette Funktion, die heißt LOAD DATA INFILE und die sorgt jetzt dafür, dass ich mein bisheriges Parsing komplett überarbeiten muss. Den ganzen Beitrag lesen

September 28, 2008 | Kategorie Software | Kommentieren

HowTo: OpenStreetMap-Daten in MySQL-Datenbank importieren

Nachdem der letzte Versuch mit OpenStreetMap-Daten an ihrer schieren Menge gescheitert ist, kommen wir jetzt auf eine Alternativ-Idee zurück:

Alle Daten in eine Datenbank importieren und mit geschickten Joins nur die interessanten Daten ausgeben. Um den Import der Daten in die MySQL-Datenbank soll es jetzt gehen.

1. Schritt: Anlegen eines Datenbankbenutzers und einer Datenbank, die ihm gehört. Den ganzen Beitrag lesen