Es scheint zu funktionieren

Heute war der MySQL-Server durchgehend am Schreiben von OpenStreetMap-Daten. Ein weiterer Bug wurde behoben – int statt float – und der Import neu gestartet. Das Schreiben dauert definitiv zu lange, jetzt kommt es darauf an, wie die Datenbank optimiert wird. 400 MB zu schreiben darf einfach nicht 6 Stunden dauern. Sonst dauern die 40 GB die da irgendwann mal in der Datenbank stehen sollen ja Wochen.

Das hätte ich mir allerdings mal früher überlegen sollen. MySQL hat da so ne nette Funktion, die heißt LOAD DATA INFILE und die sorgt jetzt dafür, dass ich mein bisheriges Parsing komplett überarbeiten muss.

Eine Alternative wäre noch LOCK TABLES und UNLOCK TABLES. Das wäre erheblich einfacher, bringt aber wahrscheinlich nicht so viel Geschwindigkeitsvorteil. Ich werde es wohl ausprobieren.

Immerhin habe ich schonmal 2 Views zum Testen erzeugt. Ausgabe aller Städte und die Entfernung in Luftlinie zwischen allen Städten.

Kommentare

Schreibe einen Kommentar