XML-Files >5GB laden

Für allgemeine Fragen zur Programmierung mit PureBasic.
sibru
Beiträge: 265
Registriert: 15.09.2004 18:11
Wohnort: hamburg

XML-Files >5GB laden

Beitrag von sibru »

Hallo,

ich will eine OpenStreetMap-Datei via LoadXML() als XML-Baum laden, wobei Dateigrößen von mahe als 5 GB auftreten können. Schon bei 1,x GB klappt das nicht mehr. Gibt´s da einen Trick ?
Bild Bild
Benutzeravatar
RSBasic
Admin
Beiträge: 8022
Registriert: 05.10.2006 18:55
Wohnort: Gernsbach
Kontaktdaten:

Re: XML-Files >5GB laden

Beitrag von RSBasic »

Ist das eine PB-Einschränkung oder verwendest du vielleicht ene 32 Bit-Version?
Aus privaten Gründen habe ich leider nicht mehr so viel Zeit wie früher. Bitte habt Verständnis dafür.
Bild
Bild
sibru
Beiträge: 265
Registriert: 15.09.2004 18:11
Wohnort: hamburg

Re: XML-Files >5GB laden

Beitrag von sibru »

ja, 32bit passt schon...
Was´n da das Maximum ?
Bild Bild
Benutzeravatar
RSBasic
Admin
Beiträge: 8022
Registriert: 05.10.2006 18:55
Wohnort: Gernsbach
Kontaktdaten:

Re: XML-Files >5GB laden

Beitrag von RSBasic »

I.d.R. 2 GB
Du kannst ja mal mit der 64 Bit-Version testen, ob das Problem dort ebenfalls auftritt. Wenn ja, dann kannst du im englischen Forum nachfragen.
Aus privaten Gründen habe ich leider nicht mehr so viel Zeit wie früher. Bitte habt Verständnis dafür.
Bild
Bild
Benutzeravatar
Kiffi
Beiträge: 10621
Registriert: 08.09.2004 08:21
Wohnort: Amphibios 9

Re: XML-Files >5GB laden

Beitrag von Kiffi »

Mein lieber Herr Gesangsverein, 5 GB.

normalerweise analysiert man solche große Dateien mit einem SAX-Parser; lädt also nicht das gesamte XML in den Speicher, sondern streamt es blockweise.

Schau Dir mal CatchXML() an. Bin mir nicht sicher, ob man das damit machen kann.

Grüße ... Peter
Hygge
sibru
Beiträge: 265
Registriert: 15.09.2004 18:11
Wohnort: hamburg

Re: XML-Files >5GB laden

Beitrag von sibru »

danke Kiffi, das war´s !

Ist ja ´ne Menge Arbeit und Daten aufe Festplatte, von GoogleMaps wegzukommen (Prog GPS-Log zu KFZ-Fahrtenbuch basierte bisher darauf, aber die Einschränkungen nerven inzwischen extremst. Darum geht´s nun zu OpenStreetMap: Daten Europa=18,5GB, Deutschland 2,8GB...
Bild Bild
Antworten