Bereit Build 26.10. 11:20 ● idle

Dashboard

Azoren Tourismus Datenbank
Lade…
🏝️ Nach Insel
InselPins%
📂 Kategorie-Gruppen
GruppePins

Scraper steuern

Ein HTTP-Aufruf = eine Seite → kein Timeout

Phase 1 — URL-Index aufbauen (Listing-Seiten)

Trägt die gewünschten Listing-Seiten in die Warteschlange ein und ruft sie dann nacheinander einzeln ab. Jeder Aufruf dauert max. 30 Sek. — kein Timeout.

KREISE AUSWÄHLEN (leer = globales Scraping von/bis)
Lade Kreise…

Einzelne URL manuell scrapen

Phase 2 — Pin-Details abrufen

Ruft für gesammelte URLs die Detailseite ab. Selektiv nach Kreis, Kategorie oder fehlenden Geodaten.

KREISE (leer = alle)
Lade…
KATEGORIEN (leer = alle)
Lade…
📋 Live-Log

📋 Staging / Diff

Gescrapte Daten prüfen bevor sie in die DB übernommen werden
💡 ✓/✕ bei einzelnen Feldern schreibt das Feld sofort in die DB bzw. ignoriert es. ✓ Übernehmen schreibt alle noch offenen Felder auf einmal. Einträge bleiben in der Liste bis "Übernehmen" oder "Ignorieren" geklickt wird.

URL-Index

Gesammelte Pin-URLs

Alle Pins

▸ Spalten ein-/ausblenden

Inseln

9 Inseln der Azoren

Kategorien

44 Tipologias mit Übersetzungen

Kreise

Concelhos nach Insel

Ortschaften-Karte

Pins nach Ortschaft einfärben, Gebietsflächen ein-/ausblenden

Gemeinden

Freguesias
Lade…

Übersetzungen

Quellbezeichnungen (PT) → Ihre Übersetzungen (DE) für den Endnutzer

Oberste Ebene der Baumstruktur. Quellbezeichnung (PT) kommt von turismo.azores.gov.pt, Ihre Übersetzung (DE) erscheint für den Endnutzer.

SlugPortuguês (Quelle)Deutsch (Ihre Übersetzung)
Lade…

Geo-Validierung

GPS → Adresse (Nominatim / OpenStreetMap)

Fehlende ergänzen — nur leere Felder werden befüllt, nie überschrieben.
Plausibilitätsprüfung — GPS-Position wird gegen Kreis/PLZ geprüft. Abweichungen = Verdacht auf Fehler in Quelle.
PLZ-Check — unvollständige oder unbekannte PLZ werden markiert.

🌐 Browser-Scraping

Dein Browser ruft die Seiten ab und schickt sie an den Server

Phase 1 — Listenseiten

Phase 2 — Pin-Details

Einzelne URL

📋 Log

Scraper mit Proxy

Scraping über Proxy-Server — umgeht IP-Sperrung

🔌 Proxy-Konfiguration

Der Server leitet alle Scraping-Requests über diesen Proxy. Format: http://ip:port

● Deaktiviert

Phase 1 — URL-Index aufbauen (Listing-Seiten)

Trägt die gewünschten Listing-Seiten in die Warteschlange ein und ruft sie dann nacheinander einzeln ab. Jeder Aufruf dauert max. 30 Sek. — kein Timeout.

KREISE AUSWÄHLEN (leer = globales Scraping von/bis)
Lade Kreise…

Einzelne URL manuell scrapen

Phase 2 — Pin-Details abrufen

Ruft für gesammelte URLs die Detailseite ab. Selektiv nach Kreis, Kategorie oder fehlenden Geodaten.

KREISE (leer = alle)
Lade…
KATEGORIEN (leer = alle)
Lade…
📋 Live-Log

GPX-Tracks und PDF-Folhetos von der Quelle herunterladen und lokal speichern.

GPX-TRACKS
—
PDF FOLHETOS
—
TRAIL-KARTEN (MAPA)
—
OBJEKTBILDER (PIX)
—

Export

🗑 Gelöschte Pins (Log)

Pins die über Staging als gelöscht markiert und entfernt wurden. Nützlich für Geodaten-Exporte um veraltete Einträge zu identifizieren.

🗺️ GPX Export — Waypoints

— POIs ausgewählt

📋 Export-Historie (letzte 30)

Klicke Aktualisieren um die Historie zu laden.

🔍 Duplikate

Doppelte Einträge anhand der Pin-URL erkennen

🗺 Mapper

Textvarianten Aktivitätstypen zuordnen

Kategorie wählen und laden.

Einstellungen & Datenpflege

🤖 Auto-Übersetzung

Nutzt MyMemory — kostenlos, kein Account, keine Kreditkarte.
Optional: E-Mail eintragen → 50.000 Zeichen/Tag statt 5.000. Keine Registrierung nötig, nur als Kennung.
Ohne E-Mail: 5.000 Zeichen/Tag · Mit E-Mail: 50.000 Zeichen/Tag

🏷️ Kategorie-Typ-Manager

Legt fest welche Typen/Untertypen im Edit-Popup für jede Kategorie zur Auswahl stehen.
↺ Reset pro Kategorie lädt die tatsächlichen Untertypen aus den Pins. Neue Typen werden beim Scraping automatisch erkannt.
Klicke "🔍 Aus Pins scannen" um zu starten

🚑 Notfall-Reparatur

Versehentlich deaktivierte Pins wiederherstellen
Behebt den Bug bei dem Pins nach dem Bearbeiten aus der Liste verschwanden (is_active wurde fälschlich auf 0 gesetzt).

🔧 Datenpflege

🕐 Öffnungszeiten normalisieren
Konvertiert alle Formate (08:00 / 20:00, fechado, value-Objekte) in einheitliches {open, close} Format.
🍽 Spezialitäten normalisieren
Trennt Freitext-Spezialitäten in einzelne Array-Elemente auf. x e y = UND.
…
…
🔗 Quelle