# robots.txt für exist.de
# -------------------------------------------
# Crawling-Regeln für Suchmaschinen & Bots
# -------------------------------------------

User-agent: *
# Verhindere Zugriff auf sensible WordPress-Verzeichnisse
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/

# Erlaube wichtige Ajax-Funktionalität
Allow: /wp-admin/admin-ajax.php

# Optional: Verhindere Zugriff auf typische WordPress-Dateien (können beim Crawling zu unnötigem Traffic führen)
Disallow: /readme.html
Disallow: /license.txt
Disallow: /xmlrpc.php

# Sitemap einbinden
Sitemap: https://exist.de/sitemaps.xml