# robots.txt für https://fox-com.net
# 📅 Zuletzt aktualisiert: 2024-02-08
# 🌐 Steuert, wie Suchmaschinen deine Website indexieren

# ===========================
# 🌍 Allgemeine Regeln für alle Crawler
# ===========================

User-agent: *
# ✅ Erlaube das Crawlen der Hauptseiten
Allow: /

# ✅ Erlaube das Crawlen von wichtigen Ressourcen und Bilderordnern
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /Menau/
Allow: /Marco/

# 🚫 Blockiere sensible oder irrelevante Bereiche
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /cgi-bin/
Disallow: /backup/
Disallow: /drafts/

# 🚫 Blockiere URL-Parameter, um Duplicate Content zu vermeiden
Disallow: /*?sessionid=
Disallow: /*&sort=
Disallow: /*?ref=

# ===========================
# 🤖 Spezifische Regeln für Googlebot
# ===========================

User-agent: Googlebot
# ✅ Erlaube das Crawlen von wichtigen Skripten, Stylesheets und Bildern
Allow: /css/
Allow: /js/
Allow: /images/
Allow: /Menau/
Allow: /Marco/

# ===========================
# 🚀 Sitemap & Crawling-Frequenz
# ===========================

# 📌 Sitemap für bessere Indexierung
Sitemap: https://fox-com.net/sitemap.xml

# ⏱️ Crawling-Delay für Server-Entlastung (optional)
Crawl-delay: 5