# ============================================================
# robots.txt — Berita Satu Indonesia
# https://beritasatuindonesia.online/robots.txt
# Mengikuti Bing Webmaster Guidelines
# ============================================================

# ── Izinkan semua crawler utama ──────────────────────────────
User-agent: *
Allow: /

# ── Sitemap ──────────────────────────────────────────────────
Sitemap: https://beritasatuindonesia.online/sitemap.xml

# ── Crawl-delay agar server tidak kelebihan beban ────────────
Crawl-delay: 1

# ============================================================
# Direktif spesifik per bot
# ============================================================

# Bingbot (Microsoft Bing)
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# Googlebot
User-agent: Googlebot
Allow: /

# Googlebot-Image
User-agent: Googlebot-Image
Allow: /assets/

# Googlebot-News
User-agent: Googlebot-News
Allow: /berita/

# MSNBot (Bing legacy)
User-agent: MSNBot
Allow: /

# DuckDuckBot
User-agent: DuckDuckBot
Allow: /

# Applebot
User-agent: Applebot
Allow: /

# Yahoo Slurp
User-agent: Slurp
Allow: /

# ============================================================
# Larang bot berbahaya / scraper yang tidak diinginkan
# ============================================================
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# ============================================================
# Host canonical (bantu Bing memahami URL utama)
# ============================================================
Host: https://beritasatuindonesia.online