# 1. Bloquear bots de herramientas SEO que consumen muchos recursos
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: SEMrushBot
User-agent: Rogerbot
User-agent: DotBot
User-agent: Exabot
User-agent: BLEXBot
User-agent: SeznamBot
Disallow: /

# 2. Bloquear bots de Inteligencia Artificial (evita que usen tu contenido y saturen el servidor)
User-agent: GPTBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: FacebookBot
User-agent: OmigariBot
User-agent: Anthropic-ai
User-agent: Claude-Web
Disallow: /

# 3. Bloquear buscadores secundarios que suelen ser agresivos
User-agent: Yandex
User-agent: Baiduspider
User-agent: Mail.RU_Bot
Disallow: /

# 4. Configuración para buscadores buenos (Google, Bing)
# Les pedimos que no rastreen carpetas pesadas o privadas
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /search/
Disallow: /tmp/
Disallow: /config/

# 5. Intentar reducir la velocidad de rastreo (algunos bots lo respetan)
Crawl-delay: 10