Crawlers de IA: GPTBot, robots.txt y bloqueos que matan el GEO

Respuesta rápida

Los crawlers de IA recorren la web para entrenar, recuperar o ambas cosas. Si robots.txt o el WAF les niega el paso, tu contenido no entra en ese canal. Es el equivalente GEO a noindex, con menos teatro.

Puntos clave

Si bloqueas GPTBot, ClaudeBot o PerplexityBot, estás pidiendo no ser recuperado por esos sistemas.
robots.txt no es llms.txt: uno puede bloquear, el otro solo guía.
Googlebot y Google-Extended son señales distintas; revísalas por separado.
Performance Media audita bloqueos de WAF/CDN y robots antes de producir contenido.
Desbloquear no garantiza cita; bloquear sí garantiza ausencia en ese corpus.

Crawlers de IA y robots.txt: la puerta que muchos cierran sin saber

Performance Media revisa esto en el mes 1, junto a schema y Entity Home. No tiene sentido un clúster brillante detrás de un 403.

Actores habituales (revisa la lista viva)

User-agent	Ecosistema	Pregunta que debes hacerte
GPTBot / OAI-SearchBot	OpenAI / ChatGPT	¿Quiero entrenamiento, búsqueda, o ambos?
ClaudeBot / Applebot-Extended	Anthropic y partners	¿Bloqueo entrenamiento y dejo retrieval?
PerplexityBot	Perplexity	Si lo bloqueas, no esperes citas ahí
Googlebot	Búsqueda Google	Base de Overviews/Gemini
Google-Extended	Uso en Gemini/Vertex (políticas Google)	Distinto de Googlebot; léelo aparte
Bingbot	Bing / Copilot	Crítico si te importa Copilot

Las políticas cambian. La operación no: inventario de agentes, decisión explícita, documentación.

robots.txt vs WAF vs JS

robots.txt: petición educada. Algunos agentes la respetan.
WAF/CDN: un challenge de bot puede tumbar crawlers «buenos».
JS-only: el crawler ve un cascarón. Renderiza el texto crítico en HTML.

Verifica con el source (curl), no con el DOM de tu Chrome logado.

Política razonable para un B2B que quiere GEO

Permitir rastreo de búsqueda (Googlebot, Bingbot, OAI-SearchBot si aplica).
Decidir entrenamiento (GPTBot) con legal, no con un plugin en default deny.
No bloquear PerplexityBot si Perplexity es un KPI.
Mantener llms.txt alineado: no invites a URLs que robots deniega.
Revisar tras cada cambio de seguridad.

Preguntas frecuentes

¿Bloquear entrenamiento impide que ChatGPT me cite con búsqueda?

No necesariamente. Son tuberías distintas. Bloquear el bot de búsqueda sí impide recuperación.

¿Google-Extended es Googlebot?

No. Puedes permitir búsqueda y limitar ciertos usos de IA según la política vigente de Google. Léela antes de copiar un snippet de Reddit.

¿El plugin SEO ya lo cubre?

A menudo incluye un toggle que bloquea IA «por privacidad» y nadie lo revisó.

¿llms.txt sustituye a robots?

No. robots puede prohibir. llms.txt no.

¿Performance Media toca robots sin IT?

Con accesos, sí. Hay una guía interna para IT precisamente por WAF y schema.

¿Abrir crawlers tiene riesgo de scraping?

Sí, de negocio y de contenido. El trade-off de GEO es visibilidad vs control. Decídelo; no lo dejes en default.

Conclusión

Antes de pedir citas, abre la puerta a quien quieres que te lea. Luego escribe chunks.

Siguiente paso

En la auditoría Performance Media mira robots, WAF y citas a la vez.

Notas y fuentes

Los plazos, umbrales y marcos de trabajo atribuidos a Performance Media en este artículo corresponden a su metodología propia de GEO, derivada de la medición continua de respuestas en proyectos de cliente; varían según sector y punto de partida.

Cómo citar este artículo

Performance (2026). Crawlers de IA: GPTBot, robots.txt y bloqueos que matan el GEO. Performance Media. https://performancemedia.io/blog/crawlers-de-ia-gptbot-robots-txt/