Hay dos tipos de rastreador de IA: los de recuperación, que buscan en el momento para componer una respuesta con cita, y los de entrenamiento, que recogen contenido para entrenar modelos. Se pueden tratar distinto en el archivo robots, y varios de los que se activan a petición de un usuario lo ignoran por diseño.
Los dos tipos, y por qué la distinción decide todo
| Tipo | Para qué entra | Qué te da a cambio |
|---|---|---|
| Recuperación en el momento | Componer una respuesta ahora | Cita y visitas |
| Entrenamiento | Alimentar un modelo | Nada directo |
| Indexación de buscador con IA | Mantener un índice propio | Presencia en su buscador |
La segunda fila es la que genera el debate y la primera es la que decide el negocio. Bloquear a los rastreadores de recuperación es renunciar a aparecer citado en esas superficies, y esa es una decisión comercial que conviene tomar mirando qué recibes a cambio.
Para un medio que vive de sus visitas, el cálculo puede salir en una dirección. Para una empresa que quiere que la recomienden cuando alguien pregunta por su categoría, sale bastante claro en la otra.
Qué es y qué no es el archivo robots
Es un fichero de texto en la raíz de tu dominio que declara qué agentes pueden recorrer qué rutas. Es una convención, no un mecanismo de seguridad.
Eso significa dos cosas incómodas. Que su cumplimiento es voluntario, y que quien decida ignorarlo puede hacerlo sin consecuencia técnica. Los rastreadores de las empresas grandes lo respetan porque les conviene reputacionalmente, y hay muchos que no.
Significa también que no protege nada. Una página que no quieres que se vea no se protege con este fichero: se protege con control de acceso. De hecho, listar una ruta ahí la hace más visible para quien la lea con malas intenciones.
Y significa que bloquear el rastreo no es lo mismo que impedir la indexación. Son dos mecanismos distintos que se confunden constantemente, y confundirlos produce el caso clásico de una página que aparece en resultados sin descripción, porque se bloqueó el rastreo pero no la indexación.
Los que lo ignoran por diseño
Esta es la parte que casi nadie explica y que hace que muchas decisiones sean falsas.
Cuando un rastreador se activa porque un usuario concreto ha pedido algo (ha pegado un enlace, ha pedido que se lea una página, ha hecho una pregunta que exige consultar una web), varios sistemas lo tratan como una acción del usuario y no como un rastreo automático. Y en esa lectura, el archivo robots no aplica.
La consecuencia práctica es que un bloqueo puede reducir mucho el rastreo masivo y dejar intacto el acceso puntual. Si tu objetivo era que nadie lea tu contenido, el fichero no lo consigue.
Contra ese caso solo funciona el control en el servidor: limitar por agente, por dirección de origen o exigir autenticación. Es más trabajo, tiene efectos secundarios y hay que decidir si el motivo lo justifica. Quién entra de verdad a una web y con qué agente está en el artículo sobre los rastreadores de IA.
Esto lo hacemos nosotros, todos los días y desde Barcelona.
Ver SEO técnicoCómo se decide a quién dejar entrar
No es una decisión técnica. Es una decisión de modelo de negocio, y por eso la toma mal quien la delega en quien administra el servidor.
La pregunta es qué vendes. Si vendes acceso a tu contenido (suscripciones, publicidad sobre tus propias páginas, un archivo que es el producto), cada respuesta que resume tu trabajo sin traer a nadie te resta. Ahí bloquear tiene lógica y hay medios que lo han hecho.
Si vendes cualquier otra cosa y tu contenido existe para que te conozcan, esas respuestas son distribución gratuita. Aparecer citado cuando alguien pregunta por tu categoría es exactamente lo que estabas intentando comprar por otras vías.
Hay una postura intermedia que funciona para bastantes empresas: permitir los rastreadores de recuperación, que traen visibilidad, y decidir por separado sobre los de entrenamiento, que no devuelven nada directo. No es incoherente y es fácil de escribir.
Cómo se escribe sin romper nada
Con tres precauciones, porque un error aquí es de los pocos que puede sacarte del buscador entero.
Nunca bloquees a los rastreadores del buscador para arreglar lo de la IA. Son agentes distintos, con nombres distintos, y confundirlos es el error catastrófico de este fichero.
Comprueba el resultado con una herramienta, no leyendo. Search Console permite ver cómo interpreta Google tu fichero, y esa comprobación evita el escenario en el que una regla mal escrita bloquea más de lo que pretendía.
Y anota por qué, con un comentario dentro del propio fichero y una fecha. Estas decisiones las toma alguien un martes por una razón concreta, y dieciocho meses después nadie recuerda cuál era.
Un cuarto consejo práctico: revisa el fichero después de cualquier migración o cambio de plataforma. Es uno de los sitios donde con más frecuencia aparece una regla de la fase de pruebas que se quedó bloqueando el sitio entero.
Qué cuesta de verdad dejarlos entrar
Hay un argumento a favor del bloqueo que no es ideológico y que casi nunca se menciona: el consumo.
Algunos rastreadores piden muchas páginas y con mucha frecuencia, y en un sitio grande alojado en un servidor ajustado eso se nota en la factura y a veces en la velocidad para las personas. Es un motivo legítimo para limitar, y no es lo mismo que bloquear: se puede reducir el ritmo en lugar de cerrar la puerta.
El segundo coste es de contenido. Si tu producto es la información en sí (informes, bases de datos, un archivo histórico), permitir la recuperación significa que la respuesta puede resolver la consulta sin que nadie llegue a tu página. Es el mismo dilema que trajeron los fragmentos destacados hace años, con más fuerza.
Y el tercero es de control. Una vez leído, tu texto puede aparecer parafraseado, mezclado con otras fuentes y sin el matiz que tú habías puesto. No hay mecanismo para corregir eso caso a caso, y conviene saberlo antes de decidir.
Frente a esos tres costes está lo que se compra: aparecer cuando alguien pregunta por tu categoría, que para la mayoría de las empresas es exactamente el momento que llevan años intentando comprar.
Qué pasa con los ficheros de índice para modelos
Han circulado bastante como si fueran el equivalente a un sitemap para la IA, y conviene poner las cosas en su sitio.
Google ha dicho expresamente que no los usa, y no hay evidencia pública de que ningún sistema grande los consulte para decidir a quién cita. Como palanca de visibilidad, hoy no lo son.
Como índice legible para una persona que llega a leer, sí tienen algún sentido, igual que lo tiene una página que explique qué es tu sitio y dónde está lo importante. Ese es su valor honesto y es pequeño.
Lo que no conviene es sustituir trabajo real por un fichero. El análisis completo está en el artículo sobre por qué llms.txt no sirve.
Cómo se revisa esto cada cierto tiempo
Aparecen agentes nuevos constantemente, así que una decisión tomada hace un año está desactualizada casi con seguridad.
La rutina útil es trimestral y tiene dos pasos. Primero, mirar los registros del servidor para ver qué agentes están entrando de verdad, cuántas páginas piden y con qué frecuencia. Segundo, comparar esa lista con lo que dice tu fichero y decidir sobre los nuevos.
Ese primer paso da además información que no está en ningún otro sitio: si un rastreador está consumiendo recursos de forma desproporcionada, si alguno está entrando por rutas que no debería, o si el que te interesa no está entrando nunca.
Conviene además guardar la versión anterior del fichero cada vez que se toca. Es un archivo pequeño, lo edita poca gente y una regla mal puesta puede tardar semanas en manifestarse como una caída de tráfico que nadie relaciona con ese cambio.
Cuando esta revisión forma parte de un mantenimiento y no de un arreglo puntual, es SEO técnico, y qué incluye ese trabajo de forma continuada está en el artículo correspondiente.
