Quién te rastrea para entrenar IA, y a quién dejas entrar

Quién es quién

La tercera columna es la que cambia todas las conversaciones sobre este asunto, y es la que casi nunca aparece cuando alguien recomienda «bloquear los bots de IA» en dos líneas.

La distinción que decide: entrenar o responder

Son cosas distintas, con agentes distintos, y mezclarlas produce decisiones equivocadas en las dos direcciones.

Un rastreador de entrenamiento recoge contenido que servirá para entrenar un modelo. No te devuelve nada directo: ni una cita, ni una visita, ni una mención. Lo que se decide sobre él es una cuestión de propiedad y de criterio, no de marketing.

Un rastreador de recuperación busca en el momento porque alguien ha preguntado algo ahora, y lo que encuentra puede acabar citado con un enlace en la respuesta. Ese sí trae visibilidad y visitas.

Y un rastreador de índice mantiene un buscador propio, que funciona como cualquier otro buscador.

Para bastantes empresas, la postura razonable es permitir los dos últimos, que traen visibilidad, y decidir aparte sobre el primero. Es una posición coherente y se escribe en cuatro líneas.

Google-Extended, que es un caso aparte

Merece explicación porque se malinterpreta con frecuencia y el error es caro.

Google-Extended no controla si apareces en la Búsqueda. Controla si tu contenido se usa para determinados productos de IA de Google. Bloquearlo no te saca del buscador, y bloquear al rastreador del buscador para intentar arreglar lo de la IA sí te saca, que es el error catastrófico de este asunto.

Además, desde el 31 de agosto de 2026 existe un control específico para pedir no aparecer en las funciones generativas de Google, disponible globalmente. Es una decisión distinta de la anterior y tiene un precio claro: renuncias a esas impresiones y a los clics que salen de ahí.

Antes de tocar cualquiera de las dos cosas conviene tener claro qué se gana y qué se pierde, porque son de las pocas palancas de este oficio que se activan en un minuto y se notan durante meses.

Los que no obedecen, y qué hacer con ellos

Cuando un rastreador se activa porque un usuario concreto ha pedido algo (ha pegado un enlace, ha pedido que se lea una página), varios sistemas lo tratan como una acción de esa persona y no como un rastreo automático. En esa lectura, el archivo robots no aplica.

Eso significa que un bloqueo puede reducir mucho el acceso masivo y dejar intacto el puntual. Si el objetivo era que nadie lea tu contenido, ese fichero no lo consigue.

Contra ese caso solo funciona el control en el servidor: limitar por agente, por dirección de origen, o exigir autenticación. Tiene más coste, tiene efectos secundarios y hay que decidir si el motivo lo justifica.

Y hay un matiz legal que conviene tener presente: el archivo robots es una convención, no un mecanismo de seguridad. Una página que de verdad no debe verse no se protege ahí, se protege con control de acceso. Listar una ruta en ese fichero incluso la señala a quien lo lea con malas intenciones.

Cómo se sabe quién está entrando de verdad

Con los registros del servidor, que es la única fuente que dice lo que pasa en lugar de lo que debería pasar.

Ahí se ve qué agentes piden páginas, cuántas, con qué frecuencia y a qué horas. Y aparecen cosas que sorprenden: rastreadores que nadie esperaba, agentes que consumen recursos de forma desproporcionada, o el rastreador que más te interesaba y que resulta que no entra nunca.

Ese último caso es el más útil de descubrir. Si el agente que compone respuestas citando fuentes no está pasando por tu web, no hay nada que optimizar encima, y la causa suele ser una regla vieja o una web cuyo contenido no llega sin ejecutar código.

También conviene mirar la relación entre páginas pedidas y páginas útiles. Un rastreador que se pasea por miles de direcciones generadas por filtros o parámetros está gastando tu servidor en contenido que no querías publicar, y eso es un síntoma de arquitectura antes que un problema de rastreadores.

Aparecen agentes nuevos constantemente, así que esta revisión se hace cada trimestre y no una vez. Una decisión tomada hace un año está desactualizada casi con seguridad.

Por qué bloquear no siempre hace lo que se espera

Hay tres malentendidos que producen decisiones que no consiguen su objetivo, y merece la pena enumerarlos porque los tres son frecuentes.

Bloquear el rastreo no impide la indexación. Son dos mecanismos distintos. Si una página está bloqueada al rastreo pero enlazada desde fuera, puede seguir apareciendo en resultados, sin descripción porque nadie ha podido leerla. Es el peor de los dos mundos.

Bloquear hoy no borra lo de ayer. Un modelo que ya se entrenó con tu contenido no lo olvida porque cambies un fichero. El bloqueo actúa hacia adelante, y quien lo presenta como una retirada está exagerando lo que compra.

Y bloquear a unos no bloquea a todos. Hay agentes que no publican su nombre, que se presentan como un navegador normal o que cambian de identificador. Contra esos, una lista de nombres no hace nada, y aumentar la lista da una sensación de control que no se corresponde con la realidad.

La conclusión práctica no es rendirse. Es dimensionar la decisión: bloquear reduce el acceso de los que juegan con las reglas, y esos son precisamente los que te citarían.

Qué gana y qué pierde una empresa dejándolos entrar

Gana visibilidad en el momento en que alguien pregunta por su categoría, que es exactamente el momento que llevaba años intentando comprar por otras vías.

Gana referencias que otros sistemas también leen, porque una mención circula.

Pierde control sobre el texto. Tu contenido puede aparecer parafraseado, mezclado con otras fuentes y sin el matiz que tú habías puesto, y no hay mecanismo para corregirlo caso a caso.

Pierde parte del clic. Si tu página responde una pregunta y la respuesta la resuelve arriba, una parte de la gente no baja. Para un medio que vive de sus visitas esto puede ser decisivo; para una empresa que quiere que la recomienden, mucho menos.

Y paga consumo. Algunos rastreadores piden muchas páginas y con frecuencia, y en un sitio grande con un servidor ajustado eso se nota. Ahí la respuesta razonable suele ser limitar el ritmo, no cerrar la puerta.

Qué hacer esta semana

Tres cosas, y ninguna cuesta dinero.

Abre tu archivo robots y léelo entero. Comprueba si hay reglas que nadie recuerda haber puesto, sobre todo si alguna vez hubo una migración o un cambio de plataforma: es el sitio donde más a menudo sobrevive una regla de la fase de pruebas.

Mira los registros del servidor de la última semana y anota qué agentes de IA aparecen. Compara esa lista con lo que dice tu fichero.

Y decide, por escrito y con la fecha, qué postura tomas con cada grupo, dejando el motivo anotado dentro del propio fichero. Dieciocho meses después nadie va a recordar por qué se bloqueó algo un martes.

Cómo se escriben esas reglas sin romper nada está en la guía de robots.txt y rastreadores de IA, por qué un fichero de índice para modelos no sustituye a esto está en el artículo sobre llms.txt, y qué le piden a tu web los agentes que además compran está en los agentes que compran.

Cuando esta revisión forma parte de un mantenimiento y no de un arreglo puntual, es SEO técnico.