El 30 de octubre de 2026, Microsoft anunció que adoptará una señal común de robots.txt para preferencias sobre entrenamiento de IA. Google también planea reconocerla, pero el mecanismo no es un bloqueo técnico.
Robots.txt gana señal común para entrenamiento de IA
Microsoft y Google respaldarán una señal común en robots.txt para que los sitios expresen preferencias sobre el uso de contenido en el entrenamiento de IA.
Marcelo Santiago
Criador do bridgecode
La mayor newsletter de IA del Mundo
Recibe artículos sobre IA en tu correo
Selección técnica sobre modelos, agentes y herramientas de código. Sin spam, cancela cuando quieras.
En este artículo verás:
- Qué comunica el nuevo identificador de robots.txt.
- Cuándo pretende reconocerlo cada empresa.
- Por qué el borrador del IETF no bloquea rastreadores.
- Qué pueden preparar ahora los equipos de sitios.
El nuevo token de robots.txt expresa preferencia sobre entrenamiento de IA
El control propuesto usa un identificador especial en el campo User-agent de robots.txt. El token __usage_ai-training separa la preferencia sobre entrenamiento de las reglas de rastreo usadas por otros robots.
El Google Search Central describe este control compartido como una forma de expresar preferencias sobre entrenamiento.
Un ejemplo de instrucción para no permitir ese uso sería:
Texto
User-agent: __usage_ai-training
Disallow: /Esa sintaxis comunica una preferencia a los sistemas que reconocen el token. No altera por sí sola la visibilidad de una página en la búsqueda, no saca el contenido del índice y no impide que un rastreador ignore la instrucción.
El borrador también permite organizar reglas por ruta. Un sitio puede expresar preferencias diferentes para áreas públicas y documentación.
El contenido solo quedará fuera del entrenamiento si los servicios adoptan la especificación y respetan esa elección.
La propuesta intenta reemplazar una colección de nombres de robots específicos por una señal común.
Hoy, cada empresa puede interpretar directivas e identificadores a su manera. Esto dificulta saber si una preferencia será comprendida.
Google y Microsoft anunciaron plazos diferentes
El Google Search Central publicó el plan el 30 de octubre y pretende dar soporte a la señal en 2027. El comunicado no informa un día específico para la implementación.
Google también diferencia el nuevo token de Google-Extended, control existente para el uso de contenido en respuestas con grounding en las aplicaciones Gemini.
Microsoft informó que comenzará a reconocer las preferencias el 1 de febrero de 2027. La empresa dice que la elección no cambia la elegibilidad de las páginas en la búsqueda de Bing.
Microsoft también planea controles separados para grounding, cuando una respuesta consulta páginas para componer información actual.
| Empresa | Plazo anunciado |
|---|---|
| Durante 2027, sin día específico | |
| Microsoft | A partir del 1 de febrero de 2027 |
La diferencia entre entrenamiento y grounding importa para quien publica documentación. Microsoft detalla la separación en el anuncio de los controles.
El entrenamiento usa ejemplos para alterar el comportamiento de un modelo. Grounding consulta contenido para informar una respuesta generada, sin incorporarlo necesariamente a los parámetros del modelo.
El borrador del IETF no crea un bloqueo obligatorio
La señal está descrita en un Internet-Draft del IETF, un documento de trabajo que puede recibir comentarios y cambiar. Aún no es un RFC aprobado ni una regla obligatoria para todos los rastreadores.
El borrador del IETF describe el token como una preferencia de uso, no como una orden para impedir el acceso al contenido.
El robots.txt es público y voluntario. Ayuda a servicios cooperativos a entender reglas, pero no funciona como autenticación o firewall.
Por eso, el anuncio no significa que un sitio quedará técnicamente protegido contra copia o recolección. Para restringir el acceso a archivos privados, siguen siendo necesarios mecanismos de autenticación, autorización y control en el servidor.
El cambio debe leerse como una forma más estandarizada de comunicar intenciones. La protección efectiva depende de que cada servicio interprete la regla, declare que la respeta y aplique el comportamiento en su rastreador.
Qué equipos de sitios pueden preparar ahora
Antes de cambiar el archivo de producción, confirma qué preferencia quiere expresar el negocio. Una página puede seguir pública para búsqueda y descubrimiento, pero tener otra regla para entrenamiento o para grounding en respuestas generadas por IA.
Valida el robots.txt en ambiente de prueba y mantén las reglas actuales para los rastreadores de búsqueda que necesitan acceder al sitio.
Un bloqueo amplio puede remover páginas de los resultados tradicionales sin impedir una recolección por servicios que no siguen el nuevo token.
Después de publicar una regla, compara el archivo con los registros de acceso del servidor. Los logs ayudan a identificar qué robots visitan las páginas, pero no prueban por sí solos que un servicio usó o dejó de usar el contenido en entrenamiento.
Esta discusión se conecta con los cambios de tráfico en búsqueda conversacional. Mira el relato sobre el AI Mode y la preocupación de Reddit con el tráfico hacia la web.
Google también amplía la monetización de la búsqueda. Lee la noticia sobre anuncios de AI Mode llegando a nuevos países.
El próximo paso es seguir las fechas de cada proveedor y revisar la documentación de los rastreadores que el sitio realmente recibe. Hasta que la adopción entre en vigor, no asumas que insertar el token ya cambió el comportamiento de una empresa.
Preguntas frecuentes sobre la señal de preferencia para entrenamiento en robots.txt
¿Qué es el token __usage_ai-training?
Es un identificador de robots.txt que los sitios pueden usar para expresar preferencias sobre el uso de contenido en el entrenamiento de IA. La adopción depende de los servicios que decidan reconocerlo.
¿El token __usage_ai-training bloquea rastreadores?
No. El borrador del IETF describe el token como preferencia de uso, no como directiva de rastreo. robots.txt tampoco sustituye autenticación o firewall.
¿Cuándo reconocerán Google y Microsoft la nueva señal?
Google planea dar soporte a la señal en 2027, sin fecha específica anunciada. Microsoft dijo que comenzará a reconocerla el 1 de febrero de 2027.
¿La preferencia de entrenamiento cambia la presencia de una página en la búsqueda de Bing?
Microsoft afirma que sus preferencias de entrenamiento y grounding no alteran la elegibilidad normal de las páginas en los resultados de Bing.
¿Cuál es la diferencia entre entrenamiento de IA y grounding?
El entrenamiento usa contenido para modificar el comportamiento del modelo. Grounding consulta páginas para informar una respuesta generada, sin incorporar necesariamente ese contenido a los parámetros del modelo.
La señal común mejora la claridad, no sustituye los controles de acceso
El apoyo de Google y Microsoft puede reducir la fragmentación de preferencias para entrenamiento. Aun así, el borrador es reciente y las empresas anunciaron cronogramas diferentes.
Para quien mantiene un sitio, la prioridad es decidir qué usos permitir y separar esas decisiones de las reglas de búsqueda.
La señal ayuda a expresar la política, pero no sustituye la seguridad en el servidor. Valida cualquier cambio antes de publicarlo.
En vez de solo seguir noticias como la nueva señal de entrenamiento de IA, pon la IA a trabajar por ti en bridgecode.
Fuente: Google Search Central
Tags:#Google#Microsoft#robots.txt#treinamento de IA#IETF#grounding#web publishers
Desarrollador y creador de bridgecode, un entorno de desarrollo agéntico para orquestar squads de agentes de IA. Ayuda a quienes van del vibe coding al desarrollo profesional a pasar de la idea al producto entregado.
Artículos relacionados
Newsletter
GitHub reconstruye el almacenamiento Git para agentes
GitHub anunció la nueva arquitectura de almacenamiento Git, Project Rubicon, capaz de recibir miles de escrituras por segundo en un solo repositorio.
6 min
Newsletter
Palette: el modelo de IBM aprende a crear slides con tu estilo
IBM y Hugging Face publicaron Palette, un modelo de 20 mil millones de parámetros que genera presentaciones en código entrenado para seguir el IBM Design Language.
7 min
Newsletter
OpenAI crea un estándar para infraestructura de IA responsable
OpenAI publicó un estándar para infraestructura de IA responsable con compromisos sobre energía, agua, fuerza laboral y comunidades.
5 min