Tabla de contenidos
Esta página es una referencia rápida de user agents que necesitas conocer si configuras un robots.txt, analizas logs de servidor o montas cualquier cosa que tenga que ver con bots.
La versión original de este artículo (2013) era un volcado de 9.999 user agents de navegadores. Eso ya no sirve de mucho — los user agents de navegadores cambian cada pocas semanas y Chrome lleva años congelando el suyo. Lo que sí importa hoy es saber qué bots de IA y qué crawlers de buscadores pasan por tu web.
Si lo que buscas es entender qué bloquear y qué permitir en tu robots.txt, tengo una guía práctica de robots.txt y bots de IA donde explico cómo tomar esa decisión.
Bots de IA por empresa
Cada empresa de IA tiene varios bots con funciones distintas. Bloquear uno no bloquea los otros.
| Empresa | Bot | User Agent | Función |
|---|---|---|---|
| OpenAI | GPTBot | GPTBot | Entrenamiento de modelos |
| OAI-SearchBot | OAI-SearchBot | Búsqueda en ChatGPT | |
| ChatGPT-User | ChatGPT-User | Petición de usuario | |
| Anthropic | ClaudeBot | ClaudeBot | Entrenamiento de modelos |
| Claude-SearchBot | Claude-SearchBot | Búsqueda en Claude | |
| Claude-User | Claude-User | Petición de usuario | |
| Google-Extended | Google-Extended | Entrenamiento de Gemini/Vertex | |
| Google-CloudVertexBot | Google-CloudVertexBot | Grounding de respuestas IA | |
| Perplexity | PerplexityBot | PerplexityBot | Búsqueda IA |
| Perplexity-User | Perplexity-User | Petición de usuario | |
| Meta | Meta-ExternalAgent | Meta-ExternalAgent | Entrenamiento de modelos |
| Meta-ExternalFetcher | Meta-ExternalFetcher | Petición de usuario | |
| ByteDance | Bytespider | Bytespider | Entrenamiento (TikTok/Doubao) |
| Apple | Applebot | Applebot | Búsqueda (Siri, Spotlight) |
| Applebot-Extended | Applebot-Extended | Entrenamiento Apple Intelligence | |
| Amazon | Amazonbot | Amazonbot | Alexa / Amazon search |
| DuckDuckGo | DuckAssistBot | DuckAssistBot | Respuestas IA de DuckDuckGo |
| Common Crawl | CCBot | CCBot/2.0 | Dataset abierto de entrenamiento |
| Mistral | MistralAI-User | MistralAI-User | Petición de usuario |
Nota: Google AI Overviews usa Googlebot estándar, no Google-Extended. Bloquear Google-Extended no afecta a tu visibilidad en Search.
Bots de buscadores
Los de siempre. Estos los quieres permitir en el 99% de los casos.
| Buscador | User Agent | Notas |
|---|---|---|
Googlebot/2.1 | Crawler principal | |
Googlebot-Image/1.0 | Imágenes | |
Googlebot-Video/1.0 | Vídeos | |
Googlebot-News | Google News | |
Storebot-Google/1.0 | Google Shopping | |
| Bing | bingbot/2.0 | Crawler principal |
msnbot/2.0b | Legacy (todavía activo) | |
| Yandex | YandexBot/3.0 | Buscador ruso |
| Baidu | Baiduspider/2.0 | Buscador chino |
| DuckDuckGo | DuckDuckBot/1.1 | Búsqueda orgánica |
User agents de navegadores principales
Los navegadores modernos comparten un user agent muy similar (todos derivan de Chrome/Chromium). Chrome además congela parte de su user agent desde la versión 101, así que las versiones no siempre reflejan la realidad.
Chrome (Windows):
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36Firefox (Windows):
Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:123.0) Gecko/20100101 Firefox/123.0Safari (macOS):
Mozilla/5.0 (Macintosh; Intel Mac OS X 14_3_1) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Safari/605.1.15Edge (Windows):
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36 Edg/122.0.0.0Chrome (Android):
Mozilla/5.0 (Linux; Android 14; Pixel 8) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.6261.64 Mobile Safari/537.36Safari (iPhone):
Mozilla/5.0 (iPhone; CPU iPhone OS 17_3_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.2 Mobile/15E148 Safari/604.1Cómo usar esta lista
Para configurar robots.txt: Usa los valores de la columna “User Agent” de las tablas de arriba. Ejemplo:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /Para analizar logs de servidor: Busca los user agents en tus access logs para ver qué bots te visitan y con qué frecuencia.
Para scraping/testing: Si necesitas rotar user agents de navegadores para tus scripts, los strings de la sección de navegadores te sirven como base. Pero ten en cuenta que los servicios anti-bot modernos detectan mucho más que el user agent — fingerprinting, TLS, headers, comportamiento de navegación.
Referencia relacionada
Si quieres entender qué bots bloquear y cuáles permitir — y cómo Cloudflare puede estar bloqueando bots de IA sin que lo sepas — tengo una guía completa: Robots.txt y bots de IA: guía práctica.
Para la perspectiva estratégica de por qué importa la visibilidad en IA: SEO para inteligencia artificial: GEO, AEO y lo que dicen los datos.