Cómo crear un archivo Robots.txt: guía paso a paso para 2025
Cómo configuré mi archivo Robots.txt correctamente con pequeñas herramientas de SEO
Sinceramente, crear un robots.txtarchivo parece bastante sencillo al principio. Pero en la práctica, me encontré con varios contratiempos la primera vez. Es uno de esos archivos diminutos que realmente pueden marcar la diferencia: controlan cómo los motores de búsqueda rastrean tu contenido. Si lo arruinas, las páginas podrían no indexarse o, peor aún, tu servidor podría verse inundado de bots. Así que encontré una manera de hacerlo sin tener que meterme en código complejo, pero vaya, la interfaz de usuario de esta herramienta puede ser un poco confusa si no prestas atención.
Paso 1: Accede al generador de robots de pequeñas herramientas de SEO
Primero, abre tu navegador, cualquiera que uses habitualmente. Chrome, Firefox, Edge, no importa. Si eres como yo, probablemente ya tengas mil pestañas abiertas, así que esta fue solo una más. Dirígete al generador de robots.txt de Small SEO Tools. Está un poco enterrado, honestamente. No todo en el sitio está al frente; a veces tuve que buscar en los menús o desplazarme por las páginas de otras herramientas para encontrarlo.¿Lo principal? Encuentra el enlace al generador de robots.txt. En mi antigua computadora portátil ASUS, estaba escondido en Herramientas de SEO; en otra máquina, estaba en Tutoriales. Guardar esto en favoritos es una buena idea si planeas volver a él a menudo.
Paso 2: Juega con la configuración: predeterminada o personalizada
Una vez ahí, verás opciones: puedes mantener los valores predeterminados, lo cual es tentador, o personalizarlos a fondo. Suelo considerar configurar un [número] crawl delayporque, aunque parezca mentira, los motores de búsqueda pueden sobrecargar tu servidor si rastrean demasiado. En un servidor compartido lento, lo configuro alrededor de [número] 10 seconds. Pero, sinceramente, varía según la configuración de tu servidor. Si tus registros muestran picos de spam, ajustar esto podría ser de gran ayuda. He probado con 5[número] segundos y me ha funcionado, pero si no quieres ralentizarlo todo innecesariamente, quizá deberías empezar con [ 10número] o superior, y luego ajustarlo según la respuesta de tu servidor.
Paso 3: Ingrese la URL de su mapa del sitio
Esta parte me confundió más de lo esperado. Debes incluir la URL exacta de tu mapa del sitio, algo como https://yourdomain.com/sitemap.xml. Incluir esto ayuda a que los motores de búsqueda descubran tus páginas más rápido y de forma más completa. No olvides revisar bien si hay errores tipográficos. He escrito URLs incorrectamente aquí más de una vez, especialmente al omitir la barra o escribir mal el dominio. Si tu sitio tiene un índice de mapa del sitio porque es grande, inclúyelo. Es importante tener en cuenta que si usas un CMS como WordPress o Shopify, tu mapa del sitio podría estar en una ubicación diferente, así que revísalo primero.
Paso 4: Elige los motores de búsqueda (o bots) a los que quieres dirigirte
Aquí es donde la cosa se pone interesante. Hay casillas para Google, Bing, Yahoo, DuckDuckGo, quizás Google Imágenes e incluso algunas menos comunes como Baidu. La opción predeterminada suele incluir Google y Bing.¿De verdad necesitas segmentarlos a todos? Depende de tu audiencia. Como mínimo, desmarca alguna si aún no quieres que rastreen tu sitio. Recuerda: estas opciones controlan el acceso de los bots. Por lo tanto, si bloqueas Bing ahora, dejará de rastrear. Ten cuidado: si tu objetivo es tener visibilidad completa, no bloquees a todos.
Paso 5: Generar y cargar el archivo
Pulsa «Crear» o «Generar» (lo que indique el botón) y obtendrás un pequeño robots.txtarchivo de texto. Ese es el que debes subir al directorio raíz de tu sitio web. Aquí es donde me equivoqué al principio: lo subía a la carpeta incorrecta. Normalmente, debería ir a la carpeta raíz, como /public_html/o /www/, según tu proveedor de alojamiento. Si no estás seguro, intenta navegar a https://yourdomain.com/robots.txten tu navegador después de subirlo. Si muestra el contenido, genial. Si es un error 404, lo has subido a otro sitio. Créeme, es un error común, sobre todo si tu proveedor de alojamiento tiene varias carpetas o si usas una configuración personalizada.
Consejo rápido:
Comprueba siempre que hayas subido el archivo a la carpeta raíz de tu sitio web. Es fácil colocarlo accidentalmente en una subcarpeta que nadie verá. Además, borra la caché o la CDN de tu sitio si usas una; a veces, las versiones antiguas permanecen y tu nuevo archivo robots.txt no es visible de inmediato.
Consejos finales y resumen
Todo este proceso puede parecer intimidante al principio, pero una vez que le coges el truco, se trata simplemente de asegurarte de que tu archivo esté en el lugar correcto y tenga las reglas correctas. Una configuración correcta puede evitarte errores de rastreo en los motores de búsqueda, desperdicio de presupuesto de rastreo o sobrecargas del servidor. Para la mayoría de los sitios pequeños, una simple robots.txtdirectiva «with» como » User-agent: *and» o » Disallow:or» Allow:funciona a la perfección. Recuerda que las reglas que establezcas aquí influyen en cómo Google o Bing ven tu sitio, así que conviene que sean precisas y concisas.
En general, generar un robots.txtarchivo con Small SEO Tools es bastante rápido una vez que entiendes qué quieres bloquear o permitir. Es increíble la diferencia que supone, especialmente si intentas mantener ciertas páginas privadas o evitar problemas de contenido duplicado. Después de configurarlo, siempre lo verifico visitando https://yourdomain.com/robots.txty revisando el contenido. También, considera enviar tu archivo robots.txt a través de Google Search Console o Bing Webmaster Tools, y presta atención a los errores de rastreo o las URL bloqueadas; pueden indicarte si algo no va bien.
Espero que esto te ayude. Me llevó demasiado tiempo resolverlo. Tómate tu tiempo, revisa dónde lo subes y considéralo un ajuste continuo si es necesario. Créeme, vale la pena hacerlo bien. Mucha suerte, y no olvides probar todo después de subirlo; tu alojamiento o CDN podría estar almacenando versiones antiguas en caché y darte una falsa sensación de seguridad.
Artículos relacionados
¿Te resultó útil este artículo?