Robots.txt | ¿Qué es, por qué tenerlo y cómo hacerlo en WordPress con Yoast SEO?

Otro de los muchos palabrejos que nos vamos a tener que saber si queremos ser un buen consultor SEO (como yo, que aprovecho para hacer publi de los servicios). Esta te va a sonar rara, pero en cuento te lo explique verás que es una auténtica tontería: robots.txt. Esto le va a decir a Google qué tiene que leer de tu web, que no y cómo hacerlo. Es casi como una guía para los «spider» de Google para que sepan cómo moverse por tu web. Entre esto y el sitemap del que hablamos el otro día, ya lo tenemos todo para iniciarnos en el basto mundo del SEO técnico.

❌ Esto no es una guía completa de SEO técnico
✅ Esto sí es un artículo para que sepas qué es el robot.txt y cómo hacerlo en WordPress

¿Qué es el robots.txt?

Vamos a poner un ejemplo ilustrativo y fácil de comen prender. Vamos a por otra de mis metáforas técnicas: el archivo robots.txt es como el conserje de un gran edificio de oficinas, en este caso, la oficina es tu web. Este conserje está en la entrada principal (la raíz de las URLS de tu web) y tiene un listado de las reglas para los visitantes. En lugar de personas, los visitantes son los rastreadores (o spiders que hemos dicho antes) de los motores de búsqueda, como Google (principalmente).

Estas reglas le dicen a los rastreadores a qué partes del edificio pueden entrar y a cuáles no. Por ejemplo, puedes indicarle que no entre en la sala de archivos privados (como la carpeta de administración de tu web o cualquier categoría que no quieres que se indexe en Google) o en zonas que todavía están en construcción (algunas categoría o landings que no hayas finiquitado). Es una manera de guiar a los rastreadores para que solo indexen el contenido que a ti te interesa que se vea en los resultados de búsqueda.

¿Por qué es importante para tu web?

Podría darte una lista infinita de motivos, porque soy un brasas y porque los hay jeje 😅 pero nos vamos a centrar en los 3 más importantes y los que seguro que más te interesan como SEO y como gestor de la web:

• Le dices a Google donde gastar su energía en ti: Los rastreadores de Google (los «visitantes») tienen un presupuesto de rastreo. Esto es como el tiempo que un conserje tiene para revisar un edificio. Si los rastreadores pierden tiempo intentando entrar en zonas que no deben (como carpetas con archivos de poco interés o páginas duplicadas), se «funden» ese presupuesto. Al usar el robots.txt, los guías directamente a las partes importantes, asegurándote de que el presupuesto de rastreo se use de manera eficiente para indexar lo que realmente te importa a ti.
• Mantiene el orden y la privacidad: Imagina que tienes una sección de tu web con información sensible o que no quieres que aparezca en Google, como la página de inicio de sesión o un área de uso particular para un tipo de clientes. El robots.txt es como un letrero de «Solo personal autorizado» que le indica a los rastreadores que no se metan ahí. 🕵️‍♂️ Así, evitas que esas páginas salgan en los resultados de búsqueda.
• Mejora la calidad de la información: Al indicarle a los rastreadores qué contenido es importante y cuál no, estás ayudando a que Google muestre la mejor versión de tu página en los resultados de búsqueda. Es como decirle al conserje: «Por favor, limpia y arregla solo estas salas, que son las que los invitados van a ver».

¿Cómo hacer el robots.txt en WordPress con Yoast SEO?

Esta es la parte más divertida e indispensable. Si no haces esto, nada de lo que hayas leído tendría sentido. Vamos a ver cómo puedes hacer esto en tu propia web WordPress con el plugin de Yoast SEO. Si no sabes lo que es Yoast SEO, no te preocupes, lo trataremos en otro pedazo de artículo:

1️⃣ Te vas a tu Panel de Control de WordPress y buscas Yoast SEO > Herramientas

2️⃣ Clicas en «Crear archivo robots.txt»

Con esto ya tendrías el archivito robots.txt en tu raíz y en tu URL para que Google sepa qué mirar y cómo mirarlo. El ejemplo que hemos creado de esta web lo puedes ver aquí: julifendez.es/robots.txt. Si te fijas, lo que hace el archivo es decirle a los rastreadores que se vayan al sitemap. Algo que ya explicamos la semana pasada y que puedes ver aquí. Así lo que hacemos es mandar siempre a Google donde nosotros queremos.