¿Qué es robots.txt y cómo se configura en un blog WordPress?

Artículos relacionados

WordPress: Insertar texto al final de cada post

1 febrero, 2021

Ansible: Crear página web WordPress

6 noviembre, 2020

Docker con Plesk

6 febrero, 2019

¿QUÉ ES robots.txt?

La forma más cómoda que he encontrado de traspasar vuestro fichero robots.txt de vuestro blog de notas a vuestro blog WordPress es el plugin WP Robots Txt. No tenemos mas que añadirlo:

Menú Ajustes –> Lectura. Simplemente copiamos el contenido de nuestro blog de notas, o lo que nos genere automáticamente una de las webs que os muestro en el siguiente punto y pulsamos en Guardar cambios.

GENERADORES robots.txt

Si os queréis apoyar en una web para generar automáticamente vuestro fichero robots.txt os muestro un par de ejemplos, sólo tendréis que introducir vuestros datos y qué robots queréis configurar:

http://www.mcanerin.com/en/search-engine/robots-txt.asp

http://www.invision-graphics.com/robotstxt_generator.html

Siempre la mejor opción es la manual, y para cada web debe ser diferente, pero si no tenéis ni idea, es la mejor opción para ir empezando.

COMPROBAR robots.txt

Os muestro dos webs, que después de subir el fichero os dirán si os habéis colado en alguna línea, o habéis escrito mal el código:

http://www.frobee.com/robots-txt-check

http://tool.motoricerca.info/robots-checker.phtml

EDICIÓN robots.txt

Yo para editar el fichero antes de colocarlo en el plugin utilizo Notepad ++ (Windows) o Editra (Mac/Windows), ya que numeras las líneas y es fácil trabajar con código.

Cuando verifiquéis en las URLs anteriores el robots.txt veréis lo útil que es saber en qué línea está el error.

¿ES NECESARIO robots.txt?

¿Que conseguimos configurando un robots.txt? Básicamente conseguimos tener más control de quien accede a nuestra web y evitar problemas mayores:

• Impedir acceso a ciertos robots: Podemos controlar y dar acceso a algún tipo de robot de buscadores que nos interesen y impedir el acceso a otros, ya que pueden ser que traigan más problemas que beneficios. (OJO, algunos robots pueden ser dañinos para nuestra web e información).
• Reducir la sobrecarga del servidor: A veces es posible que nos encontremos que la empresa de hosting donde esta nuestra web nos indique que tenemos un alto consumo de PHP, y una de las causas puede ser algún bot “maligno”, llegando hasta SATURAR el servidor.
• Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
• Eliminar contenido duplicado: Si eliminamos la duplicidad de contenido, los buscadores nos puntuaran muy alto, aumentando el flujo de visitas.
• Fijar mapas del sitio: Podemos indicarle el camino correcto a los bots colocando un sitemap.

EJEMPLO robots.txt

Si queréis ver un ejemplo de robots.txt, lo normal es poner la URL de la web acabando en robots.txt (esto no significa que sea válido para vuestro blog)

https://www.maquinasvirtuales.eu/robots.txt

He seguido varias recomendaciones de varios SEOs, espero os sirva, dejo comentarios en cada sección.

¿Te ha gustado la entrada SÍGUENOS EN TWITTER O INVITANOS A UN CAFE?

Follow @@elblogdenegu