@media screen and (min-width: 580px) { .flotantewhatsapp{ display:none; } }

Compartir por WhatsApp

Inicio - Wordpress - ¿Qué es robots.txt y cómo se configura en un blog WordPress?

¿Qué es robots.txt y cómo se configura en un blog WordPress?

¿QUÉ ES robots.txt?

El fichero robots.txt es un archivo de texto que dicta unas recomendaciones (porque no siempre se hace caso) para que todos los crawlers (bots) y robots de buscadores cumplan con su trabajo, que no es otro que indexar nuestro sitio más fácilmente y no generar entradas duplicadas ni erróneas.

Dentro del fichero robots.txt se configuran los accesos y restricciones de los crawlers que son un robot de una entidad (generalmente buscadores) que acceden a las páginas web de un sitio para buscar información en ella, añadirla en los buscadores, etc. También son llamados spiders, arañas, bots o indexadores.

El bot más conocido es, como no podía ser otro googlebot, que como su propio nombre indica pertenece al buscador Google.

PLUGIN WORDPRESS robots.txt

La forma más cómoda que he encontrado de traspasar vuestro fichero robots.txt de vuestro blog de notas a vuestro blog WordPress es el plugin WP Robots Txt. No tenemos mas que añadirlo:

Menú Ajustes –> Lectura. Simplemente copiamos el contenido de nuestro blog de notas, o lo que nos genere automáticamente una de las webs que os muestro en el siguiente punto y pulsamos en Guardar cambios.

Ajustes de Lectura
Ajustes de Lectura

GENERADORES robots.txt

Si os queréis apoyar en una web para generar automáticamente vuestro fichero robots.txt os muestro un par de ejemplos, sólo tendréis que introducir vuestros datos y qué robots queréis configurar:

http://www.mcanerin.com/en/search-engine/robots-txt.asp

http://www.invision-graphics.com/robotstxt_generator.html

Siempre la mejor opción es la manual, y para cada web debe ser diferente, pero si no tenéis ni idea, es la mejor opción para ir empezando.

COMPROBAR robots.txt

Os muestro dos webs, que después de subir el fichero os dirán si os habéis colado en alguna línea, o habéis escrito mal el código:

http://www.frobee.com/robots-txt-check

http://tool.motoricerca.info/robots-checker.phtml

EDICIÓN robots.txt

Yo para editar el fichero antes de colocarlo en el plugin utilizo Notepad ++ (Windows) o Editra (Mac/Windows), ya que numeras las líneas y es fácil trabajar con código.

Cuando verifiquéis en las URLs anteriores el robots.txt veréis lo útil que es saber en qué línea está el error.

¿ES NECESARIO robots.txt?

¿Que conseguimos configurando un robots.txt? Básicamente conseguimos tener más control de quien accede a nuestra web y evitar problemas mayores:

  • Impedir acceso a ciertos robots: Podemos controlar y dar acceso a algún tipo de robot de buscadores que nos interesen y impedir el acceso a otros, ya que pueden ser que traigan más problemas que beneficios. (OJO, algunos robots pueden ser dañinos para nuestra web e información).
  • Reducir la sobrecarga del servidor: A veces es posible que nos encontremos que la empresa de hosting donde esta nuestra web nos indique que tenemos un alto consumo de PHP, y una de las causas puede ser algún bot “maligno”, llegando hasta SATURAR el servidor.
  • Prohibir zonas: Nos puede interesar tener disponible una zona en nuestra web, que sea accesible para algunos, pero que no aparezca en buscadores.
  • Eliminar contenido duplicado: Si eliminamos la duplicidad de contenido, los buscadores nos puntuaran muy alto, aumentando el flujo de visitas.
  • Fijar mapas del sitio: Podemos indicarle el camino correcto a los bots colocando un sitemap.

EJEMPLO robots.txt

Si queréis ver un ejemplo de robots.txt, lo normal es poner la URL de la web acabando en robots.txt (esto no significa que sea válido para vuestro blog)

https://www.maquinasvirtuales.eu/robots.txt

He seguido varias recomendaciones de varios SEOs, espero os sirva, dejo comentarios en cada sección.

Acerca de Raul Unzue Pulido

Administrador de sistemas virtuales e infraestructuras IT, linuxero y entusiasta de la tecnología.

Compruebe también

Search_and_replace_DB_

Redirección 301 WordPress htaccess, cambiar de dominio

Redirección 301 WordPress htaccess, cambiar de dominio Htaccess 301 redirect wordpress Queremos mejorar el SEO …

5 comentarios

  1. Cuando instalo el plugin WORDPRESS robots.txt no me aparece la opción de privacidad dentro de los ajustes ¿Alguien sabe porque?

  2. Muy interesante el tutor, lo estaba necesitando urgente, no se nada de html gracias

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

3 × 4 =

Uso de cookies

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando está dando su consentimiento para la aceptación de las mencionadas cookies y la aceptación de nuestra política de cookies, pinche el enlace para mayor información.

ACEPTAR
Aviso de cookies
Blog Maquinas Virtuales - El Blog de Negu