¿Qué es robots.txt? Es la pregunta que os estará surgiendo a muchos de vosotros.
Robots.txt es un fichero que se encuentra en la raíz de la mayoría de las páginas web y sirve para indicarle a los buscadores (principalmente Google) que contenido quiere que indexe en sus servidores y cuales no.
Con este .txt podremos quitar páginas de nuestro sitio web que nos estén perjudicando nuestro posicionamiento.
¿Páginas de nuestra web que nos estén perjudicando el Seo? Efectivamente, así es. Por suerte o desgracia no somos los únicos que vamos a estar hablando sobre un determinado tema en la web, por lo que se produce contenido duplicado cuando incluimos las entradas en secciones por etiquetas (search) o simplemente se almacenan en el archivo por periodos de tiempo (archive).
Los rastreadores de los buscadores encuentran el mismo contenido con diferentes direcciones y en el peor de los casos nos puede acusar de un problema que hemos generado.
Para evitar esto tendremos que modificar robots.txt para impedir que el rastreador incluya el índice de los resultados de sus buscadores a las direcciones de etiqueta y de archivo. No es una medida que solucione nuestro problema al 100% pero algo nos ayudará. Así quedaría un robots.txt:
Robots.txt
# Archivo robots.txt personalizado
User-agent: * # Todos los rastreadores se dan por aludidos. Disallow: /*? # Bloquea las URL que incluyan un signo de interrogación Disallow: /search*/ # Bloquea los directorios que empiecen por search Disallow: /*search/ # Bloquea los directorios que acaben en search Disallow: /*archive/ # Bloquea los directorios que acaben por archive User-agent: Mediapartners-Google # Sólo para el robot de Adsense Disallow: # Al robot de Adsense le dejamos rastrear todas las páginas # Incluimos la dirección del sitemap xml Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500 Sitemap: http://tublog.blogspot.com/atom.xml?redirect=false&start-index=501&max-results=500
¿Qué es el sitemap? Es un archivo .xml que contiene una lista con las páginas de nuestro sitio con una serie de información adicional como por ejemplo la frecuencia con la que cambiamos el contenido.
Recuerda que es importante tener bien configurado nuestro robot si quieres que tu sitio web tenga un buen posicionamiento SEO y así llegar a las primeras posiciones del buscador.
La próxima vez que pase el robot de Google por tu sitio no tendrás problema de contenido e irás mejorando poco a poco tu posicionamiento.
Utiliza el archivo robots.txt con cuidado, si no estás seguro de lo que haces o de si lo necesitas, pregúntame :-)
