Tutorial 8: Archivo Robots.txt en Wordpress

Tutorial 8: Archivo Robots.txt en Wordpress

¿Qué es Archivo Robots.txt?
El archivo Robots.txt regula el comportamiento de los robots y la indexación de los motores de búsqueda.

¿Para qué sirve?

Un robot o arañas son unos programas que utilizan los buscadores para rastrear la web.

Cuando llegan a tu página web, lo primero que hacen es buscar el archivo robots.txt y dependiendo de lo que ponga continúan rastreando tu web o se van a otra.

El archivo robot.txt permite restringir el acceso a tu página web selectivamente.

Puedes configurar páginas específicas para que no sean accesibles a los buscadores

También puedes bloquear a un buscador determinado (Google, Yahoo, Bing)

Ten en cuenta que hay robots pueden ignorar las instrucciones contenidas en el archivo Robots.txt , especialmente robots maliciosos o malware.

El archivo es público, lo que significa que cualquiera puede verlo con sólo teclear www.example.com/robots.txt

Por tanto, si piensas utilizar robots.txt para esconder información privada, necesitas buscar otra alternativa.

Cómo crear el archivo robots.txt

El archivo robots.txt no es obligatorio crearlo
Sólo necesitas crearlo cuando quieres bloquear ciertas páginas o directorios de tu web para que no aparezcan en los resultados de búsqueda.

Generar el archivo es muy sencillo, basta con crear un documento de texto con el nombre “robots.txt” y subirlo a la raíz de tu dominio (http://www.example.com/robots.txt), que es el lugar donde los buscadores esperan encontrarlo.

Lo más fácil es crearlo a mano, mediante el bloc de notas
Cómo crear el archivo robots.txt 2

User-Agent: * Disallow: /wp- Allow: /wp-content/uploads/ Sitemap: https://www.davidibiza.com/sitemap_index.xml Explicación del código:

Línea 1 – Indica que cualquier buscador puede acceder a rastrear nuestra web

Línea 2 – Se bloquea el acceso a todos directorios y páginas que comienzan por “wp-” (instalación de WordPress)

Línea 3 – Se permite el acceso a rastrear los archivos adjuntos ya que en la línea 2 los habíamos bloqueado.

Línea 4 – Indicamos la ruta donde se encuentra el mapa XML de nuestra página web.

Más información:

Ayuda de Google: https://support.google.com/webmasters/answer/6062608?hl=es&from=35237&rd=2&visit_id=1-636130238873864285-1333453471

Probador de Robots.txt: https://www.google.com/webmasters/tools/robots-testing-tool?utm_source=support.google.com/webmasters/&utm_medium=referral&utm_campaign=6155685

Generar tu propio Robots.txt (avanzado):
http://www.mcanerin.com/EN/search-engine/robots-txt.asp

Descargar Archivo Robots.txt David Ibiza

Registration

Forgotten Password?

Cursos de Wordpress y Maketing Online

 

Suscríbete y recibe gratis las novedades de davidibiza.com

 

Gracias por suscribirte