Este post es una traducción del material “What is crawlability?”, publicado originalmente en el blog de Yoast. El contenido ha sido autorizado para su publicación en el blog de HostGator.

¿Quieres superar a tu competencia? Entonces, el conocimiento básico de SEO técnico es indispensable. Por supuesto, también necesitas crear un contenido excelente y relevante para tu sitio web. 

Afortunadamente, el plugin Yoast SEO se encarga (casi) de todo en tu sitio WordPress. Sin embargo, es bueno entender uno de los conceptos más importantes del SEO técnico: la rastreabilidad.

¿Qué es un rastreador?

Un motor de búsqueda como Google consta de tres elementos: un rastreador, un índice y un algoritmo. Un rastreador sigue los enlaces en la web. ¡Lo hace las 24 horas del día, los 7 días de la semana! 

Cuando un rastreador llega a un sitio web, guarda la versión HTML en una base de datos gigantesca llamada índice. Este índice se actualiza cada vez que el rastreador visita tu sitio y encuentra una versión nueva o revisada. 

Curiosidad: ¡A veces, un rastreador también se llama robot, bot o araña! Y el rastreador de Google a veces se conoce como Googlebot.

¿Y qué es la rastreabilidad? 

La rastreabilidad tiene que ver con las posibilidades que Google tiene para rastrear tu sitio web. Afortunadamente, puedes bloquear los rastreadores en tu sitio web. 

Si tu sitio web o una página específica está bloqueada, le estás diciendo al rastreador de Google: “No vengas aquí”. Como resultado, tu sitio web o la página respectiva no aparecerá en los resultados de búsqueda. Al menos, en la mayoría de los casos.

Entonces, ¿cómo bloqueas los rastreadores? Hay algunas cosas que pueden impedir que Google rastree (o indexe) tu sitio web:

• Si tu archivo robots.txt bloquea al rastreador, Google no vendrá a tu sitio web o a una página específica.
• Antes de rastrear tu sitio, el rastreador verifica el encabezado HTTP de tu página. Este encabezado HTTP contiene un código de estado; si este código indica que la página no existe, Google no rastreará tu sitio.
• Si la metaetiqueta robots en una página específica impide que el motor de búsqueda indexe esa página, Google rastreará la página pero no la añadirá a su índice.

¿Cómo afectan los rastreadores al medio ambiente? 

Sí, has leído bien. Los rastreadores tienen un impacto significativo en el medio ambiente porque pueden visitar tu sitio web varias veces al día. ¿Por qué? Quieren descubrir nuevo contenido o verificar si hay actualizaciones. Y cada vez que visitan tu sitio, rastrean todo lo que parece una URL para ellos. Esto significa que una URL puede ser rastreada varias veces al día.

Esto es innecesario, ya que es poco probable que hagas múltiples cambios en una URL en un solo día. Sin mencionar que casi todos los CMS generan URLs que no tienen sentido y que los rastreadores pueden ignorar de forma segura. 

Sin embargo, en lugar de ignorar esas URLs, los rastreadores las rastrean repetidamente cada vez que las encuentran. Todo este rastreo innecesario consume muchos recursos energéticos, lo cual es perjudicial para nuestro planeta.