Cuando nos referimos al SEO lo primero que nos suele venir a la cabeza son los factores SEO: como palabras claves, el contenido, los títulos… Es decir, que en lo primero que pensamos es en factores orientados a la optimización, dejando olvidados características muy importantes como por ejemplo la optimización del crawl budget (presupuesto de rastreo) que los buscadores nos asignan.
Pues bien en este artículo os explicaremos todo lo relacionado con este tema para que pueda serviros de ayuda al optimizar vuestros sitios.
¿Qué es crawl budget o presupuesto de rastreo?
Aunque muchos de vosotros ya sabéis cómo funciona Google interesante realizar un repaso antes de que entremos en materia.
Primero se debe tener claro que el crawl budget es el tiempo que Google asigna para rastrear un site.
El tiempo que da Google para rastrear un site depende de diversos factores.
Factores que influyen en el crawl budget
Para no variar, Google no ha fijado de manera específica los factores concretos que condicionan al presupuesto de rastreo, pero gracias a diversos estudios y pruebas se han podido averiguar algunos:
Velocidad de carga
Prácticamente todo el mundo ya conoce la gran importancia que Google da al tiempo de carga de una web. Los usuarios quieren webs que se vean y carguen de una forma rápida.
El amplio aumento de la utilización del móvil ha originado esta obsesión por crear sitios optimizados. De hecho cuando menos tiempo tarde el bot de Google en rastrear tú web, mayor presupuesto de rastreo te dará.
Autoridad del sitio web
Es obvio que cuanta mayor autoridad tenga un sitio web Google le dará más mimos, lo que traducimos por un mayor presupuesto de rastreo, ya que Google las considera páginas de confianza.
El robots.txt
Según este determinado el archivo robots.txt va a fijar la pauta de cómo rastreara Googlebot, porque zonas de la web transitara y por cuáles no.
La actualización de la web
Google siempre ha dejado claro que se interesa por webs que actualicen de forma continua sus contenidos, webs que se mantengan activas.
Arquitectura web
Contar con una buena arquitectura web en la estructura y la jerarquía de la web, va a hacer que Googlebot rastree con mayor facilidad la web y gracias a esto lo valore cono un factor positivo para el presupuesto de rastreo.
Si Google otorga un mayor tiempo, podrá rastrear más partes del sitio web, como consecuencia de esto, podrá indexar más o menos páginas según la relevancia que considere que tienen para el usuario.
Ahora que ya está claro esto, os habéis preguntado alguna vez ¿Cómo encuentra Google un sitio web? Bien, los buscadores principales utilizan rastreadores web, conocidos a partir de ahora como crawlers, para conseguir encontrar las páginas web.
Un crawler simplemente es una pequeña pieza de software que navega por internet haciendo un seguimiento de todos los enlaces que encuentra con la finalidad de recoger toda la información de las páginas que ha visitado y guardarla en los servidores.
Estos servidores ordenan la información en base a unos parámetros y la recopilan para más tarde enseñársela a los usuarios.
Podéis fijaros que casi siempre que se habla de buscadores hacemos referencia a Google, ya que en España es el más utilizado. Debido a esto vamos a centrar un poco más la explicación en el crawel de Google, que no es otro que Googlebot
Pero debes tener en cuenta que Googlebot no está formado solo por un rastreador ya que Google usa diferentes rastreadores para encontrar información. Cada uno de los crawler suele centrarse en un tipo de información: imágenes, noticias, móvil…
Aquí os dejamos un enlace con una tabla con todos los rastreadores de Google: https://support.google.com/webmasters/answer/1061943?hl=es-419
¿Por qué es importante el crawl Buget para el SEO?
Puede suceder que el presupuesto de rastreo que Google le asigna a sus crwaler para rastrear un sitio web no sea bastante para que estos visiten de forma regular algunas páginas de la web.
Si esto pasa, seguramente estas páginas no posicionen como gustaría, ya que por experiencia propia y por algunos informes se sabe que las páginas que son rastreadas con más frecuencia reciben más tráfico orgánico que las que no reciben la visita de Googlebot.
¿Cómo optimizar el crawl budget para mejorar el SEO de un sitio web?
Foto Fuente Freepik
Después de ver los factores que Google tiene en cuenta para el presupuesto de rastreo ya va habiendo idea de que podemos optimizar para mejorar dicho elemento. Como siempre, la optimización debe tener un objetivo y encontrarse dentro de una estrategia SEO, no sirve con mejorar al tun tun.
Imagínate que ya tienes una web que consta de una arquitectura dentro de lo que puedes conseguir buena, además de con una autoridad que puede mejorar con el tiempo, pero estas cosas no son algo que podamos forzar a que sean rápidas. Entonces
¿Dónde puedes destinar tus esfuerzos? ¿Por dónde puedes empezar?
Analizar el crawl budget
Lo primero es visualizar de qué forma no está visitando Googlebot (tanto en la versión de escritorio como en la de móvil). La forma más sencilla y rápida de observar esto es acudiendo a Search Console:
https://search.google.com/search-console/about?hl=es, en el apartado rastreo/ estadísticas de rastreo.
Aunque es un campo muy importante (para poder ir revisando el presupuesto de rastreo diario en relación a la velocidad de carga) no da una información desglosada.
Un análisis mucho más completo nos lo dan los logs de acceso. Si se consigue un buen paquete de logs de un periodo acortado se pueden analizar con herramientas como SEO Log File Analyzer , gracias a los logs podemos.
Esta información es muy importante para poder saber si se está rastreando lo que se quiere o necesita.
Configurar Search Console
Existe mediante esta aplicación la forma de limitar el rastreo de Google, aunque no suele ser recomendable ya que en ocasiones un alto rastreo puede generar problemas en la velocidad del servidor.
En la esquina superior derecha vamos a configuración del sitio/ Frecuencia de rastreo y de ahí nos saldrán dos opciones: Dejar que Google se optimice para mi sitio (Recomendada) y Limitar la frecuencia de rastreo máxima de Google.
Códigos de respuesta
El análisis de logs nos puede decir además si el bot de Google utiliza parte del crawl budget rastreando páginas redireccionadas. Esto no es algo malo, pero ralentiza y malgasta recursos.
Una web con pocas redirecciones será más fluido para los bots. Si se nota que existen muchos enlaces externos rotos (404)
Optimización del robots.txt
Si hemos realizado un buen análisis y nos damos cuenta de que Googlebot está malgastando parte de su presupuesto de rastreo de manera frecuente en páginas que no son de interés, quiere decir que es el momento de añadir directrices en el robots.txt.
Foto Fuente Freepik
Pero también puede ayudarnos para lo contrario, y que nos demos cuenta de que no está llegando a las rutas que queremos y quizá las estén bloqueadas por error en el robots.txt.
Después de este artículo esperamos que no se olvide nunca más la importancia del crawl budget y que no lo dejemos de lado.
Posicionweb, agencia de marketing digital, cuenta con profesionales en SEO, así como de otras especialidades dentro del marketing digital. Si necesitas mejorar tu SEO, nosotros podemos ayudarte, te garantizamos una notable mejora.
Conoce nuestros trabajos y servicios de SEO y ponte en manos de profesionales del marketing online.
