nephewpillow75

Todos aman los «hacks».

No soy la excepción––Me encanta hallar maneras de hacer mi vida mejor y más fácil.

Es por esto que la técnica que te contaré el día de hoy es una de mis favoritas. Es un hack de posicionamiento en buscadores que puedes comenzar a utilizar de manera inmediata.

Es una forma de incrementar tu SEO al aprovechar una parte natural de cada sitio web que muy extrañamente se menciona. Tampoco es difícil incorporarla.

Es el archivo robots.txt (también llamado protocolo o estándar para la exclusión de los robots).

Este pequeño archivo de texto es una parte de cada sitio en la red, pero la mayoría de las personas no lo conocen.

Está diseñado para marchar con los motores de búsqueda, pero sorprendentemente, es una fuente poder posicionamiento web en buscadores que está aguardando a ser descubierta.

He visto a muchos clientes hacer de todo para progresar el posicionamiento web de su sitio. Cuando les digo que pueden editar un pequeño archivo de texto, casi no me creen.

Sin embargo, hay muchos métodos para mejorar tu posicionamiento en buscadores que no son difíciles ni te quitan mucho tiempo, y éste es uno de ellos.

No necesitas tener ninguna experiencia técnica para aprovechar el poder de los robots.txt. Si puedes hallar el código fuente para tu sitio web, puedes utilizar esto.

Cuando estés listo, sígueme y te explicaré la forma en la que puedes cambiar tu archivo de robots.txt para que a los motores de búsqueda les guste.

Descubre cómo aproveché el posicionamiento en buscadores para.

Por qué el fichero robots.txt es importante

Primero, echemos un vistazo al porqué es esencial el fichero robots.txt.

El archivo robots.txt, también conocido como el protocolo o bien estándar de exclusión de robots, es un archivo de texto que les afirma a los robots web (motores de búsqueda) qué páginas de tu sitio deben rastrear.

También les afirma a los robots web qué páginas
no debenrastrear.

Supongamos que un motor de búsqueda está a punto de visitar un sitio. Antes de que visite la página objetivo, comprobará el fichero de robots.txt para recibir instrucciones.

Existen diferentes tipos de archivos robots.txt, así que echemos una ojeada a los diferentes tipos de apariencia que tienen.

Digamos que el motor de búsqueda encuentra:

Esta es la columna vertebral del fichero robots.txt.

El asterisco después de «user-agent» significa que el fichero robots.txt está abierto a todos los robots que visiten el sitio web.

La diagonal después de «Disallow» le dice al robot que no visite ninguna página en el sitio web.

Quizá te estés preguntando por qué alguien querría evitar que los robots web visitaran su sitio web.

Después de todo, uno de los principales objetivos del SEO es lograr que los motores de búsqueda rastreen tu sitio web de una manera más fácil para acrecentar tus rankings.

Aquí es donde se encuentra el secreto de este hack de posicionamiento en buscadores.

Probablemente tengas muchas páginas en tu sitio web, ¿verdad? Incluso si estimas que no es así, revísalo. Quizá te sorprendas.

Si un motor de búsqueda rastrea tu sitio web, éste rastreará cada una de tus páginas.

Y si tienes muchas páginas, le llevará mas tiempo rastrearlas al bot del motor de búsquedas, lo que tendrá efectos negativos en tu ranking.

Esto es debido a que el Googlebot (el bot del motor de búsqueda de Google) tiene un «presupuesto de rastreo.»

Esto se divide en 2 partes. El primero es una tasa límite de rastreo.:

La segunda parte es una demanda de rastreo:

Básicamente, el presupuesto de rastreo es «el número de URLs que el Googlebot puede y desea rastrear».

Necesitas asistir al Googlebot a invertir su presupuesto de rastreo para tu sitio de la mejor manera posible. En otras palabras, debería emplear el tiempo en rastrear tus páginas más valiosas.

Existen ciertos factores que, de acuerdo con Google, «afectarán de manera negativa el rastreo y la indexación de un sitio.»

Estos son esos factores:

Volvamos al fichero robots.txt.

Si creas la página correcta de robots.txt, puedes decirle a los bots de los motores de búsqueda (y en especial al Googlebot) que eviten ciertas páginas.

Piensa en lo que esto implica. Si le dices a los bots de los motores de búsqueda que únicamente rastreen tu contenido más útil, los bots rastrearán y también indexarán tu lugar con el foco en ese contenido únicamente.

:

«No quieres que tu servidor se sienta apabullado por el rastreador de Google o bien desaprovechar presupuesto de rastreo al rastrear páginas no importantes en tu sitio.»

empresa marketing online sevilla .txt de la manera adecuada, puedes decirle a los bots de los motores de búsqueda que inviertan su presupuesto de rastreo inteligentemente. Y eso es lo que hace que el fichero robots.txt sea tan útil en un contexto de posicionamiento SEO.

¿Te sientes intrigado por el poder de los robots.txt?

¡Pues deberías! Charlemos sobre cómo hallarlo y emplearlo.

Encuentra tu fichero robots.txt

Si sólo deseas echar un rápido vistazo a tu fichero robots.txt, hay una forma súper fácil.

De hecho,
este método funcionará con cualquier sitio web.Por lo que puedes echar un vistazo a los archivos de otros sitios web y ver lo que están haciendo.

Lo único que debes hacer es teclear la URL básica del sitio web en la barra de búsquedas de tu navegador (ejemplo: neilpatel.com, quicksprout.com, etc). Y después agregar /robots.txt al final.

Te encontrarás con una de estas tres situaciones:

1) Encontrarás un fichero robots.txt.

2) Encontrarás un fichero vacío.

Por ejemplo, parece queno tiene un fichero robots.txt:

3) Obtendrás un fallo cuatrocientos cuatro.

muestra un error cuatrocientos cuatro con ficheros robots.txt:

Echa un segundo vistazo a tu fichero de robots.txt.

Si encuentras un fichero vacío o bien un error 404, necesitarás solucionarlo.

Si encuentras un archivo válido, seguramente tiene la configuración predeterminada que fue creada cuando hiciste tu sitio web.

Me gusta este método singularmente para ver los archivos robots.txt de otros sitios web. Cuando aprendas cómo marchan los archivos robots.txt, este método puede ser un valioso ejercicio.

Ahora veamos cómo cambiar tu archivo robots.txt.

Encuentra tu fichero robots.txt

Tus siguientes pasos dependerán de si tienes un archivo robots.txt. (Examina si lo tienes al utilizar el método que describí previamente).

Si no tienes un fichero robots.txt, necesitarás crear uno desde cero. Abre un editor de texto como el Bloc de Notas (en Windows) o bien TextEdit (Mac).

Solamente emplea un
editor de texto planopara esto. Si empleas programas como Microsoft Word, el programa podría insertar código auxiliar al texto.

Editpad.org es una genial opción gratuita, y es lo que me verás utilizando en este artículo.

Volvamos a los robots.txt. Si tienes un archivo robots.txt, necesitarás ubicarlo en el directorio root de tu sitio.

Si no estás habituado a adentrarte en el código fuente, podría ser un poco difícil ubicar la versión editable de tu archivo robots.txt.

Normalmente, puedes hallar tu directorio root al ir al sitio web de tu proveedor de alojamiento web, entrar, y también ir a la sección de administración de ficheros o FTP de tu sitio.

Deberías ver algo así:

Encuentra tu archivo robots.txt y ábrelo para editarlo. Borra todo el texto, pero mantén el archivo.

Nota: Si estás usando WordPress, quizá veas un archivo robots.txt cuando vayas a tusitio.com/robots.txt, mas no podrás encontrarlo en tus ficheros.

Esto es debido a quesi no hay robots.txt en el directorio root.

Si esto te sucede, necesitarás crear un nuevo archivo robots.txt.

Crea un fichero robots.txt

Puedes crear un nuevo archivo robots.txt al usar el editor de texto plano que escojas. (Recuerda, usa únicamente un editor de texto plano).

Si ya tienes un fichero robots.txt, asegúrate de que has borrado el texto (mas no el archivo).

Primero, necesitarás familiarizarte con algo de la sintaxis utilizada en un archivo robots.txt.

de ciertos elementos básicos de robots.txt:

Te voy a enseñar cómo configurar un archivo robots.txt sencillo, y después echaremos una ojeada a cómo personalizarlo para tu posicionamiento web.

Comienza fijando el término usuario-agent. Vamos a configurarlo de manera que esté abierto a todos y cada uno de los robots web.

Puedes lograr esto al emplear un asterisco después del término user-agent, así:

Después, teclea «Disallow:» pero no teclees nada después de eso.

Debido a que no hay nada después de disallow, los robots web se dirigirán a rastrear todo tu sitio web. Ahora, todos y cada uno de los elementos de tu sitio serán frágiles.

Hasta este momento, tu archivo robots.txt debería verse así:

Sé que se ve súper fácil, mas estas dos líneas están haciendo mucho por tu sitio.

También puedes crear un link a, pero no es necesario. Si quieres, esto es lo que puedes escribir:

Aunque no lo creas, así debería verse un fichero robots.txt básico.

Ahora llevemos esto al siguiente nivel y transformemos este pequeño archivo en un potenciador posicionamiento SEO.

Optimiza los robots.txt para SEO

El cómo optimices tus robots.txt depende del contenido que tengas en tu sitio. Existen tres géneros de formas en las que puedes emplear los robots.txt a tu favor.

Voy a ver contigo algunas de las maneras más comunes de usarlo.

(Ten en cuenta que

nodeberías usar robots.txt para bloquear páginas de los motores de búsqueda.Eso sería un enorme no-no).

Uno de los mejores usos del fichero robots.txt es aumentar al máximo los presupuestos de rastreo de los motores de búsqueda al decirles que no rastreen las partes de tu sitio que no se muestran públicamente.

Por ejemplo, si visitas el archivo robots.txt de este lugar (neilpatel.com), verás que tiene bloqueada la página de login (wp-admin).

Debido a que esta página se utiliza para entrar a la parte privada del sitio web, no tendría mucho sentido para los bots de los motores de búsqueda desperdiciar su tiempo rastreándola.

(Si tienes WordPress, puedes utilizar exactamente la misma línea disallow).

Puedes emplear una indicación similar (o comando) para evitar que los bots rastreen páginas específicas. Después del disallow, introduce la una parte de la URL que viene después del .com. Pone eso entre las 2 diagonales.

Si quieres decirle a un bot que no rastree tu página, puedes teclear esto:

Quizá te estés preguntando qué géneros de páginas deberías excluir de indexación. Aquí hay un par de escenarios comunes en donde esto puede suceder:

Contenido intencionalmente duplicado. Aunque el contenido copiado es en una gran parte algo malo, existen unos cuantos casos en los que es preciso y admisible.

Por ejemplo, si tienes una versión imprimible de tu página, técnicamente tienes contenido copiado. En este caso, podrías decirle a los bots que no rastreen una de esas versiones (por norma general, la versión imprimible).

Esto es muy útil si estás haciendo split testing con páginas que tienen exactamente el mismo contenido pero diseños diferentes.

Páginas de gracias.La página de GRACIAS es una de las páginas preferidas de los marketers porque significa un nuevo lead.

¿Verdad?

Al parecer,
algunas páginas de gracias son accesibles a través de Google.Esto significa quesin pasar por el proceso de captura de leads, y esto no es bueno.

Al bloquear tus páginas de
gracias, puedes cerciorarte de que únicamente los leads cualificados estén viéndolas.

Pongamos que tu página de gracias se halla en. En tu fichero robots.txt, bloquear esa página se vería así:

Debido a que no hay reglas universales para saber qué páginas desautorizar, tu fichero robots.txt será único en tu sitio. Utiliza tu criterio aquí.

Existen otros 2 géneros de comandos que deberías conocer:
noindex y nofollow.

¿Sabes qué comando consultoria inbound ? En realidad no evita que esa página sea indexada.

En teoría, podrías desautorizar una página, pero incluso así, podría acabar en el índice.

Generalmente, no te interesa eso.

Es por eso que precisas el comando noindex, que funciona con el comando disallow para asegurar que no los bots no visiten o bien indexen ciertas páginas.

Si tienes ciertas páginas que no quieres que se indexen (como las páginas de gracias), puedes emplear ambos comandos, disallow y noindex:

Ahora sí, esa página no se mostrará en las SERPs.

Finalmente, tenemos el comando nofollow. En verdad, es la mismo que el. En resumen, le afirma a los robots web que no rastreen los links en una página.

Pero el comando nofollow vamos a incorporarlo de una manera un tanto diferente, pues realmente no es parte del fichero robots.txt.

Sin embargo, el comando nofollow prosigue dando indicaciones a los robots web, por lo que es el mismo concepto. La única diferencia radica en dónde se incorpora.

Encuentra el código fuente de la página que desees cambiar, y
asegúrate de que esté entre las etiquetas <head>.

Después, pega esta línea:

<meta name=»robots» content=»nofollow»>

De manera que se vea así:

Asegúrate de no estar poniendo esto entre alguna otra etiqueta––sólo las etiquetas <head>.

Esta es otra excelente opción para tus páginas de
gracias, dado a que los robots web no rastrearán enlaces a ningún imán de leads u otro contenido exclusivo.

Si quieres agregar ambos comandos: noindex y nofollow, emplea esta línea de código:

<meta name=»robots» content=»noindex,nofollow»>

Esto le dará a los robots web ambos comandos al tiempo.

Haz pruebas con todo

Finalmente, haz pruebas con tu archivo robots.txt para estar seguro de que todo es válido y funciona de la manera correcta.

Google pone a tu disposición un ecosistema de pruebas para robots.txt como una parte de sus herramientas para Webmasters.

Primero, entra enal hacer click en «Acceder» en la esquina superior derecha de tu pantalla.

Selecciona tu propiedad (ejemplo: sitio web) y haz clic en «Rastrear» al lado izquierdo de tu pantalla.

Verás el
testerde «robots.txt.» Haz clic ahí.

Si ya hay algún código en esa sección, bórralo y reemplázalo con tu nuevo fichero robots.txt.

Haz click en «Probar» en el rincón inferior derecha de la pantalla.

Si el texto de «Probar» cambia a «Permitido,» eso significa que tu archivo robots.txt es válido.

sobre la herramienta para que puedas aprender qué significa todo con más detalle.

Finalmente, sube tu archivo robots.txt a tu directorio root (o guárdalo ahí si ya tenías uno). Ahora tendrás como arma un poderoso archivo, y deberías ver un aumento en tu visibilidad de búsqueda.

Conclusión

Siempre me agrada compartir pequeños «hacks» de posicionamiento web que te pueden dar una ventaja real de muchas maneras.

Al configurar tu fichero robots.txt adecuadamente, no sólo estás mejorando tu SEO. También estás ayudando a tus usuarios.

Si los bots de los motores de búsqueda pueden usar sus presupuestos de rastreo inteligentemente, organizarán y mostrarán tu contenido en las Search Engines Ranking Positions de una mejor forma, lo que quiere decir que tendrás mayor visibilidad.

Tampoco lleva mucho esfuerzo para configurar tu archivo robots.txt. Podríamos decir que es una configuración que se hace una sola vez, y puedes hacer tantos pequeños cambios como necesites por el camino.

Ya sea con tu primer sitio o bien con el quinto, usar robots.txt puede suponer una diferencia significativa. Te invito a darle una vuelta si no lo has hecho antes.

¿Cuál es tu experiencia al crear archivos robots.txt?