Imagina que tu sitio web es un edificio de oficinas privado. Quieres que Google visite la recepción y las salas de reuniones (tus productos y blog), pero no quieres que entre en el archivo de contabilidad ni en el cuarto de limpieza (tu panel de administración o scripts internos). Para controlar estos accesos, utilizamos el archivo Robots.txt.
¿Qué es el archivo Robots.txt?
Es un archivo de texto plano (.txt) alojado en la raíz de tu dominio (ejemplo: oscarbordetas.com/robots.txt). Es la primera parada que hace cualquier robot de búsqueda (como Googlebot o Bingbot) antes de empezar a leer tu web. En él, damos instrucciones directas sobre qué partes del sitio pueden rastrear y cuáles tienen prohibidas.
Utiliza un protocolo estándar llamado Robots Exclusion Protocol. Su sintaxis básica es:
- User-agent: Define a qué robot le hablas (poniendo un * le hablas a todos).
- Disallow: Define la ruta que prohíbes (ej: Disallow: /admin/).
- Allow: Permite explícitamente una subcarpeta dentro de una carpeta prohibida.
Por qué es crítico para el negocio (y el Crawl Budget)
Para un CEO, este archivo es vital por dos razones de eficiencia:
- Seguridad y Privacidad: Evita que Google indexe áreas privadas, resultados de búsqueda interna o archivos PDF que no quieres que sean públicos.
- Optimización del Presupuesto de Rastreo: Si tienes una tienda online grande, no quieres que Google pierda tiempo rastreando filtros inútiles o carritos de compra vacíos. Bloqueando esas zonas en el robots.txt, obligas al robot a centrarse en tus fichas de producto, que son las que generan dinero.
El peligro mortal: Un error de sintaxis
Como desarrollador, te advierto: el robots.txt es un arma de doble filo. Un solo carácter mal puesto puede hacer desaparecer tu negocio de Google.
He visto casos donde, por error, alguien escribió Disallow: / (barra inclinada sola). Esta simple instrucción le dice a Google: «Prohibido entrar en TODA la web». El resultado es la desindexación total en cuestión de días. Por eso, cualquier modificación aquí debe ser realizada y validada por un experto técnico.