El fichero robots.txt es una recurso clave para toda sitio web que pretende ser bien indexada por los buscadores como Google . Sirve como el directorio para los bots, indicándoles qué secciones https://tetrabookmarks.com/story21743417/robots-txt-la-guía-definitiva-completa-para-mejorar-tu-posicionamiento-web