Google: Gebruik geen 403/404-foutreacties voor rate limiting Googlebot
Google ziet toename in foutief gebruik van 403/404-reacties van uitgevers en Content Delivery Networks voor het beperken van de Googlebot-snelheid Google heeft richtlijnen gepubliceerd over hoe de crawl-snelheid van Googlebot op de juiste manier kan worden verminderd als gevolg van…