Googlebot kan geen toegang krijgen tot CSS- en JS-bestanden


Heb je ook een e-mail van Google gekregen waarin staat dat Googlebot geen toegang kan krijgen tot de CSS- en JS-bestanden? Dan ben je niet de enige.

Categorie

Online Marketing

Datum

29-07-2015

Google is begonnen met het massaal versturen van berichten naar webmasters vanuit Google Search Console (voorheen Google Webmaster Tools), met de melding dat GoogleBot (hun crawler), geen toegang kan krijgen tot de JavaScript en/of CSS bestanden.

Het lijkt erop dat veel WordPress gebruikers en vele andere populaire CMS gebruikers (zoals Joomla en Magento), zulke meldingen hebben ontvangen. Simpelweg omdat de standaard voor deze CMS oplossingen is dat de folder op blokkeren staat, waaronder ook de Javascript en CSS bestanden zitten.

Google geeft meldingen aan deze webmasters, omdat bijna een jaar geleden, Google begonnen is met het renderen van volledige pagina’s. In oktober 2014 heeft Google zijn richtlijnen voor Webmasters gewijzigd en alle webmasters geïnformeerd om deze bestanden niet te blokkeren. Want als Google geen toegang heeft tot het volledig inzien van je website, kan Google je website niet goed beoordelen, wat kan leiden tot een lagere positie in Google.

Hier is een voorbeeld van de melding:

google-css-js-melding

geblokkeerde CSS- en JS-bestanden zoeken

Als je bovenstaande melding hebt ontvangen, kun je de instructies die in de e-mail staan volgen om het probleem op te lossen. Vergeet niet de Google Fetch functie te gebruiken, om te achterhalen welke bestanden zijn geblokkeerd voor Google. Zodat je deze bestanden kunt vrijstellen voor Google als je wilt dat Google ze moet benaderen.

Er is ook een makkelijke manier om de geblokkeerde bestanden te vinden. In Google Seach Console is er een optie met "Geblokkeerde bronnen". Hierin kun je alle pagina's vinden met geblokkeerde bestanden. 

google-search-console

Wanneer je op de URL klikt, wordt er informatie getoond over de geblokkeerde bestanden voor elke pagina. Zie hieronder een voorbeeld waar geblokkeerde bestanden zijn:

geblokkeerde-bronnen

Ook al klik je op één URL, je zult altijd zien hoeveel pagina's er geblokkeerde bestanden hebben en of deze ook geblokkeerd zijn in alle andere (onderliggende) pagina's. Veel Wordpress pagina's tonen deze fouten. Er zijn zelfs aantal Wordpress plugins die bestanden blokkeren, zonder dat de webmaster zich daarvan bewust is. Daarom is het altijd handig om via deze optie (van Google Search Console) een dubbel check te doen of er geblokkeerde bestanden zijn.

CSS- en JS-BESTANDEN deblokkeren voor googlebot

Er is veel verwarring over het deblokkeren van CSS- en JS-bestanden. Want je wilt tenslotte niet dat alle bestanden toegankelijk worden voor GoogleBot. Deze geblokkeerde bestanden kunnen invloed hebben op de beveiliginskwesties van je website. 

Gelukkig zijn er verschillende manieren om GoogleBot toegang te geven voor alle CSS- en JS-bestanden, terwijl andere bestanden nog geblokkeerd blijven. Eén van deze manieren is, het verwijderden van de volgende regels in je robots.txt:

Disallow: /js
Disallow: /css

Bedenk wel dat Google de .css en .js niet zal indexeren in de zoekresultaten. Dus je hoeft je geen zorgen te maken over deze bestanden dat ze onnodige SEO probelemen zullen veroorzaken. 

Zodra je dit hebt aangepast, kun je in Google Search Console de nieuwe robots.txt "Fetch as Google", zodat Google het meteen kan oppakken.

fetch-google

Als je niet weet hoe je het moet oplossen, dan kan je hier meer informatie vinden over het testen van de robots.txt bestand. Informatie over welke crawler toegang heeft tot welke bestanden kan je de specificatie voor robots.txt raadplegen.

Bepaal hoe je pagina’s worden geïndexeerd in Google door gebruik te maken van robots-metatags of X-robots-tag . Hier wordt uitgelegd hoe Google de indexeringsinstellingen op paginaniveau verwerkt, zodat je kan bepalen hoe Google inhoud beschikbaar stelt via de zoekresultaten.

Mocht je nog tegen problemen aanlopen of meer informatie nodig hebben, neem dan contact op met Loyals


Stay up to date
Schrijf je in en ontvang maandelijks een update van de belangrijkste ontwikkelingen
Enkele gegevens ontbreken of zijn onjuist

Het formulier kan nog niet worden verzonden omdat het nog niet helemaal (correct) is ingevuld.