Wijziging Google richtlijnen: Update robots.txt nodig!


Google heeft recent bevestigd dat zij nu ook de stylesheets en het JavaScript van pagina’s gaat crawlen, wat later te merken zal zijn in de indexering en dus de ranking van websites.

Categorie

Online Marketing

Datum

06-11-2014

Google heeft recent bevestigd dat zij nu ook de stylesheets en het JavaScript van pagina’s gaat crawlen, wat later te merken zal zijn in de indexering en dus de ranking van websites en pagina’s. Op 27 oktober zijn de Webmaster richtlijnen aangepast. Regelmatig worden op basis van nieuwe technieken of mogelijkheden deze richtlijnen voor webdevelopers door Google geüpdatet. Het bijzondere aan deze laatste update is dat de update van Google deze keer direct effect heeft op heel veel websites.

Update Google grote invloed op ranking

De Google Webmaster Guidelines worden door Google vrijgegeven om ervoor te zorgen dat webdevelopers kwalitatieve websites kunnen bouwen die goed te indexeren zijn en dat wordt gewaardeerd.  De wijziging die nu bevestigd is heeft een grote invloed op de indexering van websites. Google is al jaren bezig om de layout van websites te bestuderen om zo spam en ‘vals spelen’ met SEO tegen te gaan. De volgende stap is om de layout ook echt te ontleden en mee te nemen in het indexeringsproces. Wanneer je bepaalde bestanden afschermt voor de Google Bots zal dit grote negatieve gevolgen kunnen hebben op de ranking van een website. De eerste gevallen van grote dalingen in posities zijn al bekend.

Google toegang geven door wijziging robots.txt

In het bestandje robots.txt dat (als het goed is) op elke website is toegevoegd, staat welke pagina’s Google mag crawlen (scannen voor indexeren). Vaak staan er een aantal zaken geblokkeerd in dit bestand. Bijvoorbeeld het /admin gedeelte van een website, want dit is niet interessant om te laten indexeren. Ook was het gewoon om de CSS (opmaak van je website, kleuren, lettertype, etc) en JavaScript (header slider met afbeeldingen, on page formulieren, etc) te blokkeren omdat deze documenten niet relevant waren voor de Google Bots.

Dit zijn  ze nu wel!

Google als echte gebruiker

Google scant binnenkort de pagina’s zoals een gebruiker van een website hem ook ziet in plaats van platte tekst. Om Google toegang te geven tot deze bestanden dient het robots.txt bestandje op een website aangepast te worden.

Quote Pierre Far, Google UK:

“By blocking crawling of CSS and JS, you're actively harming the indexing of your pages.  It's the easiest SEO you can do today. And don't forget your mobile site either!”

De oplossing

De oplossing is simpel, Google toegang geven tot deze bestanden door de robots.txt te wijzigen.

Doe je dit niet, dan kan dit directe gevolgen hebben voor indexering en dus ranking van de website. Deze aanpassing kunnen programmeurs voor u uitvoeren. Voor meer informatie over deze aanpassing of een check van uw robots.txt bestand kunt u contact opnemen met een van onze accountmanagers.


Stay up to date
Schrijf je in en ontvang maandelijks een update van de belangrijkste ontwikkelingen
Enkele gegevens ontbreken of zijn onjuist

Het formulier kan nog niet worden verzonden omdat het nog niet helemaal (correct) is ingevuld.