Help Google je website beter te crawlen

Google heeft een meer dan zware taak om het internet af te crawlen naar informatie om op die manier de meest relevante resultaten te kunnen tonen aan de gebruikers van hun zoekmachine. Wat is dit crawlen nou precies en hoe kun jij Google – en daarmee ook jezelf – helpen om jouw website crawlen zodat Google beter weet waar jouw website over gaat en dus jouw pagina’s sneller zal tonen aan mensen die op zoek zijn naar de informatie die jij te bieden hebt?

Wat is crawlen?

Google maakt gebruik van software om het internet af te zoeken. Elke dag, elk uur, elke seconde. Dit is ook wel nodig want er komt elke seconde weer nieuwe content bij op het internet.

Dit crawlen gebeurt met zogenaamde bots, Google maakt gebruik van de Googlebot. Crawlen kun je het best vergelijken met scannen. Google scant dus alle inhoud op het internet om te kijken wat het is en waar het over gaat.

Wanneer Google jouw website heeft gecrawld heeft het een beter inzicht van waar jouw pagina’s over gaan. Wanneer iemand dan een zoekopdracht ingeeft in Google kan Google vliegensvlug beoordelen of jouw pagina misschien interessant is voor de persoon die de zoekopdracht ingeeft.

Het is voor Google, de gebruiker van Google én jou dus fijn als Google jouw pagina’s goed kan crawlen en met andere woorden, begrijpt waar jouw pagina’s over gaan.

Wat is een Googlebot?

Bij het woord Googlebot zie je misschien wel een robot voor je of misschien wel een mechanische spin, aangezien bots ook wel Spiders worden genoemd. Maar niets is minder waar.

Google crawlerGooglebot


Fysiek bestaat de Googlebot niet eens. Googlebot is namelijk software. Een programma met als taak het crawlen van alles wat er op het internet te vinden is.

Hoe werkt Googlebot?

Googlebot is in theorie ooit begonnen bij één link.

Laten we als voorbeeld zeggen dat Googlebot is begonnen bij google.com. Op deze pagina staan links, ook wel verwijzingen of hyperlinks genoemd. Deze links verwijzen weer door naar andere pagina’s op het internet.

Schermafbeelding van Google Search met pijlen naar links

Al deze links volgt Googlebot om het internet steeds maar weer verder te kunnen crawlen.


Wanneer Googlebot dus een pagina crawlt en daar verwijzingen naar andere pagina’s, in de vorm van links, op weet te vinden zal Googlebot deze pagina’s ook crawlen.

Op deze manier zal Googlebot dus altijd weer een weg vinden naar een andere pagina op het internet.

Wat voor invloed heeft crawlen en de Googlebot op SEO?

Des te beter Google jouw website begrijpt, des te makkelijker het voor Google is in te zien dat jouw pagina’s relevante content te bieden hebben voor bepaalde zoektermen die worden ingevoerd in Google.

Het is dus meer dan belangrijk dat jij zorgt dat Googlebot jouw pagina’s goed kan crawlen.

Zorg ervoor dat Googlebot jouw pagina goed kan crawlen zodat Google jouw website goed begrijpt en zij jouw pagina’s dus beter aan kunnen bieden in hun zoekmachine.

Hoe zorg ik ervoor dat Googlebot mijn pagina goed kan crawlen?

Gelukkig zijn er een aantal manieren waarop je Googlebot een handje kunt helpen met het beter begrijpen van jouw pagina’s.

  • Zorg voor een snelle website
  • Maak gebruik van headers
  • Schrijf schone code
  • Upload een sitemap naar Google
  • Verhelp eventuele crawlfouten


Zorg voor een snelle website

Een snelle website kent alleen maar voordelen. Een trage website is een van de grootste redenen dat mensen afhaken op een website.

Het is dus nadelig voor de gebruikerservaring maar los daarvan is ook Googlebot geen fan van een langzame website.

Je kunt het zo zien dat Googlebot ontzettend veel werk te doen heeft, namelijk het complete internet crawlen. Hij kan het zich dus niet veroorloven om lang op het laden van jouw pagina’s te moeten wachten.

Maak gebruik van headers

Door in je teksten met zogenaamde headers te werken kun je Googlebot aangeven wat de hiërarchie van een pagina is.

Het belangrijkste onderwerp van je pagina geef je een H1 header en eventuele subonderwerpen kun je een H2, H3, H4, H5 of zelfs H6 header geven.

Googlebot zal herkennen dat de woorden die in je H1 header staan meer aandacht moeten krijgen dan de woorden in je overige teksten. Hierin is de H1 het belangrijkst en H6 het minst belangrijk.

In de praktijk gebruiken we vaak H1, H2 en H3 headers. De overige headers (H4, H5 en H6) worden minder gebruikt.

Voorbeeld gebruik headers op je pagina's

Schrijf schone code

Een website is gebouwd met code. De kans is tegenwoordig erg groot dat jij jouw website niet hebt gecodeerd maar dat je gebruik hebt gemaakt van een gebruikersvriendelijk systeem zoals WordPress.

Maar ook WordPress is opgebouwd in code. Het enige verschil is dat jij gebruik maakt van een soort laag die het mogelijk maakt om de code te bewerken op een visuele manier, bijvoorbeeld met een zogenaamde pagebuilder om pagina’s op te maken.

De standaard code van WordPress is geschreven door professionele programmeurs en is dan ook ‘schoon’ te noemen.

Een schone code is een code die zo min mogelijk code vereist voor een functie. Daarnaast is het soort code dat gebruikt wordt ook belangrijk. Zo is HTML over het algemeen een stuk sneller te crawlen door Googlebot dan bijvoorbeeld JavaScript.

Toch ontkom je hier niet altijd aan. JavaScript hebt bijvoorbeeld hele andere mogelijkheden dan HTML.

Upload een sitemap naar Google

Een sitemap kun je zien als een plattegrond voor Googlebot. Het geeft Googlebot aan welke pagina’s jij op je website hebt staan, waar ze staan en hoe ze met elkaar verbonden zijn.

Stel je voor dat jouw website een groot gebouw met allerlei kamers is. Wanneer Googlebot nu binnenstapt overhandig jij hem meteen een plattegrond waarop hij kan zien welke kamers er zijn en hoe hij daar het snelt kan komen.

Logischerwijs kan Googlebot zijn werk hierdoor veel beter doen.

Er zijn veel plugins in de WordPress directory te vinden die een sitemap voor je kunnen genereren. Mijn favoriet is de Yoast SEO Premium Plugin.

Wanneer je gebruik maakt van de Yoast SEO Premium Plugin is dit op www.jouwdomeinnaam.nl/sitemap_index.xml

Schermafbeelding van XML sitemap door Yoast

Wanneer je een sitemap hebt gegenereerd moet je aan Google laten weten waar Googlebot jouw sitemap kan vinden.

Je doet dit door naar Google Search Console te gaan en op de property (website) te klikken waarvan je een sitemap wilt uploaden.

Klik vervolgens aan de linkerkant op crawlen en kies voor Sitemaps. Klik nu op de rode knop SITEMAP TOEVOEGEN/TESTEN.

Schermafbeelding van toevoegen sitemap in Google Search Console

Indien je een sitemap hebt gegenereerd met de Yoast SEO Plugin kun je hier dus sitemap_index.xml typen.

Klik vervolgens op Testen en daarna op Resultaat weergeven. Indien er geen fouten zijn gevonden kun je deze handeling herhalen maar dan op Verzenden klikken in plaats van op Testen.

Je hebt nu Googlebot een plattegrond gegeven zodat hij jouw website beter kan crawlen.

yoast-optin-horizontaal

Verhelp eventuele crawlfouten

Googlebot kan in de war raken en de weg kwijtraken op jouw website. Logischerwijs is dit nadelig voor je positie in Google.

Wanneer Googlebot in de war raakt op jouw website zal hij jouw website minder goed kunnen crawlen en dus minder goed begrijpen waardoor het voor Google lastiger zal worden om jouw pagina’s als resultaten aan te bieden aan mensen die zoekopdrachten ingeven.

Negen van de tien keer gaat het om pagina’s die jij hebt verwijderd terwijl Googlebot deze pagina’s nog wel verwacht op een bepaalde locatie.

Wanneer je een pagina verwijderd en er geen andere pagina voor terugplaatst spreken we van een zogenaamde 404. Je bent vast wel eens op een 404 pagina terecht gekomen.

Je krijgt dan een notificatie waarin iets wordt gezegd als “Sorry, deze pagina is niet beschikbaar”. Dit is natuurlijk vervelend want je was naar een bepaalde pagina op zoek maar deze blijkt er niet meer te zijn.

Voor Googlebot is dit een soort dichte deur terwijl hij had verwacht naar binnen te kunnen. Vervelend dus.

Je kunt deze crawlfouten verhelpen door pagina’s die je verwijderd te voorzien van een zogenaamde redirect. In plaats dat je de pagina simpelweg verwijderd zorg je er daarmee voor dat bezoekers die alsnog naar die betreffende pagina willen, naar een andere pagina worden doorverwijzen.

Voorbeeld:

Stel je hebt de website www.jouwdomein.nl met daarop de pagina Over ons met de URL www.jouwdomeinnaam.nl/over-ons.

Je besluit deze pagina te verwijderen omdat je een andere pagina wil opmaken, namelijk Over het team. Wanneer mensen nu naar www.jouwdomeinnaam.nl/over-ons gaan komen zij op een 404 pagina terecht. De pagina Over ons bestaat namelijk niet meer.

De kans is vrij groot dat deze mensen nu weer van jouw website vertrekken, zeker wanneer zij via Google zijn binnen gekomen.

In dit geval heb je al wel een nieuwe pagina, namelijk Over het team. De intentie van deze pagina is zo goed als gelijk aan de oude pagina Over ons. De mensen die hier op komen zijn namelijk op zoek naar informatie over jullie.

Met een redirect kun je ervoor zorgen dat iedereen die naar www.jouwdomeinnaam.nl/over-ons gaat automatisch zal worden doorverwezen naar www.jouwdomeinnaam.nl/over-het-team

 

Gesloten deur

Op die manier zorg je ervoor dat de mensen alsnog de informatie krijgen waar ze naar op zoek waren én je zal bezoekers op je website houden aangezien je ze niet voor een dichte deur laat staan.

Googlebot zal dit ook erg waarderen want hij kan gewoon doorcrawlen en hoeft niet te stoppen voor een doodlopend einde.

Bonus: Crawlfouten vinden in Google Search Console

Google Search Console heeft onder andere het voordeel dat je een sitemap kunt uploaden naar Google zodat Googlebot jouw pagina’s beter kan crawlen. Maar los daarvan heeft het nog veel meer voordelen.

Een van deze voordelen is het feit dat Googlebot aan Google Search Console laat weten wanneer hij op een dichte deur is gestuit, zo’n 404 pagina.

Google ziet deze 404 pagina’s als achterstallig onderhoud van je website. Veel 404 foutmeldingen zijn dus negatief voor je positionering in de zoekresultaten van Google.

Gelukkig kun je in Google Search Console een complete lijst met deze 404 meldingen vinden.

Je gaat naar Google Search Console en kiest de property (website) waarvan je de crawlfouten wil inzien. Klik vervolgens links op Crawlen en vervolgens voor Crawlfouten.

Het eerste gedeelte Sitefouten toont eventuele fouten met de DNS instellingen, Serverconnectiviteit en het robot.txt bestand.

Daaronder kun je de URL fouten vinden.

Schermafbeelding Sitefouten en URL fouten

Er is onderscheid gemaakt tussen desktop en mobiel aangezien sommige websites ervoor kiezen een aparte mobiele website naast hun normale desktop website te hebben.

Per tabblad zie je of er crawlfouten gevonden zijn. Door op het tabblad te klikken en naar beneden te scrollen krijg je een overzicht van de gevonden crawlfouten.

Hoe verhelp ik crawlfouten?

Stel dat je in Google Search Console ziet dat je crawlfouten hebt dan kun je klikken op Downloaden boven de lijst met crawlfouten. Je kunt er dan voor kiezen of je de crawlfouten wil downloaden als CSV bestand of op wil slaan in je Google documenten.

Schermafbeelding downloaden crawlfouten

Je hebt nu een lijst URL’s waarvan de pagina’s niet meer gevonden kunnen worden door bezoekers van je website en Googlebot.

De lijst is dus eigenlijk een overzicht van alle 404 meldingen van jouw website. Om dit te verhelpen moet je de URL’s van de niet bestaande pagina’s redirecten naar bestaande pagina’s.

Het is wel belangrijk dat je deze pagina’s redirect naar pagina’s die overeenkomen met de pagina die je eerder hebt verwijderd. Het hoeft natuurlijk niet een identieke pagina te zijn want anders had je de oude pagina niet verwijderd.

Redirects maken met Yoast SEO Plugin

Er zijn meerdere gratis plugins te vinden in de WordPress directory die het mogelijk maken om redirects te maken. Mijn favoriet is natuurlijk de Yoast SEO Plugin.

Je kunt nog veel meer met de Yoast SEO Plugin. Ik leg de mogelijkheden stap-voor-stap uit in mijn gratis Yoast SEO Plugin Handleiding.

Het maken van redirects is een feature van de premium plugin van Yoast. Je geeft simpelweg de oude en de nieuwe URL in en je voegt de redirect toe.

Schermafbeelding redirects in Yoast

Conclusie

Zorgen dat jouw pagina’s beter gecrawld kunnen worden door Google betekent zorgen dat jouw pagina’s hoger in de zoekresultaten van Google komt.

Het is dus absoluut de tijd en moeite waard om binnen je internet marketing strategie ruimte en tijd op te nemen voor het onderhouden van je website en het optimaliseren van je crawlbaarheid.

Mis jij nog tips om je website beter te laten crawlen door Google? Ik zou het heel erg waarderen als je mij en de lezers van dit artikel wil helpen door je tip in de reacties achter te laten.

Help Google je website beter te crawlen ultima modifica: 2017-08-09T20:00:16+00:00 da Robin Peek