Ontdek de magie van Google: Hoe crawlen en indexeren werkt (en hoe jij hierop kunt inspelen!)
Crawlen is het proces waarbij Google’s robots, Googlebots, het internet doorzoeken op zoek naar nieuwe en bijgewerkte webpagina’s. Ze beginnen met een lijst van bekende websites en volgen vervolgens de links op die pagina’s om andere websites te ontdekken. Tijdens het crawlen verzamelen de Googlebots informatie over de inhoud van elke pagina die ze bezoeken.
Indexeren betekent dat Google de verzamelde informatie opslaat in een grote database, de Google Index. Google analyseert de inhoud van elke pagina, inclusief tekst, afbeeldingen en video’s, om te begrijpen waar de pagina over gaat. Deze informatie wordt georganiseerd zodat Google deze snel kan doorzoeken wanneer iemand een zoekopdracht invoert.
Wanneer je iets zoekt op Google, kijkt Google in deze index om de meest relevante resultaten te vinden. Websites kunnen Google helpen door een sitemap in te dienen (zogezegd een kaart van alle belangrijke pagina’s op hun site). Een robots.txt-bestand vertelt Googlebots welke delen van de website ze niet mogen bezoeken. (bij Showit kun je bij elke pagina onder de advanced settings onderstaande zin aan- en uitvinken. Dat hoeft dus niet met een robots-txt-bestand te doen).
Dus kort gezegd; Crawlen is kenbaar maken van een pagina aan Google, terwijl indexeren het vindbaar maken van een pagina is.
Je kunt kijken wanneer google voor het laatst is ‘langs geweest’. Je typt simpel ‘site:’ voor je URL
Dan zie je de datum en tijd wanneer Google is langs geweest. Heb jij nu nét je nieuwe website live gezet of heb je een nieuwe pagina aangemaakt ná dat Google is langs geweest?
Krijg je dan een 404? Dan heeft Google je pagina nog niet gezien.
Dit gaan we oplossen met Google Search Console. [URL inspection tool]
Aan de linkerkant ga je naar URL-inspectie en daar plaats je de URL die nog niet geïndexeerd is. Er komt hier ook te staan dat deze URL nog niet geïndexeerd is. Klik op de button ‘INDEXERING AANVRAGEN’
Mocht je er niet uitkomen mag je mij altijd een DM via instagram, of een mailtje sturen. Succes!
Bekijk hieronder de video van Google over de URL inspection tool
