Dit is het eerste bericht in onze tweedelige serie 'Crawler-fouten in AdSense'.

Uitgevers kunnen hun site op vele manieren optimaliseren voor AdSense. Aanmelden voor tekst-/beeldadvertenties, upgraden naar de aanbevolen advertentieformaten, meer advertenties tegelijk weergeven op een site: dit zijn slechts enkele van de bekendere voorbeelden. Maar wist u dat er een andere simpele optimalisatietip is die veel uitgevers vaak over het hoofd zien?

Een korte uitleg
Het robots.txt-bestand van uw site fungeert hoofdzakelijk als poortwachter en bepaalt welke webcrawlers, webrobots en zoekmachines toegang hebben tot uw site en welke niet. Degene die toestemming krijgen, kunnen bijvoorbeeld uw pagina's bekijken en uw site indexeren. Degene die geen toestemming hebben, kunnen bepaalde secties van uw site niet bekijken of indexeren, afhankelijk van wat u heeft opgegeven.

Voor het weergeven van AdSense-advertenties wordt een AdSense-webcrawler gebruikt. Die crawler scant de inhoud van uw pagina's en bepaalt op basis van specifieke zoekwoorden welke advertenties worden weergegeven. Als onze AdSense-crawler door uw robots.txt-bestand wordt geblokkeerd, is het voor ons moeilijk relevante advertenties weer te geven op uw site. Als gevolg daarvan krijgen uw gebruikers mogelijk minder relevante advertenties te zien, wat kan leiden tot een lagere klikfrequentie.

 Wat kunt u hier aan doen?
Bekijk de inhoud van uw robots.txt-bestand op [uwdomein.nl]/robots.txt. Zorg ervoor dat het bestand zodanig is geconfigureerd dat onze AdSense-advertentiecrawler uw site kan bekijken. U hoeft daarvoor alleen de volgende twee regels boven aan het bestand toe te voegen:

User-agent: Mediapartners-Google
Disallow:

Op die manier krijgt onze AdSense-advertentiecrawler toegang tot uw site en kunnen relevantere advertenties worden weergegeven. Hierdoor profiteert u mogelijk van hogere advertentie-inkomsten. Deze wijziging is niet van invloed op uw positie in de zoekresultaten van Google. Door deze twee regels aan uw robots.txt-bestand toe te voegen, zorgt u er alleen voor dat betere, relevantere advertenties worden weergegeven op pagina's die al AdSense-code bevatten. Voor pagina's zonder AdSense-advertentiecode verandert er niets.

Als u URL's heeft die fouten veroorzaken, kunt u deze bekijken door u aan te melden bij uw AdSense-account en op de startpagina op 'Accountinstellingen' te klikken. Vervolgens klikt u onder 'Toegang en verificatie' op 'Fouten weergeven'.
Binnenkort publiceren we het tweede bericht in de serie "'crawler-fouten in AdSense' over problemen met crawler-logins en mogelijke oplossingen.

Door Andrew Boni - Inside AdSense Team