Wat is botverkeer?

Botverkeer of niet-menselijk verkeer is nog een toevoeging aan het geheel verband met advertentiefraude. 

Uitgevers klagen vaak dat hun websites, advertenties en campagnes niet presteren zoals verwacht. Ze zijn van mening dat 'niet-menselijk verkeer', ook wel 'botverkeer' genoemd, een van de redenen is.

 

Over 78% uitgevers rapporteren botverkeer op hun sites, maar slechts 38.4% aankoopverkeer.

Ondanks dat uitgevers de reden kennen, blijft het probleem bestaan, omdat ze niet weten waarom en hoe botverkeer hun inspanningen teistert. Waar leidt deze onwetendheid uiteindelijk toe?

Het antwoord is verlies aan advertentie-inkomsten en afnemende kwaliteit van websites.

Daarom hebben we een blogpost samengesteld die een aantal essentiële vragen met betrekking tot botverkeer beantwoordt, zoals wat het is, welk doel het dient en hoe je het kunt blokkeren/verwijderen.

Wat is botverkeer?

Botverkeer betekent simpelweg dat niet-menselijke bezoekers naar uw website komen. Of de jouwe nu een grote, populaire website is of een nieuwe, een bepaald percentage bots zal je op een gegeven moment bezoeken. 

Verkeersbots of webrobots zijn geautomatiseerd om premiumwebsites te bezoeken en te verschijnen als targetbare mensen (publiek). Sommige bots voeren repetitieve taken uit, zoals kopiëren, klikken op advertenties, het plaatsen van opmerkingen of andere activiteiten die daarbij kunnen worden betrokken malvertising.

Uit gegevens blijkt dat bijna 29% van het websiteverkeer botverkeer is. Dit betekent ook dat 29% van het budget wordt besteed aan het verwerken van kunstmatige paginaweergaven/advertentieklikken die uiteindelijk leiden tot hoog (slecht) bouncepercentage (hierover volgt meer).

Een acceptabel bouncepercentage van een website varieert van 45-65%. Normaal gesproken zou zo'n figuur te weinig indrukwekkend lijken. Uitgevers, adverteerders en marketeers zijn echter gewend geraakt aan dit bereik van bouncepercentages. Waarom?

Dit komt omdat website-eigenaren weten dat elk stukje van hun verkeer niet echt kan zijn. Globaal gezien bestaat bijna 50% van het webverkeer uit botverkeer. In 2016 was botverkeer verantwoordelijk 51.8% webverkeer. 

Dit zijn duizelingwekkende cijfers en weerspiegelen de penetratie van botverkeer.

Hoe kan botverkeer analyses schaden?

Ongeautoriseerd botverkeer kan een negatieve invloed hebben op analytische statistieken, zoals het bouncepercentage, conversies, paginaweergaven, sessieduur en geolocatie van gebruikers.

Deze afwijkingen kunnen voor veel frustratie zorgen bij de uitgever of sit-eigenaar. Het is moeilijk om de werkelijke prestaties te meten van een site die wordt overspoeld met botactiviteit.

Zes soorten bots waar u op moet letten

1. Klik op Bots Verkeer

Deze bots maken frauduleuze advertentieklikken en worden daarom gebruikt voor klikspamming. Dit is het meest bedreigende bottype voor webuitgevers, vooral als je het PPC-model volgt. Als gevolg hiervan worden de analysegegevens vertekend en wordt het budget uitgehold.

2. Bots downloaden Verkeer

Deze bots knoeien ook met de door analyses gegenereerde gegevens over gebruikersbetrokkenheid. In plaats van het aantal advertentieklikken tellen ze echter op bij het aantal valse downloads. In het geval dat het downloaden van een gratis e-boek uw eindconversie is, zullen deze bots waarschijnlijk uw conversiegegevens verpesten.

Spambots Verkeer

Dit is het meest voorkomende bottype dat de betrokkenheid van gebruikers bij de verspreiding van ongegronde inhoud verstoort, zoals spamcommentaren, phishing-e-mails, advertenties, ongebruikelijke website-omleidingen, negatieve SEO ten opzichte van concurrenten, enz.

Spybots

Misschien wel het meest verachte type: deze bots verzamelen individuele of zakelijke gegevens. Ze stelen informatie zoals e-mailadressen van websites, forums, chatrooms en anderen.

Schraperbots

Deze bots bezoeken een website met kwaadaardige bedoelingen en stelen uw inhoud. Ze worden gemaakt door externe scrapers die door concurrenten worden ingehuurd om inhoud, productcatalogi en prijzen te stelen. De gestolen inhoud wordt vervolgens hergebruikt om elders te publiceren.

Bedriegerbots

Deze bots verschijnen als echte bezoekers die online beveiligingsmaatregelen willen omzeilen. Het zijn vooral deze bots die verantwoordelijk zijn voor aanvallen zoals gedistribueerde denial of service. Zij zijn ook degenen die spyware op uw site injecteren of als valse zoekmachines verschijnen.

AdPushup helpt uitgevers hun advertentie-inkomsten te verhogen. Dit bereiken we door ons machine learning-algoritme, geautomatiseerde A/B-testen, header bidding, innovatieve advertentieformaten en in-house advertentiebewerkingen expertise. Neem gerust contact op en vraag het aan onze experts.

Goede versus slechte bots

Het is belangrijk om te onthouden dat niet alle bots slecht zijn.

De goede zijn gemaakt om operationele taken uit te voeren, zoals het schrapen van oude gegevens, inhoudhygiëne, het vastleggen van gegevens, enz. Sommige goede bots zijn backlink checker-bots, monitoringbots, sociale netwerkbots, feedfetcher-bots en crawler-bots van zoekmachines. Goede bots zijn nodig om ervoor te zorgen dat gebruikers een vruchtbare ervaring hebben met surfen op internet.

Slechte bots daarentegen voeren, zoals eerder vermeld, alle spamachtige en frauduleuze activiteiten uit die resulteren in verliezen voor zowel uitgevers als adverteerders.

Hier is een infographic over hoe goede bots en slechte bots verschillend van aard zijn.

Hoe botverkeer identificeren?

Het slechte nieuws is dat slechte bots steeds slimmer worden. Volgens de Bad Bot-rapport 2020 dat werd vrijgegeven door Imperva, vormden bots bijna 40% van het internetverkeer, waarvan slechte bots het grootste deel van dat verkeer voor hun rekening namen.

Botverkeer bereikt elk uur websites. Zelfs terwijl je hier over leest. In het begin van deze blog hebben we vermeld dat veel uitgevers niet begrijpen waarom en hoe botverkeer hun inspanningen beïnvloedt. Ook dat ze niet weten hoe ze ermee om moeten gaan. Laten we dus beginnen met de eerste vraag: hoe kunnen uitgevers botverkeer identificeren?

#1 Controleer de laadsnelheid van de pagina opnieuw

Het kan zijn dat u deze test een week geleden heeft uitgevoerd. Zoals we weten, zien deze testresultaten er na elk kort interval een beetje anders uit. Maar de volgende keer dat u een snelheidstest voor het laden van pagina's uitvoert en een aanzienlijke daling opmerkt (zonder dat er grote veranderingen op uw site zijn gebeurd), is de kans groot dat u wordt getroffen door botverkeer.

Er kunnen veel redenen zijn voor een langzaam ladende site. Als er echter botverkeer wordt gedetecteerd, het controleren van de laadsnelheid van de pagina is de eerste stap. Het is mogelijk dat een heleboel bots samen uw servers proberen te belasten en offline te halen.

#2 Houd bepaalde statistieken in de gaten

Als u tegelijkertijd een plotselinge stijging in het aantal bezoekers en het bouncepercentage opmerkt, wordt uw site waarschijnlijk bezocht door botverkeer. Hier betekent een hoog aantal bezoekers dat een groot aantal bots of een hoge frequentie van dezelfde bots keer op keer naar uw site komen.

En een hoog bouncepercentage betekent niet-menselijk verkeer dat de website zonder doel bezoekt en vervolgens weer vertrekt zonder nog meer webpagina's te hebben bezocht. Een plotseling veranderd sessieduurgedrag duidt ook op botverkeer.

Stel dat uw site gewoonlijk lange inhoud aanbiedt, waardoor uw gemiddelde sessieduur tussen de twee en vijf minuten ligt. Als u echter een verwachte dip ziet, kan botverkeer de reden zijn. Naast deze zijn er ook andere veel voorkomende statistieken waar je naar moet blijven kijken.

#3 Controleer verkeersbronnen en IP-adres

Niet alleen statistieken, zelfs sommige gegevensbronnen kunnen fungeren als zoemers voor botverkeer. Regelmatige en hoge aantallen bezoeken vanaf dezelfde IP-adressen benadrukken het feit dat u botverkeer ontvangt. Tools zoals Deep Log Analyzer kunnen helpen bij het doorzoeken van eindeloze onbewerkte serverlogboeken en het op de zwarte lijst zetten van de overtredende IP-adressen.

Vreemde verkeersbronnen zijn de volgende. Stel dat het grootste deel van uw verkeer afkomstig is uit de Amerikaanse regio en Aziatische landen. Een plotselinge toename van het verkeer dat via Arabische (niet-Engelse) landen komt, kan een van de indicaties zijn.

Dit alles kan worden gecontroleerd met behulp van websiteanalysetools zoals Google Analytics. Als u nieuw bent bij GA, wordt u geadviseerd dit te doen Maak eerst kennis met het platform, en ga vervolgens verder met het begrijpen van de gebruiksscenario's met identificatie van botverkeer.

#4 Test voor duplicatie van inhoud

Uw inhoud is het hart van uw website. En met de invasie van bots kan dit gevaar lopen. Om botverkeer te detecteren, moet u blijven controleren op dubbele inhoud om er zeker van te zijn dat geen scraperbots uw site hebben bezocht en van u hebben gestolen.

Tools/platforms zoals SiteLiner, Duplichecker en CopyScape zijn handig om te gebruiken en te ontdekken of uw inhoud opnieuw wordt gebruikt en elders wordt gebruikt.

#5 Serverprestaties: 
Vertraging in de serverprestaties moet worden beoordeeld vanuit het perspectief van botverkeer. Als u te maken krijgt met downtime, is de kans groot dat uw server binnen korte tijd meerdere bothits heeft ontvangen. Maar verkeer resulteert vaak in een vermindering van de serverprestaties, wat een directe impact kan hebben op de gebruikerservaring, de site-inkomsten en uw bedrijf.

#6. Verdachte IP's/geolocaties: 
Soms helpen geolocaties de webmaster ook bij het identificeren van botverkeer. Als u bijvoorbeeld eigenaar bent van een lokale website die zich richt op regionale evenementen, kan een toename van de activiteit vanaf een externe locatie waar u niet actief bent, verdacht genoeg zijn om te zoeken naar botactiviteiten.

#7. Taalbronnen: 
Taal kan vaak duiden op de aanwezigheid van botverkeer op uw site. Als uw websitetaal en doelgroep bijvoorbeeld Engels zijn en u hits uit verschillende talen ziet, kan dit duiden op botactiviteit op uw site. Als webmaster moet u proberen deze gebieden in de gaten te houden om botverkeer in realtime te detecteren en te blokkeren.

Hoe botverkeer te stoppen?

Eén keer botverkeer detecteren, vraagt ​​meteen om het voor eens en voor altijd stoppen van botverkeer. Bots zijn als virussen die uw website raken, uw ingestelde systemen scheeftrekken, uw gegevens stelen en meer. Maar gelukkig zijn er methoden die je kunnen helpen je ertegen te beschermen. Alsjeblieft:

1. Legitieme arbitrage: Koop alleen verkeer van bekende bronnen. Om gekocht en toch veilig verkeer te garanderen, oefenen veel uitgevers verkeersarbitrage om te zorgen voor hoogrenderende op PPC/CPM gebaseerde campagnes.
2. Gebruik Robots.txt: plaats robots.txt om te voorkomen dat slechte bots uw webpagina's crawlen. Uitgevers willen er mogelijk ook voor zorgen dat de crawlerinstellingen naar behoren zijn problemen in AdSense-advertenties voorkomen.
3. JavaScript voor waarschuwings: stel JavaScript in om te waarschuwen voor bots. Het hebben van contextuele JS fungeert als een zoemer wanneer een bot of een soortgelijk element een website binnenkomt.
4. DDOS: Voer gedistribueerde Denial of Service (DDOS) uit. Uitgevers die een lijst met aanstootgevende IP-adressen hebben, maken gebruik van DDOS-bescherming om deze bezoekverzoeken op hun website te weigeren.
5. Gebruik Type-Challenge-responstests: Voeg CAPTCHA toe aan aanmeldings- of downloadformulieren. Veel uitgevers en premiumwebsites plaatsen CAPTCHA om download- of spambots te voorkomen.
6. Logbestanden nauwkeurig onderzoeken: Onderzoek de logbestanden van serverfouten. Terwijl bots servers proberen te overrompelen, helpt het grondig onderzoeken van de serverfoutlogboeken om websitefouten veroorzaakt door bots te vinden en op te lossen.

Op zoek naar meer vraag naar uw voorraad, kunnen we u helpen met onze partnerschappen met meer dan 20 wereldwijde vraagpartners. Ontdek.

Hoe u botverkeer kunt detecteren in Google Analytics

Deze filtering van botverkeer uit uw Google Analytics-account zorgt ervoor dat alle soorten herkende bots (de hierboven genoemde) uw gegevens vermijden. Het is echter mogelijk dat de methode niet-geïdentificeerde of een nieuw type bots kan uitsluiten.

Kan botverkeer worden genegeerd?

Ook op onze website komen we af en toe slechte bots tegen. Hieronder ziet u een voorbeeld van spamreacties die we op onze blog hebben ontvangen:

De behandeling hiervan is 'markeer deze reacties als spam' en we hadden hetzelfde kunnen doen. Maar omdat we experts op dit gebied zijn, hebben we van deze gelegenheid gebruik gemaakt om uit te leggen waarom we ervoor hebben gekozen deze botactiviteit niet te negeren. En waarom uitgevers dat ook niet zouden moeten doen.

Uitgevers moeten zich zorgen gaan maken over botverkeer op hun website omdat hun:  

1. site en advertenties worden ook getroffen door advertentiefraude, vermomd als botverkeer
2. kostbare gegevens/analyses kunnen vertekend raken
3. De laadtijd van de website en de algehele prestaties kunnen verslechteren
4. website wordt kwetsbaar voor botnets, DDOS-aanvallen en slechte SEO
5. CPC en inkomsten worden ernstig beïnvloed door nepklikken

Tot slot:

Verrassend genoeg werkt slechts 5% van de uitgevers met een toegewijde fraudepatrouilleprofessional. Dit betekent dat uitgevers worden getroffen door methoden voor advertentiefraude (waarbij botverkeer er één is), maar dat ze er vrijwel niets aan doen.

We moedigen uitgevers aan om consequent te controleren op botverkeer op hun website, omdat dit kan leiden tot omzetverlies en een slechte gebruikerservaring.

Veelgestelde vragen: