Qu'est-ce que le trafic de robots ?

Le trafic de robots ou le trafic non humain est encore un autre ajout à l'ensemble lien avec la fraude publicitaire. 

Les éditeurs se plaignent souvent que leurs sites Web, leurs publicités et leurs campagnes ne fonctionnent pas comme prévu. Ils pensent que le « trafic non humain », également connu sous le nom de « trafic de robots », est l'une des raisons.

 

À propos 78 % d'éditeurs signalent le trafic de robots sur leurs sites, mais seulement 38.4 % achètent du trafic.

Bien que les éditeurs connaissent la raison, le problème persiste car ils ne savent pas pourquoi et comment le trafic des bots a entravé leurs efforts. Alors au final, à quoi mène cette inconscience ?

La réponse est la perte de revenus publicitaires et la baisse de la qualité du site Web.

C'est pourquoi nous avons compilé un article de blog qui répond à certaines questions essentielles liées au trafic de robots, telles que ce qu'il est, à quoi il sert et comment le bloquer/le supprimer.

Qu'est-ce que le trafic de robots ?

Le trafic de bot signifie simplement que des visiteurs non humains viennent sur votre site Web. Que le vôtre soit un grand site Web populaire ou un nouveau, un certain pourcentage de bots vous rendra visite à un moment donné. 

Les bots de trafic ou les robots Web sont automatisés pour visiter des sites Web premium et apparaissent comme des humains pouvant être ciblés (audience). Certains robots effectuent des tâches répétitives telles que la copie, le clic sur une annonce, la publication de commentaires ou toute activité pouvant être incluse dans malvertising.

Les données indiquent que près de 29% du trafic du site Web est du trafic de robots. Cela signifie également que 29 % du budget est consacré au traitement des pages vues artificielles/clics sur les annonces, ce qui finit par entraîner taux de rebond élevé (faible) (plus à venir à ce sujet).

Un taux de rebond acceptable d'un site Web varie de 45 à 65 %. Normalement, un tel chiffre semblerait trop peu impressionnant. Cependant, les éditeurs, les annonceurs et les spécialistes du marketing se sont habitués à cette gamme de taux de rebond. Pourquoi?

En effet, les propriétaires de sites Web savent que chaque élément de leur trafic ne peut pas être réel. Globalement, près de 50 % du trafic Web est du trafic de robots. En 2016, le trafic des bots représentait 51.8 % de trafic Web. 

Ce sont des chiffres stupéfiants qui reflètent la pénétration du trafic de robots.

Comment le trafic des robots peut-il nuire à l'analyse ?

Le trafic de bot non autorisé peut avoir un impact négatif sur les mesures d'analyse telles que le taux de rebond, les conversions, les pages vues, la durée de la session et la géolocalisation des utilisateurs.

Ces déviations peuvent créer beaucoup de frustration pour l'éditeur ou le propriétaire du site. Il est difficile de mesurer les performances réelles d'un site inondé d'activité de robots.

Six types de bots à surveiller

1. Cliquez sur Robots Traffic

Ces bots effectuent des clics publicitaires frauduleux, donc utilisés pour le spam de clics. Il s'agit du type de bot le plus menaçant pour les éditeurs Web, en particulier si vous suivez le modèle PPC. Par conséquent, les données d'analyse sont faussées et le budget est érodé.

2. Télécharger des robots Traffic

Ces bots altèrent également les données d'engagement des utilisateurs générées par l'analyse. Cependant, au lieu du nombre de clics publicitaires, ils s'ajoutent au faux nombre de téléchargements. Dans le cas où un téléchargement gratuit d'ebook est votre conversion finale, ces bots sont susceptibles de gâcher vos données de conversion.

Spam Bots Traffic

Il s'agit du type de bot le plus courant qui perturbe l'engagement des utilisateurs avec la distribution de contenu injustifié qui sont des commentaires de spam, des e-mails de phishing, des publicités, des redirections de sites Web inhabituelles, un référencement négatif contre les concurrents, etc.

Robots espions

Peut-être le type le plus méprisé, ces robots exploitent des données individuelles ou professionnelles. Ils volent des informations telles que des adresses e-mail sur des sites Web, des forums, des salons de discussion et autres.

Robots grattoirs

Ces bots visitent un site Web avec une intention malveillante 一 voler votre contenu. Ils sont fabriqués par des grattoirs tiers qui sont employés par des concurrents afin de voler du contenu, un catalogue de produits et des prix. Le contenu volé est ensuite réutilisé pour être publié ailleurs.

Robots imposteurs

Ces robots apparaissent comme de véritables visiteurs qui ont l'intention de contourner les mesures de sécurité en ligne. Ce sont surtout ces bots qui sont responsables d'attaques comme déni de service distribué. Ce sont également eux qui injectent des logiciels espions sur votre site ou apparaissent comme de faux moteurs de recherche.

AdPushup aide l'éditeur à augmenter ses revenus publicitaires. Nous y parvenons grâce à notre algorithme d'apprentissage automatique, nos tests A/B automatisés, nos enchères d'en-tête, nos formats publicitaires innovants et nos opérations publicitaires compétence. N'hésitez pas à contacter nos experts.

Bons contre mauvais robots

Il est important de se rappeler que tous les bots ne sont pas mauvais.

Les bons sont créés pour effectuer des tâches opérationnelles telles que le grattage d'anciennes données, l'hygiène du contenu, la capture de données, etc. De bons bots sont nécessaires pour que les utilisateurs aient une expérience fructueuse de navigation sur Internet.

Les mauvais bots, d'autre part, comme indiqué précédemment, effectuent toutes les activités de spam et frauduleuses qui entraînent des pertes pour les éditeurs et les annonceurs, à la fois.

Voici une infographie sur la différence de nature entre les bons et les mauvais bots.

Comment identifier le trafic des bots ?

La mauvaise nouvelle est que les mauvais bots deviennent de plus en plus intelligents. Selon le Rapport Bad Bot 2020 qui a été publié par Imperva, les bots représentaient près de 40 % du trafic Internet, dont les mauvais bots prenaient la plus grande partie de ce trafic.

Le trafic des bots atteint les sites Web toutes les heures. Même pendant que vous êtes ici en train de lire à ce sujet. Au début de ce blog, nous avons mentionné que de nombreux éditeurs ne comprennent pas pourquoi et comment le trafic des bots affecte leurs efforts. Aussi qu'ils ne savent pas comment s'y prendre. Commençons donc par la première question maintenant : comment les éditeurs peuvent-ils identifier le trafic des bots ?

#1 Revérifiez la vitesse de chargement de la page

Vous avez peut-être effectué ce test il y a une semaine. Comme nous le savons, ces résultats de test semblent un peu différents après chaque court intervalle. Mais, la prochaine fois que vous effectuerez un test de vitesse de chargement de page et que vous remarquerez une baisse considérable (sans aucun changement majeur survenu sur votre site), il y a de fortes chances que vous ayez été touché par le trafic de bots.

Il peut y avoir de nombreuses raisons pour un site de chargement lent. Cependant, en cas de détection de trafic de bot, vérification de la vitesse de chargement de la page est la première étape. Il est possible qu'un grand nombre de bots tentent ensemble de mettre vos serveurs à rude épreuve et de les mettre hors ligne.

#2 Gardez un œil sur certaines métriques

Si vous remarquez une augmentation soudaine de votre nombre de trafic et de votre taux de rebond en même temps, votre site est probablement visité par un trafic de robots. Ici, un trafic élevé signifie un nombre élevé de bots ou une fréquence élevée des mêmes bots venant sur votre site encore et encore.

Et un taux de rebond élevé signifie un trafic non humain qui visite sans but et part juste sans explorer plus de pages Web. Un comportement de durée de session soudainement modifié indique également un trafic de bot.

Supposons que votre site diffuse généralement du contenu long, la durée moyenne de votre session se situe donc entre deux et cinq minutes. Cependant, si vous constatez une baisse attendue, le trafic de robots pourrait en être la cause. Parallèlement à ceux-ci, il existe également d'autres métriques que vous devriez continuer à regarder.

#3 Vérifier les sources de trafic et l'adresse IP

Pas seulement des métriques, même certaines sources de données peuvent agir comme des buzzers pour le trafic des bots. Un nombre régulier et élevé de visites à partir des mêmes adresses IP souligne le fait que vous obtenez du trafic de bot. Des outils comme Deep Log Analyzer peuvent aider à fouiller dans les journaux de serveur bruts sans fin et à mettre sur liste noire les adresses IP incriminées.

Les sources de trafic étranges viennent ensuite. Supposons que la majeure partie de votre trafic provient de la région des États-Unis et des pays asiatiques. Une augmentation soudaine du trafic en provenance de pays arabes (non anglophones) peut être l'une des indications.

Tout cela peut être vérifié à l'aide d'outils d'analyse de site Web tels que Google Analytics. Si vous êtes nouveau sur GA, il est conseillé de familiarisez-vous d'abord avec la plateforme, puis continuez à comprendre les cas d'utilisation avec l'identification du trafic de bot.

#4 Testez la duplication de contenu

Votre contenu est le cœur de votre site Web. Et avec l'invasion des robots, cela pourrait être en danger. Pour détecter le trafic de robots, continuez à vérifier le contenu en double pour vous assurer qu'aucun robot scraper n'a visité votre site et ne vous a volé.

Des outils/plates-formes comme SiteLiner, Duplichecker, CopyScape sont pratiques à utiliser et trouvent si votre contenu est réutilisé et utilisé ailleurs.

#5 Performances du serveur : 
Le ralentissement des performances du serveur doit être examiné du point de vue du trafic des bots. Si vous êtes confronté à des temps d'arrêt, il y a de fortes chances que votre serveur ait reçu plusieurs accès de bot en peu de temps. Mais le trafic entraîne souvent une réduction des performances du serveur, ce qui peut avoir un impact direct sur l'expérience utilisateur, les revenus du site et votre entreprise.

# 6. Adresses IP/géolocalisations suspectes : 
Parfois, les géolocalisations aident également le webmaster à identifier le trafic des bots. Par exemple, si vous possédez un site Web local qui accueille des événements régionaux, une augmentation de l'activité à partir d'un emplacement distant auquel vous ne servez pas peut être suffisamment suspecte pour rechercher des activités de bot.

# 7. Sources linguistiques : 
Souvent, la langue peut indiquer la présence de trafic de robots sur votre site. Par exemple, si la langue de votre site Web et le public cible sont l'anglais et que vous voyez des appels dans différentes langues, cela peut indiquer une activité de bot sur votre site. En tant que webmaster, vous devriez essayer de garder un œil sur ces zones pour détecter et bloquer le trafic des bots en temps réel.

Comment arrêter le trafic des bots ?

Détecter une fois le trafic des bots appelle immédiatement à arrêter le trafic des bots une fois pour toutes. Les robots sont comme des virus qui frappent votre site Web, faussent vos systèmes, volent vos données, etc. Mais heureusement, il existe des méthodes qui peuvent vous aider à vous en protéger. Voici:

1. Arbitrage légitime: Achetez du trafic uniquement à partir de sources connues. Pour garantir un trafic acheté mais sûr, de nombreux éditeurs pratiquent arbitrage du trafic pour garantir des campagnes basées sur le PPC/CPM à haut rendement.
2. Utiliser Robots.txt: Placez robots.txt pour empêcher les mauvais bots d'explorer vos pages Web. Les éditeurs peuvent également souhaiter s'assurer que les paramètres du robot d'exploration sont suffisants pour éviter les problèmes dans les annonces AdSense.
3. JavaScript pour l'alertes : configurez JavaScript pour alerter sur les bots. Avoir un JS contextuel en place agit comme un buzzer chaque fois qu'il voit un bot ou un élément similaire entrer dans un site Web.
4. DDOS: Exécute un déni de service distribué (DDOS). Les éditeurs disposant d'une liste d'adresses IP offensantes utilisent la protection DDOS pour refuser ces demandes de visite sur leur site Web.
5. Utiliser les tests de réponse au défi de type: Ajoutez CAPTCHA sur les formulaires d'inscription ou de téléchargement. De nombreux éditeurs et sites Web premium placent CAPTCHA pour empêcher les robots de téléchargement ou de spam.
6. Examiner les fichiers journaux: examinez les fichiers journaux d'erreurs du serveur. Alors que les bots tentent de surcharger les serveurs, un examen approfondi des journaux d'erreurs du serveur permet de trouver et de corriger les erreurs de site Web causées par les bots.

Si vous recherchez plus de demande sur votre inventaire, nous pouvons vous aider grâce à nos partenariats avec plus de 20 partenaires de demande mondiaux. Apprendre encore plus.

Comment détecter le trafic de robots dans Google Analytics

Cette filtration du trafic des bots provenant de votre compte Google Analytics garantit que tous les types de bots reconnus (ceux mentionnés ci-dessus) évitent vos données. Cependant, la méthode peut ne pas être en mesure d'exclure des bots non identifiés ou d'un nouveau type.

Le trafic des bots peut-il être ignoré ?

Nous rencontrons également de temps en temps de mauvais bots sur notre site Web. Vous trouverez ci-dessous un exemple de commentaires indésirables que nous avons reçus sur notre blog :

Le traitement consiste à "marquer ces commentaires comme spam" et nous aurions pu faire de même. Mais puisque nous sommes des experts en la matière, nous avons profité de cette occasion pour expliquer pourquoi nous avons choisi de ne pas ignorer cette activité de bot. Et pourquoi les éditeurs ne devraient pas non plus.

Les éditeurs doivent commencer à se soucier du trafic des robots sur leur site Web, car :  

1. le site et les publicités sont également touchés par la fraude publicitaire déguisée en trafic de robots
2. des données/analyses précieuses pourraient être faussées
3. le temps de chargement du site Web et les performances globales peuvent se détériorer
4. le site Web devient vulnérable aux botnets, aux attaques DDOS et au mauvais référencement
5. Le CPC et les revenus sont gravement affectés par les faux clics

En clôture:

Étonnamment, seuls 5 % des éditeurs travaillent avec un professionnel dédié à la lutte contre la fraude. Cela signifie que les éditeurs sont touchés par les méthodes de fraude publicitaire (le trafic de robots en étant un), mais ils ne font pratiquement rien à ce sujet.

Nous encourageons les éditeurs à vérifier systématiquement le trafic de robots sur leur site Web, car cela pourrait entraîner une perte de revenus et une mauvaise expérience utilisateur.

Questions Fréquemment Posées: