Snapshot of the load ap.space sees from AI crawlers
-
Can you guess when I turned Anubis back on?
- Grey line (left-hand; y-axis) tracks page views
- Blue line (right-hand; y-axis) tracks unique users
You can even see the spike in traffic that brought down the site hard enough that I got my butt in gear to tune Anubis and turn it back on.
Based on the numbers here, there is a thirteen-fold decrease in activity (or a ~92% drop in traffic), all identified by Anubis as bots and blocked.
Selective adjustments were made to the nginx config and anubis bot policy to allow certain bits of traffic through (for unimpeded federation, etc.), but otherwise the site is now quite stable, on a small potato server. :potato:
Default bot policy does let search engine crawlers though (I think), so that is win-win.
Thank you so much @cadey@pony.social, my next stop is your GitHub Sponsors page.
-
nodebb@fosstodon.org ha condiviso questa discussione su
Ciao! Sembra che tu sia interessato a questa conversazione, ma non hai ancora un account.
Stanco di dover scorrere gli stessi post a ogni visita? Quando registri un account, tornerai sempre esattamente dove eri rimasto e potrai scegliere di essere avvisato delle nuove risposte (tramite email o notifica push). Potrai anche salvare segnalibri e votare i post per mostrare il tuo apprezzamento agli altri membri della comunità.
Con il tuo contributo, questo post potrebbe essere ancora migliore 💗
Registrati Accedi