BilkalkylenBot

BilkalkylenBot är Bilkalkylens robot. Den hämtar offentliga prislistor och erbjudanden så att priserna på sajten är aktuella.

Vad roboten hämtar

  • Tillverkarnas offentliga prislistor (oftast PDF) och sidor med privatleasingerbjudanden, från en fast lista över källor som vi har gått igenom.
  • Skatteverkets och Europeiska miljöbyråns öppna data om nya bilar.
  • Vi sparar en kopia av det hämtade som underlag för siffrorna, så att vi kan visa varifrån ett pris kommer. På sajten återger vi enskilda uppgifter och länkar till källan; vi publicerar inte kopiorna.

Så känner du igen den

Roboten skickar alltid den här User-Agent:

BilkalkylenBot/0.1 (+https://bilkalkylen.com/bot; danni@compiled.se)

Anropen kommer från Cloudflare Workers. Vi byter aldrig identitet och utger oss aldrig för att vara en webbläsare.

Reglerna den följer

  • Den läser robots.txt före varje hämtning och följer det som gäller BilkalkylenBot eller alla robotar.
  • Den hämtar högst en gång per dygn per källa och väntar minst 5 sekunder mellan anrop till samma webbplats.
  • Den loggar inte in, fyller inte i formulär och löser inga CAPTCHA.
  • Svarar en webbplats 403 eller 429 hämtar roboten inget mer från den källan den dagen. Efter tre misslyckade försök i rad slutar den hämta från webbplatsen tills en människa har tittat på varför.
  • Annonssajter och sidor som spärrar robotar hämtar den aldrig.

Så stänger du ute den

Lägg till det här i din robots.txt, så hämtar roboten ingenting från webbplatsen:

User-agent: BilkalkylenBot
Disallow: /

Du kan också skriva till danni@compiled.se. Vi slutar hämta från din webbplats inom 5 arbetsdagar efter att du har hört av dig.

Vilka källor siffrorna kommer från står i Källor.