BilkalkylenBot
BilkalkylenBot är Bilkalkylens robot. Den hämtar offentliga prislistor och erbjudanden så att priserna på sajten är aktuella.
Vad roboten hämtar
- Tillverkarnas offentliga prislistor (oftast PDF) och sidor med privatleasingerbjudanden, från en fast lista över källor som vi har gått igenom.
- Skatteverkets och Europeiska miljöbyråns öppna data om nya bilar.
- Vi sparar en kopia av det hämtade som underlag för siffrorna, så att vi kan visa varifrån ett pris kommer. På sajten återger vi enskilda uppgifter och länkar till källan; vi publicerar inte kopiorna.
Så känner du igen den
Roboten skickar alltid den här User-Agent:
BilkalkylenBot/0.1 (+https://bilkalkylen.com/bot; danni@compiled.se)Anropen kommer från Cloudflare Workers. Vi byter aldrig identitet och utger oss aldrig för att vara en webbläsare.
Reglerna den följer
- Den läser robots.txt före varje hämtning och följer det som gäller BilkalkylenBot eller alla robotar.
- Den hämtar högst en gång per dygn per källa och väntar minst 5 sekunder mellan anrop till samma webbplats.
- Den loggar inte in, fyller inte i formulär och löser inga CAPTCHA.
- Svarar en webbplats 403 eller 429 hämtar roboten inget mer från den källan den dagen. Efter tre misslyckade försök i rad slutar den hämta från webbplatsen tills en människa har tittat på varför.
- Annonssajter och sidor som spärrar robotar hämtar den aldrig.
Så stänger du ute den
Lägg till det här i din robots.txt, så hämtar roboten ingenting från webbplatsen:
User-agent: BilkalkylenBot
Disallow: /Du kan också skriva till danni@compiled.se. Vi slutar hämta från din webbplats inom 5 arbetsdagar efter att du har hört av dig.
Vilka källor siffrorna kommer från står i Källor.