robots.txt for AI

Konfigurer robots.txt for å gi AI-crawlere eksplisitt tilgang til innholdet ditt.

Hvorfor oppdatere robots.txt?

Tradisjonell robots.txt fokuserer på søkemotorer som Googlebot. Men AI-selskaper har egne crawlere som trener modeller og henter data for AI-assistenter. Ved å eksplisitt tillate disse crawlerne, sikrer du at AI-systemer kan lære om og representere bedriften din.

Hvilke AI-verktøy har egne crawlere?

Når du bruker ChatGPT, Claude eller andre AI-verktøy til å lese nettsider, bruker de spesielle "crawlere" som identifiserer seg i robots.txt:

ChatGPT

GPTBot

Brukes når ChatGPT trenger å lese nettsider for å svare på spørsmål.

Claude

Claude-Web

Brukes når Claude leser nettsider du deler eller søker etter.

Gemini / Google AI

Google-Extended

Brukes til trening av Googles AI-modeller som Gemini.

Perplexity

PerplexityBot

AI-søkemotor som finner og oppsummerer informasjon fra nettet.

Anbefalt konfigurasjon

For de fleste bedrifter anbefaler vi å tillate alle kjente AI-crawlere:

robots.txttext

# AI Crawlers - Eksplisitt tillatt
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: cohere-ai
Allow: /

# Tradisjonelle crawlere
User-agent: Googlebot
Allow: /

User-agent: *
Allow: /

# Referanser til AI-vennlige ressurser
# Se: /llms.txt
# Se: /.well-known/agent.json

Sitemap: https://example.com/sitemap.xml

Restriktiv konfigurasjon

Hvis du vil ha mer kontroll, kan du begrense tilgang til spesifikke områder:

robots.txt (restriktiv)text

# Tillat bare spesifikke AI-crawlere
User-agent: GPTBot
Allow: /public/
Disallow: /admin/
Disallow: /api/

User-agent: Claude-Web
Allow: /public/
Disallow: /admin/
Disallow: /api/

# Blokker ukjente crawlere
User-agent: *
Disallow: /

Viktige hensyn

AI-trening vs. browsing

Noen crawlere (som ChatGPT sin) brukes både for trening og live-browsing. Å blokkere dem betyr at AI ikke kan lese siden din i sanntid.

robots.txt er advisory

robots.txt er en forespørsel, ikke en teknisk blokkering. Seriøse aktører respekterer den, men den gir ingen garanti.

Test din nettside

Sjekk om en nettside tillater AI-crawlere:

Test din robots.txt

Sjekk om nettsiden din tillater AI-crawlere

Se det i praksis

Se vår robots.txt

Neste steg

llms.txt Sjekkliste