# robots.txt for stavemaskin.com — generert av import/lag-robots.js fra import/robots-mal.txt.
# Rediger malen, ikke denne filen. https://www.stavemaskin.com/sitemap.xml fylles fra siteUrl i dist/config.js.
#
# /min-side, /deler/kurv og /service/bestill er personlige/verktøyaktige sider (ligger også med
# noindex i _headers). /deler/ blokkeres IKKE — /deler/finn er en ekte side. /sammenlign får noindex
# i selve siden og blokkeres ikke her, så Google faktisk får lese noindex-en.
# En egen User-agent-gruppe arver ingenting fra «*» — derfor gjentas Disallow-linjene i hver gruppe.

User-agent: *
Allow: /
Disallow: /min-side
Disallow: /deler/kurv
Disallow: /service/bestill

# Svar- og søkeroboter: viser innhold med kildehenvisning til stavemaskin.com.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Applebot
Allow: /
Disallow: /min-side
Disallow: /deler/kurv
Disallow: /service/bestill

# Treningsroboter (bruker innholdet til å trene modeller). Standard: tillatt — eier bestemmer.
# For å stenge: bytt «Allow: /» under til «Disallow: /» og kjør node import/bygg.js på nytt.
User-agent: GPTBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Bytespider
User-agent: anthropic-ai
Allow: /
Disallow: /min-side
Disallow: /deler/kurv
Disallow: /service/bestill

Sitemap: https://www.stavemaskin.com/sitemap.xml