# robots.txt for 职引 HireEdge — https://www.bysjob.com
# 本站欢迎所有搜索引擎与 AI 大模型爬虫抓取公开内容（GEO）。

User-agent: *
Allow: /
Allow: /business
Allow: /about
Allow: /enterprise-plan
Allow: /campus-plan
Allow: /open-api
Allow: /qihang
Allow: /xin-ai
Allow: /pricing
Allow: /jobs
Allow: /tools
Allow: /explore
Allow: /ai-resume-contest
Allow: /occupation-atlas/
Allow: /university-atlas/
Allow: /legal/
Allow: /site/
Disallow: /auth
Disallow: /auth-relay
Disallow: /me
Disallow: /checkout
Disallow: /subscribe
Disallow: /plugin-checkout
Disallow: /onboarding
Disallow: /internal/
Disallow: /report/
Disallow: /web/share/
Disallow: /clips
Disallow: /feedback
Disallow: /popup
Disallow: /api/

# —— 显式欢迎 AI 大模型爬虫（GEO 信号）——
# DeepSeek / Kimi / 智谱 / MiniMax / 文心 / 混元 等国产大模型主要通过
# 搜索增强（间接经百度 / Bing / 搜狗）与训练语料获取内容，无专属爬虫 UA，
# 已由上方 User-agent: * 兜底放行。下方为有公开 UA 的 AI / 搜索爬虫：

User-agent: GPTBot
Allow: /
Disallow: /auth
Disallow: /me
Disallow: /internal/

User-agent: ClaudeBot
Allow: /
Disallow: /auth
Disallow: /me
Disallow: /internal/

User-agent: Claude-Web
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Bytespider
Allow: /
Disallow: /auth
Disallow: /me
Disallow: /internal/

User-agent: Sogou instigator
Allow: /
Disallow: /auth
Disallow: /me
Disallow: /internal/

User-agent: 360Spider
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Sitemap: https://www.bysjob.com/sitemap.xml
