User-agent: *
Allow: /

# 禁止爬取用户相关页面
Disallow: /dashboard
Disallow: /stripe-success

# 禁止爬取 API 和内部文件
Disallow: /api/
Disallow: /_next/
Disallow: /_not-found
Disallow: /favicon.ico
Disallow: /images/
Disallow: /js/
Disallow: /css/

# 禁止爬取动态路由页面
Disallow: /[slug]
Disallow: /generator/[type]

# 设置爬取延迟（1秒）
Crawl-delay: 1

# Sitemap 位置
Sitemap: https://walleagent.com/sitemap.xml