# robots.txt for https://www.dobot.cn

# 允许所有合规搜索引擎抓取
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /media/upload/ # 如果不想让图标被索引
Allow: /news/
Allow: /products/
Disallow: /common/article-download-file
Disallow: /*?type=
Disallow: /*?lang=cnabout/

# 禁止 Common Crawl（避免内容被公开归档）
User-agent: CCBot
Disallow: /

# 紧急拦截 Bytespider（头条爬虫）
User-agent: Bytespider
Crawl-delay: 1
Disallow: /*?*about%2Fcooperation

# 指定站点地图（可选，帮助搜索引擎发现页面）
Sitemap: https://www.dobot.cn/sitemap.xml

# 禁止访问敏感目录
Disallow: /admin/
Disallow: /api/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/