robots.txt生成器
在线生成 robots.txt：可视化配置 User-agent、Allow/Disallow 路径、Crawl-delay、Host 与 Sitemap，内置禁止/允许全部与屏蔽后台等预设模板，纯浏览器本地生成，支持一键复制与下载。
使用说明
基础设置
建议只填域名，不要带 http(s):// 与斜杠，如 budouwang.com
Sitemap 地址（可多条，可选）
爬虫规则组
快捷模板
生成与导出
实时预览 robots.txt
规则说明：Disallow 为空（如
Disallow:）表示允许整站；Allow 可用于在屏蔽目录内放行特定路径。
多个 User-agent 用英文逗号分隔会自动生成独立的 User-agent 行。