robots.txt文件测试工具可以在线测试和分析指定域名的网站根目录下名称为robots.txt的文件，验证是否允许或禁止搜索引擎读取网站各个目录中的网页内容.
robots.txt文件是什么文件？
robots.txt文件一般存放在网站的根目录中,它是一个纯TXT文本格式的文件，不仅可以设置指定搜索引擎允许或禁止抓取指定网站的单个文件或目录，还可以设置不同类型的文件访问的规则.