# robots.txt for qingsedanao.com # 允许所有搜索引擎访问 User-agent: * Allow: / # 禁止访问的目录和文件 Disallow: /googlebd9e7003139d9b05.html # 网站地图位置 Sitemap: https://www.qingsedanao.com/sitemap.xml # 常用搜索引擎爬虫配置 User-agent: Googlebot Allow: / User-agent: Baiduspider Allow: / User-agent: Sogou web spider Allow: / User-agent: 360Spider Allow: / # 爬取延迟(可选,避免服务器压力过大) # Crawl-delay: 1