如何设置js 与html不让网络爬虫抓取百度了一个方法,仅供参考。robots.txt文件应该放置在网站根目录下。robots.txt文件用法举例:1. 允许所有的robot访问User-agent: * Allow:或者 User-agent: * Disallow:22023-02-21JavaScript240