网络爬虫是一种自动化技术，可以帮助收集网站上的数据。网络爬虫被广泛使用于搜索引擎、数据分析、商业情报和研究等领域中。但是，因为网络爬虫可以很容易地导致网站访问量过大，给网站带来压力和不必要的负担，这也可能会涉及到版权和隐私问题。因此，网络爬虫是否合法是一个备受争议的问题。以下是网络爬虫是否合法的完整攻略。
法律法规
首先，需要查看当地法律法规，因为不同国家和地区的法律规定可能有所不同。在美国，有一项联邦法律Clean Air Act规定在未经同意的情况下禁止从网站抓取数据。同时，如果您在进行情报收集、军事活动或制裁等活动，则可能会触犯另一项联邦法律Export Administration Regulations。欧盟对于网络爬虫也有类似的保护措施，例如通用数据保护条例（GDPR）和电子隐私指令。
robots.txt
robots.txt是网站所有者用来告知网络爬虫哪些页面可以被爬取和哪些页面不能被爬取的文件。对于网络爬虫来说，爬取这些页面是一种道德和法律责任。如果网站所有者将robots.txt文件设置为禁止爬取所有页面，则网络爬虫应该遵守这个规则，否则就可能触犯法律。
爬取频率
为了避免给网站带来不必要的压力，网络爬虫需要控制爬取频率。许多网站都有服务器的访问量限制，如果一个网站因为过多的网络爬虫而变得响应缓慢或者无法访问，这可能会被视为一种攻击行为。爬取频率太高也可能违反robots.txt文件的规定。因此，爬虫需要遵循一个安全的爬取速率，以避免给网站带来负面影响。
示例
以下是两个网络爬取的示例：
合法网络爬取的示例：
比如在爬取百度搜索结果时，可以通过robots.txt文件明确告诉网络爬虫哪些页面可以被访问，哪些不能被访问。
非法网络爬取的示例：
如果一个爬虫程序没有遵守合理的爬取速率，而是一直发送请求获取数据，则会造成严重的服务器压力过载，这是非法的行为。如果一个爬虫程序获取了用户的信息并被用于广告等非法行为，则也是违法行为。
综上所述，网络爬虫在遵守法律、遵守robots.txt文件并且控制爬取频率时是合法的。同时，网络爬虫也需要遵循一些行业标准和道德要求，以确保其合法性。