百度蜘蛛爬虫规则(蜘蛛爬虫最喜欢什么网站)

2019年5月28日，国家互联网信息办公室就《数据安全管理办法（征求意见稿）》（以下简称“征求意见稿”）公开征求意见，这是我国数据安全立法领域的里程碑事件。以法律的形式规范数据收集、存储、处理、共享、利用以及销毁等行为，强化对个人信息和重要数据的保护，可维护网络空间主权和国家安全、社会公共利益，保护自然人、法人和其他组织在网络空间的合法权益。以网络爬虫为主要代表的自动化数据收集技术，在提升数据收集效率的同时，如果被不当使用，可能影响网络运营者正常开展业务，为回应上述问题，征求意见稿第十六条确立了利用自动化手段（网络爬虫）收集数据不得妨碍他人网站正常运行的原则，并明确了严重影响网站运行的具体判断标准，这将对规范数据收集行为，保障网络运营者的经营自由和网站安全起到积极的作用。

一、网络爬虫的功能和价值

（一）定位

网络爬虫，又称为网络蜘蛛或网络机器人，是互联网时代一项普遍运用的网络信息搜集技术。该项技术最早应用于搜索引擎领域，是搜索引擎获取数据来源的支撑性技术之一。随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式变得更加广泛和多样，较为常见的有新闻平台的内容汇聚和生成、电子商务平台的价格对比功能、基于气象数据的天气预报应用等等。一个出色的网络爬虫工具能够处理大量的数据，大大节省了人类在该类工作上所花费的时间。网络爬虫作为数据抓取的实践工具，构成了互联网开放和信息资源共享理念的基石，如同互联网世界的一群工蜂，不断地推动网络空间的建设和发展。

（二）功能与价值

网络爬虫技术是互联网开放共享精神的重要实现工具。允许收集者通过爬虫技术收集数据是数据开放共享的重要措施，网络爬虫能够通过聚合信息、提供链接，为数据所有者的网站带来更多的访问量，这些善意、适量的数据抓取行为，符合数据所有者开放共享数据的预期。相较于数据所有者通过开发API来提供数据，网络爬虫技术为数据收集者提供了极大的便利，也给专业网络爬虫公司带来巨大的收益：随着网络爬虫技术在市场中的日益普遍，其成本急剧下降，截至2016年其服务成本已经低至每小时20元，一般的网络爬虫公司平均每年可赚取40万元，而专门为大公司从事网络爬虫外包服务的公司每年收益可达百万。

二、网络爬虫规制的必要性

（一）恶意抓取侵害他人权益和经营自由

通过网络爬虫访问和收集网站数据行为本身已经产生了相当规模的网络流量，但是，有分析表明其中三分之二的数据抓取行为是恶意的，并且这一比例还在不断上升：恶意机器人可以掠夺资源、削弱竞争对手。恶意机器人往往被滥用于从一个站点抓取内容，然后将该内容发布至另一个站点，而不显示数据源或链接，这一不当手段将帮助非法组织建立虚假网站，产生欺诈风险，以及对知识产权、商业秘密的窃取行为。

（二）恶意爬虫危及网络安全

从行为本身来讲，恶意爬虫会对目标网站产生DDOS攻击的效果，当有成百上千的爬虫机器人与同一网站进行交互，网站将会失去对真实目标的判断，其很难确定哪些流量来自真实用户，哪些流量来自机器人。若平台使用了掺杂虚假访问行为的缺陷数据，做出相关的营销决策，可能会导致大量时间和金钱的损失。尽管robots协议作为国际通行的行业规范，能够帮助网站在robot.txt文件中明确列出限制抓取的信息范围，但并不能从根本上阻止机器人的恶意爬虫行为，其协议本身无法为网站提供任何技术层面的保护。目前恶意的网络爬虫行为已经给互联网平台带来了一定的商业和技术风险，影响了其正常的平台运营和业务开展。

（三）现行法律规制方式及其不足之处

网络爬虫的不当访问、收集、干扰行为应当受到法律规制。目前，我国已有法律对网络爬虫进行规制主要集中在刑法有关计算机信息系统犯罪的相关条文上。从刑法所追求的法益来看，刑法规范的是对目标网站造成严重影响并具有社会危害性的数据抓取行为。若行为人违反刑法的相关规定，通过网络爬虫访问收集一般网站所存储、处理或传输的数据，可能构成刑法中的非法获取计算机信息系统数据罪；如果在数据抓取过程中实施了非法控制行为，可能构成非法控制计算机信息系统罪。此外，由于使用网络爬虫造成对目标网站的功能干扰，导致其访问流量增大、系统响应变缓，影响正常运营的，也可能构成破坏计算机信息系统罪。

由于刑法的谦抑性，其只能在网络爬虫行为产生严重社会危害而无刑罚以外手段进行规制的情形下起到惩治效果，而对于网络爬虫妨碍其他网站正常运行、过量访问收集数据等一般性危害行为很难起到规制作用，因此我国需要建立在刑法以外的行政规制手段，构建完善的刑事责任、行政责任乃至民事责任体系，以保护互联网平台的合法权益，维护网络空间的正常秩序。

三、完善网络爬虫规制方式的建议

从网络爬虫的相关案例来看，其使用者往往有充分的理由做出可能涉嫌违法的数据抓取行为，其辩护理由通常包括：“我可以用公开访问的数据做任何事”“这是合理使用行为”“这与搜索引擎行为类似”“只是使用了自动脚本，而未使用在建立网站上”“我已经遵守了它们的robots协议”“该网站没有robots协议”“这些数据我只是个人研究使用，并没有商业目的”。由此可见，依托行为是否具有恶意或者通过主观层面来判断爬虫行为违法与否是具有难度的。网络爬虫规制的目标是在数据资源开放共享与互联网平台经营自由、网站安全之间取得平衡，遵循技术中立性原则，对网络爬虫进行规制应当基于客观结果，即是否妨碍网站的正常运行或者对他人合法权益造成严重危害。

数字时代，在数据利用成为网络产业中心的背景下，亟待确立数据访问、获取的规则。在技术手段、市场手段之外，需要采用法律手段规制爬虫技术的应用，对特定的数据访问场景进行规范。通过数据安全立法设置爬虫技术严重影响网站正常运行的判断标准，对具有危害性的网络爬虫行为进行适当规制，是我国安全与发展并重互联网治理根本准则在数据治理领域的体现，其目标是在数据活动各方主体中找到平衡点，兼顾数据开放共享与数据所有者经营自由和安全、社会公共利益，确保数据依法有序自由流动。

来源：“网信中国”微信公号

本文链接：https://www.24zzc.com/news/169228055821122.html