网络蜘蛛抓取到网页数据后(简述通用爬虫抓取网页的流程)

在信息爆炸的时代，海量的数据淹没了我们的工作、学习和生活。如何获取有效地数据、如何对数据进行有效地分析，往往要依托“爬虫”技术。

所谓爬虫，又被称为网络机器人，但其不同于普通的网络机器人，其主要通过运行自动软件、特定的识别规则，抓取各种网页数据。

因此，人们又用“网络蜘蛛”来形容它。 网络爬虫行为，常常会涉及到法律问题，有时甚至会涉及到违法犯罪问题。

一般而言，网络爬虫只是一种工具。出于技术中立的考虑，并非所有网络爬虫行为都会违法以及犯罪，也并非使用网络爬虫就一定具有犯罪故意。

技术本无罪，主要看的是使用者是否使用得当。

在我国《刑法》之中，对于网络爬虫行为的规制主要规定在第217条，第219条，第253条，第285条、第286条、第287条。

在所罗列的罪名之中，不同的罪名对爬虫行为的规制重心并不相同。刑法对于爬虫行为的规制，最为重要的是用非法侵入、获取计算机信息系统数据罪等罪名对爬虫行为进行刑法性评价。

其次，才是对爬取到数据后的利用行为的规制。而事后规制通常交由侵犯知识产权犯罪（主要为侵犯著作权罪、侵犯商业秘密罪两罪）和侵犯公民个人信息罪来规范。

那么，网络爬虫行为又是如何触犯上述罪名的呢？

对于计算机系统类犯罪，行为人通常通过“爬虫”工具，侵入计算机系统、修改计算机程序、获取大量的数据，导致计算机系统运行出现功能障碍，影响正常的访问功能，造成个人、企业甚至国家的财产损失。

如果是涉及到国家机关所运行的计算机系统，这种“爬虫”行为带来破坏性极强，轻则造成网络堵塞、系统无法访问，重则影响导致国家机关无法正常提供服务、履行职责，更有甚至会造成重大财产损失。

当然，如果知道别人通过信息网络进行犯罪，而自己提供技术支持（包括“爬虫”技术），同样也会构成犯罪。

而对于知识产权类犯罪，典型的犯罪行为表现为侵犯著作权和商业秘密。 行为人通过“爬虫”绕开对作品的著作权保护（通常网站会采取各种技术措施保护作品），非法获取作品，并进行传播。

同样，行为人利用“爬虫”，侵入他人计算机系统，抓取某种商业秘密，损害他人合法的财产权益。这些行为在情节严重的情形下都会构成犯罪。

另外，行为人利用“爬虫”非法获取公民个人信息也会构成犯罪。 行为人通过抓取个人信息数据，又打包出卖给各类商业公司，严重影响了公民个人生活，扰乱了社会的正常管理秩序。

情节较轻的，该种行为成立民事侵权行为，权利人可以要求侵权人承担损害赔偿、赔礼道歉等民事责任。情节严重的，则构成侵犯公民个人信息罪。

2019年9月，为了方便开展业务，吸引客户流量，咩咩羊科技公司技术总监刘松书有了一个“高科技”方案。

心想：只要我公司的系统能够与有关部门的网站实现连接， 利用“大数据”技术，不就就能掌握了“流量密码”了吗？

于是，刘松书授权公司员工田二狗开发“咩咩羊信贷系统”的软件。在该软件中，其内置了“网络爬虫”功能，主要用于与S市有关部门网站进行连接。

通过该“爬虫软件”，用户们可以在S市网站上查询到多种房产相关资料。这种看似方便大众、又为公司招揽业务的行为，实际上已经触犯了法律。

在该案中，因为咩咩羊科技公司提供的技术平台，S市网站访问量高达每小时数十万次， 对该系统产生伤害性的影响，造成了网络堵塞，无法正常运行的情况。

一来除了该公司之外，其他用户并不能使用S市相关部门提供的网站服务，不利于普通民众的日常生活；二来影响了有关机关的日常运作。

法院经审理认为，刘松书、田二狗违反国家规定，开发爬虫软件对S市系统进行自动化程序攻击，严重影响了计算机信息系统的正常运行、功能的日常提供、服务的有序开展， 造成特别严重的后果。

具体表现为S市有关网站系统瘫痪60分钟以上，其行为已构成破坏计算机信息系统罪。

最终， 刘松书、田二狗双双因犯破坏计算机信息系统罪而被判处有期徒刑，在监狱中接受教育改造。

从本案中，我们可以看出：“技术中立”并不能成为违法犯罪的借口，特别是利用“爬虫”技术侵入计算机来达到自己盈利目的。

造成系统瘫痪、功能障碍、服务暂停，波及社会面广、影响时间长，更是会成为刑法所打击的对象。

“技术”本身是个中性词，在互联网时代，我们常常会给予它正面的评价， 如“科技改变生活”，最重要的原因是它能够帮助我们解决许多现实的难题。

但也正如现实情况所演绎的那样，科技在带来许多生活便利的同时，也过分的侵扰我们的个人生活，有时损害着社会利益和国家利益。

我们常说技术无罪，正如所谓“刀无罪，剑无罪”，但名刀宝剑也可能沦为杀人的“凶器”。 法律在这之中要扮演一个什么角色呢？

法律最为重要的是为人们提供一个行为准则，在纷纷扰扰的争论中划出权利与义务的边界、自由与违法犯罪之间的界限。

对于民事违法行为，当事人可以通过民事诉讼来维护自己的合法权益；对于行政违法行为，行政机关要及时作出处罚，严格监管、文明执法； 对于犯罪行为，并且造成严重后果的，应当严厉打击！

在法律的范围内，技术方能实现其自由，才能更好地服务人类的美好生活需要，创造更加幸福的生活。

刑法作为我国最严厉的法律，在规制爬虫爬取数据行为上，应当恪守其谦抑性。在民法上尚且可能被认定为合法的爬取行为，刑法不能越界认定其刑事违法。

这是由法秩序的统一原理所决定的，这也是安全与发展并重的数据安全观所要求的。

当然，更为重要的是，有关个人和组织应当努力实现“爬虫行为合规”，规避使用爬虫技术带来的风险，严格遵守网站设置的robots协议和相关法律规定，实现法律范围内的行为自 由。

本文链接：https://www.24zzc.com/news/169228087321128.html