百度蜘蛛ip是国外的吗(宝塔百度蜘蛛)

这不是百度第一次因自己网站上的内容招致的道德拷问了。

2月28日，自媒体“新闻实验室”一篇名为《在百度搜索部分小学和幼儿园，会被导向色情网站》引发关注。文章称，“在百度中搜索广州的很多小学和幼儿园的名字，结果中排在首位的一般都是百度百科，而进入百度百科页面之后，点击参考文献中的“广州上学网”，却会进入色情网站。”

对此，文章作者方可成分析称，“这些学校的百度百科页面在编写的时候，确实是指向了真正的“广州上学网”。后来，这个网站关闭了，内容无法再访问。再后来，“广州上学网”的域名被色情网站运营者买下，设置成了自动跳转色情网站。这样一来，所有原本指向“广州上学网”的链接，现在都会被跳转到色情网站。”

很快百度给出回应，称，“已经紧急删除了该词条中被不法分子利用的参考资料网页，开发团队即刻全面排查以该域名为参考资料的所有词条，并进行相应处理。”

对于后续的问题，百度声明“开发团队会持续针对所有词条的参考资料中网页的URL重定向问题进行全面排查，并集中处理。为了避免此类问题再次发生，百度百科将增加词条参考资料的检查频次，并丰富检查维度。”

动摇根基？

“主要靠技术实时巡查，”据百度内部人士对时间财经介绍，解决这样的URL重定向的问题，“貌似目前AI用得不多。”

据百度百科上的介绍，以百度、Google为代表的搜索引擎，其基本原理是，搜索引擎主动派出“蜘蛛”程序，对一定IP地址范围内的互联网网站进行检索，一旦发现新的网站，它会自动提取网站的信息和网址加入自己的数据库。而其中 链接 质量是网页被收录的关键参数之一。特别的，百度的搜索引擎大约在10天左右重新访问网站一次。

“以百度高超的技术能力（前不久刚刚平稳应对了春晚红包的巨大流量），写一个程序检查百度百科中的失效链接和可疑跳转，是一件再简单不过的事情。遗憾的是，百度并没有做这件事情，而是让色情网站的运营者钻了空子，让部分查询小学和幼儿园信息的家长（乃至学生）被导向了色情网站。”方可成在文章中写道。

作为以搜索引擎商业化为主业的百度，因为自己搞内容，多次发生难以忽视的问题。好在发生问题时，百度总能立刻解决，并给出后续减少或杜绝类似情况措施。

但百度自家网站上的链接出了问题，在某种程度上，动摇了百度的产品根基。

内容惹的祸

早在2011年3月15日，韩寒、慕容雪村、贾平凹等作家，公开发布了《中国作家声讨百度书》，控诉百度文库使用大量没有授予版权的作品，侵犯了创作者权益的侵权行径。

3月28日，百度创始人李彦宏出席深圳IT领袖峰会时明确表示：“我在公司内部的态度很明确，如果管不好，就关掉百度文库。”目前正在调集公司力量加强反盗版力度。

他还进一步强调：“当然，百度还是希望与版权方、作家达成一个满意的解决方案。”次日，百度称文库中非授权文学类作品已基本清空。3月30日，百度文库上线了版权合作平台，通过付费分成、广告分成模式为版权方提供收益。

近些年，百度在对待内容的态度上有了两个明显的转向。一是加大自有内容的投入。二是视频内容的比重增加。但不变的是，因内容引起的纷争从未停息。

2018年12月，今日头条状告百度，称其经依法授权，享有所经营的悟空问答网上《天津菜是由鲁菜改良衍生出来的吗？》问题中作者回答一文的信息网络转播权以及相关维权的权利。百度公司“百家号”网站及“手机百度”APP上向公众提供了涉案作品的内容。

海淀法院一审认定，百度公司未经许可，传播相关文章的内容，侵犯了今日头条的信息网络传播权，需赔偿今日头条160元经济损失。

引发纷争的百家号，不久又给百度带来了一场公关危机。

1月22日，同样由方可成撰写的文章称，百度搜索结果一半以上会指向百度自家产品，尤其是百家号，充斥着大量营销和质量低劣的内容，也导致百度搜索结果的内容质量大幅下滑。

次日，百度回应称，目前百度搜索结果中，百家号内容全站占比小于10%。还表示，现在的190万百家号创作者，覆盖了全部的权威媒体和咨询机构，也包含了大量优质的自媒体，他们在源源不断地贡献深度、权威的好内容。方再次回应称，搜索结果更重要的是首页内容占比，“全站占比没有说服力”。

随后百度对搜索结果做了微调，搜索内容展示中，不再包括网页网址，而是采用媒体的名称代替。也就是说，很难判断来源是百家号，还是其他网站的内容。

百度内容新的呈现形式之一，信息流，已经同移动搜索、手机百度一道列为关键使命+主航道。“主要是有流量，就有收益，百度信息流日均分发好几百亿，插条广告流量也是亿级曝光水平了。”在百度负责内容的人士对时间财经表示。（北京时间财经 梁齐）

本文链接：https://www.24zzc.com/news/169294783423854.html