今日头条百度竞价排名(今日头条曝光收费)_蜘蛛技巧

本人纯屌丝竞价猿一枚,上班就查排名啊！查排名啊！查排名啊！蛋甚是疼，就想着有没有办法实时自动抓取百度（当然搜狗、360、神马啥的都可以）竞价排名，那就不用自己手动来查排名了!还别说，真的有！

大家可以先看视频感受一下这种自动抓取排名的酷炫感

这边放一张最后抓取到EXCEL报表的示例图：

这个东西都能用来做些什么工作呢？比如：

1、采集创意，研究对手创意（代码只能获取标题，没有添加获取两个描述的代码）

2、排查排名情况（可以修改代码，只监视我们关注的对手的排名情况）

3、根据excel中的查询记录能查到对手下线上线时间

4、调整查询的关键词可以了解对手推广重点（需要添加多关键词查询功能，很简单）

5、不用点击进去就能获取真实着陆页链接

6、通过观察对方着陆页链接的后缀可以大致摸清其账户结构（需要查询足够多，足够广泛的的关键词及知道其陆页链接后缀意思的情况下才可以）

7、研究对手匹配方式设置情况（通过查询多次，对比搜索词与账户触发词，此代码没有添加此功能，有兴趣的童鞋可以自己添加上去，很简单）

8、研究对手分地域推广情况（需要设置代理，我没有添加此功能，有点麻烦）

9、除查询竞价排名情况外，稍微修改一下还可以查询自然排名情况，用处大家自己想哈

10、……

下面教程开始：

1、环境搭建

人生苦短。我用python

备注：装轮子的时候推荐使用pip或者easy_install，以下环境搭建非本文重点，请各位童鞋找度娘帮忙，实在实在搞不定的话也可以联系我，不要看要安装那么多东西太麻烦，其实这只是冰山的一个小角，要学的还有很多呢！

1）python2.7 （我是用的python，当然需要安装python环境了，为什么不选py3呢?因为py2的轮子比较丰富，可能有的在py3上面不支持，而且py3的部分语法跟py2有点区别，特别是print函数）

下载地址：https://www.python.org/downloads/（复制链接到浏览器打开即可）

2）使用python现成的轮子：

A、requests库（python爬虫经典库，当然也有很多别的，比如urllib、Scrapy框架等，但是我感觉requests用的比较顺手）

安装教程：http://www.python-requests.org/en/master/user/install/#install

B、xlwings库（操作excel的库，把获取到的排名情况写到Excel，其他的比如xlrd、xlwt，一个只能读，一个只能写，还不能覆盖了写，好像有点操蛋哈。其实也可以把结果直接打印在控制台或是存在文档里面，都可以的）

安装教程：http://docs.xlwings.org/en/stable/installation.html

C、 lxml库（这个库用来使用XPath获取爬到的页面内容，比如竞价位的标题和url，我已经抛弃了Beautiful Soup了，因为感觉它有点笨拙，个人见解，不喜勿喷）

安装教程：http://lxml.de/installation.html#installation

3）Excel2016 （我是用的这个版本，其他版本也可以兼容xlwings）

4）Sublime Text3 （用来编写和运行python代码的，为什么用这个，个人喜好）

安装及配置python环境教程：https://www.zhihu.com/question/22904994

2、连接python和excel

现在基本的环境都配置好了，下面要开始连接python和Excel了，在Excel里面跑python代码，从此告别VBA，是不是很酷啊！

最简单的方法就是打开cmd（开始-运行-输入cmd回车或者win键+R打开运行输入cmd并回车），打开cmd后默目录如图是C:\Users\Administrator（不同电脑这个目录可能不同）；

我现在要把当前目录切换到C盘根目录，输入下面命令并回车：

cd /

然后输入下面命令并回车：

xlwings quickstart wwt

出现如图所示，则表明运行成功。

然后在C盘会生成一个以wwt命名的文件夹,里面有两个文件：一个是wwt.xlsm文件，这是打开宏的excel格式，爬取到的数据就写入到该文件;另外一个是wwt.py文件,python命令就写在这个文件。

备注：链接excel和python有多种方法，具体见xlwings官网使用文档。

打开wwt.xlsm，然后打开vba代码编辑窗口(Alt+F11)，如图所示：

双击Module1模块，复制下面代码进去，

备注：以上代码是在VBA中自定义一个以GetSEM()命名的宏，该宏会出现在Excel中的开发工具—宏模块中。RunPython ("import wwt; wwt.main()")是xlwings提供的代码，意思是运行python代码，“import wwt”是导入wwt.py文件，“wwt.main()”是运行wwt.py文件中的main()函数，这个宏是连接python和Excel的桥梁。

至此，连接python与Excel2016完成，可以在Excel中跑python代码了！保存退出，OK！

3、复制代码到wwt.py

由于头条文章编辑器没有插入代码的功能，强行复制粘贴代码进来的话，缩进什么的就会全部乱掉，导致无法运行，所以我在这就只截图出来吧，需要代码的童鞋说一声，我会一一发给你们的。