爬虫抓取网页数据(爬虫抓取网页数据导出excel)

面对网页大量的数据，有时候还要翻页，你还在一页一页地复制粘贴吗？别人需要几小时完成的任务，学会这个小技巧你只需要几分钟就能解决。快来学习使用Excel快速批量地爬取网页数据吧！

观察要爬取数据的网页结构，如要获取印尼农药登记数据，打开网页：

http://pestisida.id/simpes_app/rekap_formula_nama.php?s_keyword=&rekap_formula_nama1Page=1

可以看到，我们要获取总共74页的数据，而网页中的参数则代表了不同的参数，在网址中的最后一个参数就是页码数，将“1”改成1-74的数字就是我们要爬取的网址。

1）打开Excel 2019，依次点击“数据”→“自网站”

2）在弹出的“从Web”对话框中选“高级”，在“URL部分”第一栏中输入不含有参数的网址，如：http://pestisida.id/simpes_app/rekap_formula_nama.php?s_keyword=&rekap_formula_nama1Page=，在第二栏中输入1表示抓取第一页的数据，最后点击“确定”。

如果有多个参数，则每个参数设置为一栏。

3）在弹出的“导航器”对话框中，选中左边需要的数据，右边可以预览到抓取的数据，最后点“编辑”，这样就可以抓取到一页网页的数据了。

1）在弹出的“Power Query编辑器”的编辑界面中，依次选择“开始”→“高级编辑器”，在编辑框的“let”前面加入语句“(p as number) as table =>”，并将“源”后面的网页参数“1”换成“(Number.ToText(p))”（不含引号），检查没有语法错误后点击“完成”，返回“Power Query编辑器”的编辑界面。

2）在返回的“Power Query编辑器”的编辑界面中，点击左边的“查询”栏上的箭头“>”，可以修改函数的名称，如“Indonesia Pesticide”。

3)依次点击“开始”→“新建源”→“其他源”→“空查询”，在函数编辑栏中输入“ ” ，即要爬取的网页数，回车，生成序列，最后点中任意数列的值，选择“到表”，在弹出的“到表”对话框中点击确定即可。

4）选中左边栏的“查询1”，依次点击“添加列”→“调用自定义函数”，弹出“调用自定义函数”对话框中，在“功能查询”下拉菜单中选择刚才命名的函数“Indonesia Pesticide”，其它的会自动填写，点击“确定”就开始爬取网页数据了。

1）依次点击右边工具栏的“查询设置”→“应用的步骤”→“已调用自定义函数”，在单元格的右上角点击双箭头图标，在弹出的对话框中，如果提示“列表可能不完整”则点击右侧的“加载更多”，在弹出的“插入步骤”对话框中选择“插入”。

最后点击关闭按钮，在弹出的“Power Query编辑器”对话框中选择“保留”即可保存爬取的数据到Excel表格中了。

本文链接：https://www.24zzc.com/news/169287582523474.html