Excel 求助各位大侠VBA代码如何抓取网页JSON数据

Excel 求助各位大侠VBA代码如何抓取网页JSON数据,第1张

基本上和JS的代码差不多哦,使用XML>Option Explicit

 

Sub xxx()

  Dim >

静态网页数据

这里的数据都嵌套在网页源码中,所以直接requests网页源码进行解析就行,下面我简单介绍一下,这里以爬取糗事百科上的数据为例:

1首先,打开原网页,如下,这里假设要爬取的字段包括昵称、内容、好笑数和评论数:

接着查看网页源码,如下,可以看的出来,所有的数据都嵌套在网页中:

2然后针对以上网页结构,我们就可以直接编写爬虫代码,解析网页并提取出我们需要的数据了,测试代码如下,非常简单,主要用到requests+BeautifulSoup组合,其中requests用于获取网页源码,BeautifulSoup用于解析网页提取数据:

点击运行这个程序,效果如下,已经成功爬取了到我们需要的数据:

动态网页数据

这里的数据都没有在网页源码中(所以直接请求页面是获取不到任何数据的),大部分情况下都是存储在一个json文件中,只有在网页更新的时候,才会加载数据,下面我简单介绍一下这种方式,这里以爬取人人贷上面的数据为例:

1首先,打开原网页,如下,这里假设要爬取的数据包括年利率,借款标题,期限,金额和进度:

接着按F12调出开发者工具,依次点击“Network”->“XHR”,F5刷新页面,就可以找打动态加载的json文件,如下,也就是我们需要爬取的数据:

2然后就是根据这个json文件编写对应代码解析出我们需要的字段信息,测试代码如下,也非常简单,主要用到requests+json组合,其中requests用于请求json文件,json用于解析json文件提取数据:

点击运行这个程序,效果如下,已经成功爬取到我们需要的数据:

至此,我们就完成了利用python网络爬虫来获取网站数据。总的来说,整个过程非常简单,python内置了许多网络爬虫包和框架(scrapy等),可以快速获取网站数据,非常适合初学者学习和掌握,只要你有一定的爬虫基础,熟悉一下上面的流程和代码,很快就能掌握的,当然,你也可以使用现成的爬虫软件,像八爪鱼、后羿等也都可以,网上也有相关教程和资料,非常丰富,感兴趣的话,可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言进行补充。

不清楚你的实际文件/情况,仅以问题中的样例说明及猜测为据;以下代码复制粘贴到记事本,另存为xxbat,编码选ANSI,跟要处理的文件放一起双击运行@echo off&cd /d "%~dp0"

rem 从一个json文件中提取指定内容

set #=Any question&set _=WX&set $=Q&set/az=0x53b7e0b4

title %#% +%$%%$%/%_% %z%

set "file=xxxjson"

if not exist "%file%" (echo;"%file%" not found&pause&exit)

>"%tmp%\jj" echo;var m=WSHStdInReadAll()match(/"totalsize"\s:[\s\S]+"url"\s:\s"([^"]+)"/);if(m){WSHStdErrWriteLine(m[1]);}

type "%file%"|cscript -nologo -e:jscript "%tmp%\jj"

echo;%#% +%$%%$%/%_% %z%

pause

exit

实时获取推荐使用Socket。

定时获取数据的话写个定时器,每10秒获取一次数据。

定时:

var t = null;

t = setInterval(function(){

//获取数据的代码

},10000)

版本 2

支持库 internet

子程序 提取pic, 文本型

局部变量 json, 类_json

json解析 (到文本 (>

以上就是关于Excel 求助各位大侠VBA代码如何抓取网页JSON数据全部的内容,包括:Excel 求助各位大侠VBA代码如何抓取网页JSON数据、如何通过网络爬虫获取网站数据、批处理如何获取这个只有一行的JSON文件中的这个网址等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址:https://www.54852.com/web/9753572.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2023-05-01
下一篇2023-05-01

发表评论

登录后才能评论

评论列表(0条)

    保存