首页 热点资讯 义务教育 高等教育 出国留学 考研考公
您的当前位置:首页正文

Python学习 三 01 再爬一个网站,几行代码,搞定分类类别

2024-12-18 来源:化拓教育网

前文,下载了一个图片网站,但是素材还是不够,我希望的是GIF素材,所以又找了一个网站。

下载这些图片的目的,是在进行动图创作、视频编辑的时候,感到素材太少,所以需要爬以下,获得一些素材。

如果喜欢视频编辑的话,可以下载我的另一款软件:任性小视频

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

根据主类别,创建本地目录,

将主类别对应的网址,下载下来

看网页源码

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

创建好的主类别如下

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

代码如下:

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

目前,我们将主类别创建成功了,而且主类别目录下,是其对应的网页

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

下图为主类别网页

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

网页源码如下:

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

子类别位于class=cat的DIV下

下面,我们加载这个主类别网页,然后,在这个网页中搜寻子类别信息

首先获得gif目录下的所有子文件夹

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

然后获得子目录下存放的TXT网页,对此网页进行解析,获得所需的子类别信息,

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

代码:

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

最后,根据子类别信息,创建子类别目录,及子类别对应的网页

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

至此,我们将原网站中对应的类别信息,已经下载下了。

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

代码:

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

注意了,前面写的那么多,要废除了,但是前面也并不是一点作用也没有,而是为了更好的分析

很多时候就这样,并不能一下子就找到正确的方法,就是要在不断的调试,不断的分析后,才能找到更好的策略

我发现,这个网站,并不是严格的几层分类,分类层数不一定,又仔细看了下源码,不管是主分类网页,还是次分类网页,他们的div的类别都是相同的。

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

而A分类下的子类别accordions下,可能还有子分类,也可能没有子分类。

判断accordions下还没有子分类的方式:

下载网页

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

看看此网页中是否还有

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

如果还有,则继续创建类别

这是一个递归创建的过程,所以我将上面的程序重新推到,重新写了个递归算法。

用这几句代码,就可以正确的创建网站类别了。

ython学习 三 01 再爬一个网站,几行代码,搞定分类类别

显示全文