因为上手练习一个自己的数据分析项目，因此需要爬取数据。经历过两个版本的更新后，终于写出了第三版。期间也学会了selenium库的运用，API接口的调用，IP池等。

确定目标

因为想要一个量大的数据集，因此没有考虑热榜排名，因为所有区加起来也才一千左右。全部视频信息的话技术不行，然后就盯上了分区榜。

从这个榜单可以选择时间段，可以根据每个月的视频热度排名等信息，来分析月度热点，哪些视频更加容易火，以及各种因素对视频播放量的影响。虽然只是一个小分区月度热度排名，并不包含全部视频，但是数据量也是极大的。下图可以看到接近有23万条数据。

网站分析

这里存在一个难点，就是虽然浏览器上是可以查看网页源码，并且包含了视频的相关信息，但是用requests请求之后的网页源码却并没有相关的信息。因此前两个版本，我采用了selenium库的方法来获取信息，但是这个方法有一个缺点，速度慢（因为要跟浏览器一样加载整个页面信息）、信息少（只有标题、作者、视频简介、以及视频页和个人主页网址），很麻烦。于是这次我换成了API调用的方法。

我们选择一个具体的数字来查找，可以发现搜索出来一个search的接口。

点进去之后，可以发现里面的result共有20条数据，刚好对应着每页20个视频。

可以看到里面包含了作者、标题、标签、播放等一系列数据。

接口为https://s.search.bilibili.com/cate/search?callback=main_ver=v3&search_type=video&view_type=hot_rank&order=click©_right=-1&cate_id=138&page=1&pagesize=20&jsonp=jsonp&time_from=20200801&time_to=20200831 ,view_type为排行类型，page为页面数，pagesize为页面最大的视频数，上限好像是100。最后面就是时间了。