|
|
51CTO旗下网站
|
|
移动端

GitHub上有哪些好用的爬虫

在开发实际项目的时候,你经常没有足够多的数据,需要自己去想办法获取,这个时候常常需要用到爬虫。

作者:有三AI来源:头条科技|2019-06-12 10:18

在开发实际项目的时候,你经常没有足够多的数据,需要自己去想办法获取,这个时候常常需要用到爬虫。然而找来找去,很可能找了很久都找不到既免费又好用的爬虫,今天就从好的爬虫开始说起,这很可能是项目成功的开始。

GitHub上有哪些好用的爬虫

1 综述类项目与学习资料

首先给大家介绍一些非常优秀的综述和学习类项目,方便大家快速索引找到所需要的资源。

1.1、awesome-spider

地址:https://github.com/facert/awesome-spider

这是ID为facert的一个知乎工程师开源的,头像如下,鉴定为大佬。

GitHub上有哪些好用的爬虫

star6000+,内容如下:

GitHub上有哪些好用的爬虫

这一款爬虫,里面搜集了几乎所有可以爬取的中文网址,从知乎豆瓣到知网,抖音微博到QQ,还有很多的不可描述的网站,你懂的。

1.2、Nyspider

地址:https://github.com/Nyloner/Nyspider

这是ID为Nyloner的一个今日头条的工程师弄的,头像如下:

GitHub上有哪些好用的爬虫

star1000+,风格与上面的项目大有不同。

GitHub上有哪些好用的爬虫

可以看出,都是各类网址。这很头条,跟这位小哥哥的工作内容估计有关系。

1.3、awesome-python-login-model

地址:https://github.com/CriseLYJ/awesome-python-login-model

这是ID为CriseLYJ(职业不详)的用户,头像如下。

GitHub上有哪些好用的爬虫

这个项目用于模拟各种网址登陆,也包含一些简单的爬虫,star6000+。

GitHub上有哪些好用的爬虫

先从这个项目开始分析各大网站的登录方式,非常有用,可谓摸清对手再动手。

1.4、python-spider

地址:https://github.com/Jack-Cherish/python-spider

这是ID为Jack-Cherish的东北大学的一个学生整理的学习python爬虫的资料,这个头像很学生。

GitHub上有哪些好用的爬虫

star6000+,包含不少的实战项目,非常适合想学习的朋友。

GitHub上有哪些好用的爬虫

其他还有一些项目,不再一一介绍。

https://github.com/jhao104/proxy_pool
https://github.com/Ehco1996/Python-crawler

2 优秀图片/视频项目

笔者的精力多在图像和视频,所以下面各自介绍一个功能强大,简单好用的图片和视频爬虫。

工具亲测长期有效,省去了很多找爬虫工具的时间,早用早好。

2.1、Google,Baidu,Bing三大搜素引擎图片爬虫

地址:https://github.com/sczhengyabin/Image-Downloader

这个爬虫由ID为sczhengyabin的用户整理,看头像就知道不好惹。

GitHub上有哪些好用的爬虫

可以按要求爬取百度、Bing、Google上的图片,我已经用了几年了,提供了非常人性化的GUI方便操作,使用方法如下:

使用python image_downloader_gui.py调用GUI界面,配置好参数(关键词,路径,爬取数目等),关键词可以直接在这里输入也可以选择从txt文件中选择。

可以配置需要爬取的样本数目,这里一次爬了2000张,妥妥的3分钟搞定。

GitHub上有哪些好用的爬虫
GitHub上有哪些好用的爬虫

这个爬虫足够满足小型项目初始数据集的积累(爬几千张高质量图片妥妥的),结果命名也非常整齐规范,最大的优势就是稳定啊,不会三天两天不能用了。

2.2、各大视频网站爬虫

地址:https://github.com/iawia002/annie

由ID为iawia002的用户整理,看头像来路也不简单。

GitHub上有哪些好用的爬虫

Annie是一款以go语言编码的视频下载工具,使用便捷并支持youtube,腾讯视频,抖音等多个网站视频和图像的下载,收录站点如下,可以说是该有的都有的:

GitHub上有哪些好用的爬虫

虽然这个项目可以下载图片,但是我们还是来用它下载视频吧,使用方法很简单:

annie [可选参数]http://… (视频网址) 
GitHub上有哪些好用的爬虫

视频会下载到当前目录,至于那些可选参数,赶紧去摸索吧。

GitHub上有哪些好用的爬虫

要说互联网圈里最有权势的那些人,搞爬虫的高手一定位列其中,他们大概是掌握信息最多的那批人了,善于整合抓取资源,如果身边有这样的大佬,一定要牢牢抱着。

【编辑推荐】

  1. GitHub五万星中文资源:命令行技巧大合集,新老司机各取所需
  2. iOS开发者向苹果发起集体诉讼:指称其触犯竞争法
  3. 一文了解苹果WWDC 2019发布的开发者工具有哪些亮点
  4. 知名游戏设计师 Jason Rohrer 的 GitHub 仓库被删,CEO 亲自道歉
  5. 15岁中国学生获苹果WWDC奖学金:写代码只用2个周末
【责任编辑:张燕妮 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

409人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

Spring Boot 爬虫搜索轻松游

Spring Boot 爬虫搜索轻松游

全栈式开发之旅
共4章 | 美码师

92人订阅学习

读 书 +更多

'ASP.NET'程序设计教程

《ASP.NET程序设计教程》是在总结多年ASP.NET教学和应用项目开发经验基础上编写完成的,编写过程中充分吸取了其他畅销实用教程的成功经验。...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客