• 欢迎访问db1024网站,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏db1024吧

使用FileManager+基于Python3的爬虫程序建立影音图片库

主机教程 Liam 1年前 (2019-04-27) 286次浏览 0个评论 扫描二维码
文章目录[隐藏]

说明:爬虫估计很多人知道,可以自动下载一些网站上面的图片,视频,这里说下使用FileManager和爬虫建立影音、图片库,并分享几个美女站爬虫(1024/mm131/91/mmjpg)。想看美女的可以爬来看看。至于其他学习资料网站的爬虫,可以去Github上找找。

截图

使用FileManager+基于Python3的爬虫程序建立影音图片库 - Rat's Blog
使用FileManager+基于Python3的爬虫程序建立影音图片库 - Rat's Blog

使用教程

注:以下部分爬虫由Eq博主提供。

爬虫使用python3+requests库编写,在Windows系统和Linux系统下都可以运行,大部分UbuntuDebian都含有Python3,直接安装最新此系统就可以了。而CentOS需要额外安装Python3,这里只说下CentOS 7系统使用方法。

1、安装FileManager网盘
教程参考:利用Caddy扩展快速安装FileManager私人网盘/在线文件管理器

2、检查Python3并升级
查看Python3是否安装

python3 -V

如果返回-bash: python3: command not found,就使用Python 3.6一键脚本进行安装:

wget https://www.moerats.com/usr/shell/Python3/CentOS_Python3.6.sh && sh CentOS_Python3.6.sh 

本脚本包含许多必需库,不会因为缺少依赖而出问题,如果不想用脚本的,也可以手动升级,教程参考:Linux CentOS升级Python 3.6版本方法

3、安装requests库

pip3 install requests 

4、创建文件夹

mkdir /usr/local/caddy/www/file/xx  #用来存储文件 cd /usr/local/caddy/www/file/xx 

5、下载并运行爬虫

#91视频爬虫,默认只爬精华前100页,修改while flag<=100即可更改页数。 wget https://www.moerats.com/usr/shell/Python3/91_spider.py && python3 91_spider.py #1024图片爬虫 wget https://www.moerats.com/usr/shell/Python3/1024_spider.py && python3 1024_spider.py #mm131图片爬虫 wget https://www.moerats.com/usr/shell/Python3/mm131_spider.py && python3 mm131_spider.py #mmjpg图片爬虫 wget https://www.moerats.com/usr/shell/Python3/mmjpg.py && python3 mmjpg.py  #带缩略图的91视频爬虫,最后面main()为爬的页数 wget https://www.moerats.com/usr/shell/Python3/91_pro.py && python3 91_pro.py 

如果爬电影失败,提示no requests_html的话,还需要运行pip3 install requests_html,然后再开始运行爬虫。

建议使用screen后台操作,参考:使用screen来实现多任务不断线操作命令。最后进入FileManager网盘查看即可。


db1024 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:使用FileManager+基于Python3的爬虫程序建立影音图片库
喜欢 (0)
关于作者:
发表我的评论
取消评论
表情 贴图 加粗 删除线 居中 斜体 签到

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址