weibo crawler简介

weibo crawler是一个新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频。感兴趣的可以下载玩玩~

功能：

连续爬取一个或多个新浪微博用户（如Dear-迪丽热巴、郭碧婷）的数据，并将结果信息写入文件。写入信息几乎包括了用户微博的所有数据，主要有用户信息和微博信息两大类，前者包含用户昵称、关注数、粉丝数、微博数等等；后者包含微博正文、发布时间、发布工具、评论数等等，因为内容太多，这里不再赘述，详细内容见输出部分。具体的写入文件类型如下：

写入csv文件（默认）
写入json文件（可选）
写入MySQL数据库（可选）
写入MongoDB数据库（可选）
写入SQLite数据库（可选）
下载用户原创微博中的原始图片（可选）
下载用户转发微博中的原始图片（可选）
下载用户原创微博中的视频（可选）
下载用户转发微博中的视频（可选）
下载用户原创微博Live Photo中的视频（可选）
下载用户转发微博Live Photo中的视频（可选）
下载用户原创和转发微博下的一级评论（可选）
下载用户原创和转发微博下的转发（可选）
如果你只对用户信息感兴趣，而不需要爬用户的微博，也可以通过设置实现只爬取微博用户信息的功能。程序也可以实现爬取结果自动更新，即：现在爬取了目标用户的微博，几天之后，目标用户可能又发新微博了。通过设置，可以实现每隔几天增量爬取用户这几天发的新微博。具体方法见定期自动爬取微博。

输出：

用户信息

用户id：微博用户id，如”1669879400″
用户昵称：微博用户昵称，如”Dear-迪丽热巴”
性别：微博用户性别
生日：用户出生日期
所在地：用户所在地
教育经历：用户上学时学校的名字
公司：用户所属公司名字
阳光信用：用户的阳光信用
微博注册时间：用户微博注册日期
微博数：用户的全部微博数（转发微博+原创微博）
粉丝数：用户的粉丝数
关注数：用户关注的微博数量
简介：用户简介
主页地址：微博移动版主页url，如https://m.weibo.cn/u/1669879400?uid=1669879400&luicode=10000011&lfid=1005051669879400
头像url：用户头像url
高清头像url：用户高清头像url
微博等级：用户微博等级
会员等级：微博会员用户等级，普通用户该等级为0
是否认证：用户是否认证，为布尔类型
认证类型：用户认证类型，如个人认证、企业认证、政府认证等
认证信息：为认证用户特有，用户信息栏显示的认证信息

 

weibo crawler获取

github

 

1. 转载请保留原文链接谢谢！ 2. 本站所有资源文章出自互联网收集整理，本站不参与制作，如果侵犯了您的合法权益，请联系本站我们会及时删除。 3. 本站发布资源来源于互联网，可能存在水印或者引流等信息，请用户擦亮眼睛自行鉴别，做一个有主见和判断力的用户。 4. 本站资源仅供研究、学习交流之用，若使用商业用途，请购买正版授权，否则产生的一切后果将由下载用户自行承担。