用Python爬了雷军的微博，我发现了什么？网友：不OK，绝对不OK！

2022-10-31

大家好，这里是程序员晚枫，今天给大家分享一个爬取微博的项目。

使用的框架

只用了一个框架：Scrapy

教程：https://www.bilibili.com/video/BV1LV411m7Ym

实现的功能

用户信息采集

1 2	cd weibospider python run_spider.py user

用户粉丝列表采集
1
python run_spider.py fan
用户关注列表采集
1
python run_spider.py follow
用户的微博采集
1
python run_spider.py tweet
微博评论采集
1
python run_spider.py comment
微博转发采集
1
python run_spider.py repost
基于关键词的微博检索
1
python run_spider.py search

注意事项

运行之前，改一下自己的cookie。

缺失模块。
1、请确保node版本大于6.2
2、在博客根目录（注意不是yilia根目录）执行以下命令：
npm i hexo-generator-json-content --save

3、在根目录_config.yml里添加配置：

  jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

编程博主，全网粉丝30w+，开源项目：python-office，我的微信：CoderWanFeng