制作一个python贴吧爬虫(序)

很早就想写写博客什么的记录巩固一下自己编写爬虫的经历,经验,总结等东西了。刚好最近有时间,顺带梳理下自己的知识体系。

正文

因为本人刚好是SNSD队长金泰妍的粉丝,所以,时不时地回去贴吧中扫荡一波她的美图。但是,一个一个帖子逛下来实在是太费事,就萌生了用爬虫来替代人工的想法。那么,什么是爬虫呢?

网络爬虫

网络爬虫(又被称为网页蜘蛛、网络机器人),是一种按照一定规则,自动地抓取万维网信息的程序或者脚本。

一些传统的搜索引擎,例如Google,Baidu,Bing等就是一种大型复杂的网络爬虫。

大纲

接下来会按照下面的顺序,来记录学习过程中的点点滴滴。

  1. python相关
  2. python简介
  3. 运行python
  4. python基本类型
  5. 基本语法
  6. re模块介绍
  7. python io
  8. requests模块介绍
  9. 进程和多线程以及协程
  10. 网络编程
    1. TCP通信
    2. UDP通信
  11. 总结
  12. Web相关知识
  13. 编写第一个爬虫
  14. 编写爬虫
  15. 抓取数据
  16. 保存数据
  17. 加快抓取速度
  18. 解析动态网页
  19. 表单交互
  20. 验证码交互
  21. 使用Scrapy框架

暂且只能想到这么点东西,后续再继续更新相关内容

0%