入门级爬虫的基本姿势

前言

所谓的网络爬虫,就是根据一定的规则自动爬取网页信息的程序或者脚本.本文主要使用python的基本语法介绍些入门的爬虫思路.

爬虫的基本思路

爬虫的思路其实就利用图的遍历问题,涉及到了图的深度游戏搜索与广度游戏搜索两个遍历算法.我们可以通过爬虫爬取的信息经过一定的分析与整合得到我们需要的数据.

urllib与urllib2

beautifySoup的用法

模拟登录与获取信息

思考

参考资料

爬虫基础教程
爬虫模拟登录

文章目录
  1. 1. 前言
  2. 2. 爬虫的基本思路
  3. 3. urllib与urllib2
  4. 4. beautifySoup的用法
  5. 5. 模拟登录与获取信息
  6. 6. 思考
  7. 7. 参考资料