scrapy爬虫框架

2016-04-29

安装:

依赖安装的文件大致如下:

apt-get install python-lxml python-dev libffi-dev
pip install w3lib
pip install cssselect
pip install cryptography
pip install Twisted
pip install scrapy

创建项目(project):

scrapy startproject douban

接下来目录下会生成douban目录:

douban
|-- douban
|   |-- __init__.py
|   |-- __init__.pyc
|   |-- items.py
|   |-- pipelines.py
|   |-- settings.py
|   `-- spiders
|       |-- __init__.py
|       `-- spider.py
`-- scrapy.cfg

这些文件分别是:

scrapy.cfg: 项目的配置文件
douban/: 该项目的python模块。之后将在此加入代码。
douban/items.py: 项目中的item文件.
douban/pipelines.py: 项目中的pipelines文件.
douban/settings.py: 项目的设置文件.
douban/spiders/: 放置spider代码的目录.

生成示例应用

cd douban/
scrapy genspider malu malu.me

执行爬虫

scrapy crawl malu

查看版本

scrapy version
scrapy version -v

scrapy shell

启动终端:

scrapy shell 'http://scrapy.org' --nolog

推荐安装ipython(调试起来更方便):

apt-get install ipython

直接xpath调试:

sel.xpath('//*[@id="ip_list"]/tr[2]/td[2]/text()').extract()[0]

查看url和内容:

response.url
response.body

ipython history:

In [1]: %history

官方文档:http://doc.scrapy.org/en/latest/index.html

中文文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/index.html

Other

pyspider