7.数量存储

为了便于之后调用数据,我们须要用pipelines.py将爬取的数目存储在固化的文件中。可以用json等格式储存,也得以存放在数据库中。网页爬取数据往往不太标准,提出拔取mongodb(NoSQL)。

import json
import codecs
Import pymongo #python中用来操作mongodb的库
##存储为json格式
class DoubanPipeline(object):
    def __init__(self):
        self.file = codecs.open('douban_movie.json','wb',encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + '\n'
        self.file.write(line.decode("unicode_escape"))
        return item

class MongoPipeline(object):

    collection_name = 'douban_cartoon' # mongo的collection相当于sql的table

    def __init__(self, mongo_uri,mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    ## 配置mongo
    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'), #从settings中mongo的uri
            mongo_db=crawler.settings.get('MONGO_DATABASE','douban') #从settings中获取数据库,默认为douban
        )

    # 在spider工作开始前连接mongodb
    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]
    ## 在spider工作结束后关闭连接
    def close_spider(self, spider):
        self.client.close()
    ## 在mongodb中插入数据
    def process_item(self, item, spider):
        # for i in item:

        self.db[self.collection_name].insert(dict(item))
        return item

运转后就可以在档次所在目录找到douban_movie.json,mongodb的话须求团结去查询了。

5. 定义要爬取的内容

在items.py中作如下修改

import scrapy
class DoubanItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    link = scrapy.Field()
    info = scrapy.Field()
    desc = scrapy.Field()

3. 修改settings.py

因为Scrapy格外诚实,爬取网页的时候会标明自己是一只爬虫,然而豆瓣不给那些声明身份的爬虫活路。所以我们只能够换个身份。

首先步:chrome用火速键F12开拓开发者工具,接纳Network一栏,可能须求F5刷新页面:

开发者工具之Network

第二步:在上图红框部分随机拔取一个,汇合世下图:

浏览器新闻

俺们第一需求的是里面红框的Request Headers的新闻。

第三步:在settings.py中修改DEFAULT_REQUEST_HEADERA和USER_AGENT。

settings.py

里面的USER_AGENT填写浏览器图中的User-Agent对应音讯,DEFAULT_REQUEST_HEADERA里的音讯依照字典的写法,从浏览器新闻图中逐一对应相应填上去。
PS:
顺手启用DOWNLOAD_DELAY=3减慢爬取速度,不要给外人的服务器增添太多压力。
除此以外启用ITEM_PIPELINES = { 'tutorial.pipelines.DoubanPipeline': 300,}用来拍卖多少

4. 用爬虫的见解看网页,

在命令行中输入scrapy shell https://movie.douban.com/chart
那时候会进去scrapy版的ipython,输入view(response)就可以查阅网页。

多页逻辑(一)

大家要求在这一页获取下一个的链接,然后再一次调用parse函数爬取那几个链接。

     def parse(self, response):
        .....
        ## 获取下一个的链接
        href = response.xpath('//*[@id="subject_list"]/div[2]/span[4]/a')
        url = u'https://book.douban.com'+ href.css('a::attr(href)').extract_first()
        yield Request(url, callback=self.parse)

6. 单页逻辑

爬取八个网页前,大家率先得要打响领取一个网页的新闻。在spiders/douban.py做如下修改
# –– coding: utf-8 –
import scrapy
from scrapy.http import Request
from ..items import DoubanItem

class DoubanSpider(scrapy.Spider):
    name = "douban"
    allowed_domains = ["douban.com"]
    start_urls = (
        'https://book.douban.com/tag/%E6%BC%AB%E7%94%BB?start=0&type=T',
    )

    def parse(self, response):
        item = DoubanItem()
        for sel in response.css('#subject_list > ul > li > div.info'):
            item['title']= sel.css('h2 > a::text').extract_first()
            item['link'] = sel.css('h2 > a::attr(href)').extract_first()
            item['info'] = sel.css('div.pub::text').extract_first()
            item['desc'] = sel.css('p::text').extract_first()
            yield item

约莫的爬虫就完了了。用scrapy crawl douban初阶工作。由于scrap创设在python2.7上,所以对汉语协助不太好,在命令行中会以unicode编码的法子体现,所以在shell上看看一堆不认得的\xxx也不用太担心。

多页逻辑(二)

我们还足以经过Scrapy提供的CrawlSpider完了多页爬取。CrawlSpider比Spider多了一步即设置Rule,具体能够看本身的[Scrapy基础之详解Spider]的CrawlSpider。

2. 开立爬虫 scrapy genspider -t basic douban douban.com

地点两步会创立如下的目录结构:

Scrapy目录树

概括说下每一个文书的功效,固然在初识Scrapy已经说过了。

  1. spiders文件夹存放你的爬虫,
  2. items.py用于定义存放网页数据的item。
  3. middlewares.py是后加的,近年来不需求
  4. pipelines.py 用于拍卖从spiders重返的item,比如说清洗、存储。
  5. settings.py是大局设定,比如说接下去提到的DEFAULT_REQUEST_HEADERA和USER_AGENT都在此间。

1. 新建工程 scrapy startproject tutorial

第一步shell试错

为了有限支撑LinkExtractor能领到到科学的链接,大家必要在shell中开展试验。

scrapy shell https://book.douban.com/tag/漫画
 from scrapy.linkextractors import LinkExtractor ##导入LinkExtractor
 item=LinkExtractor(allow='/tag/漫画',restrict_xpaths=('//*[@id="subject_list"]/div[2]/span/a')).extract_links(response) ##需要反复修改

第二步修改爬虫

修改后的爬虫如下:
# –– coding: utf-8 –
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
from tutorial.items import DoubanItem

class ManhuaSpider(CrawlSpider):
    name = 'manhua'
    allowed_domains = ['book.douban.com']
    start_urls = ['https://book.douban.com/tag/漫画']

    rules = (
        Rule(LinkExtractor(allow=r'/tag/漫画',
                           restrict_xpaths=('//*[@id="subject_list"]/div[2]/span/a')),
             callback='parse_item',
             follow=True),
    )

    def parse_item(self, response):
        item = DoubanItem()
        for sel in response.css('#subject_list > ul > li > div.info'):
            item['title']= sel.css('h2 > a::text').extract_first()
            item['link'] = sel.css('h2 > a::attr(href)').extract_first()
            item['info'] = sel.css('div.pub::text').extract_first()
            item['desc'] = sel.css('p::text').extract_first()
            yield item

运行结果和多页逻辑(一)的一致。


json,更进一步,你可以看再识Scrapy-下载豆瓣图书封面,在这些的底蕴上平添图片下载成效。
只要怕被ban,可以看再识Scrapy-防ban策略


本文参考了Andrew_liuPython爬虫(六)–Scrapy框架学习
scrapy研商探索(二)——爬w3school.com.cn,以及最首要的官方文档。


写在最后:
互联网上有那么多的Scrapy的科目,为何我还要写一个吧?因为我觉得真的学会用自己语言去发表一门技术的时候,才算入门了。
还有写出来的东西才能令人家发现自己的欠缺,希望各位大大批评指正。
自身的源代码托管在GitHub上,有必要的话可以去看

正式启幕

背景知识

(一)什么是Scrapy呢?Python上地道的爬虫框架。什么是爬虫?可以看自己的经验感悟,也得以活动谷歌百度。

(二)指出看下初识Scrapy此前备选安装Scrapy。

(三)Selectors依据XPath和CSS表明式从网页中采取数据。XPath和CSS表明式是如何东西,我们不用太过分纠结,只须求知道可以行使它们在网页中采取数据。用法:利用chrome去复制所需数据的职分新闻。当然进阶的话可以看这里

右击

拷贝

主题用法与认证:

  • response.selector.xpath(‘//title/text()’)##用xpath选拔了title的文字内容
  • response.selector.css(‘title::text’)
    ##用css选用了title的文字内容
    出于selector.xpath和selector.css使用比较常见,所以专门定义了xpath和css,所以地方也能够写成:
  • response.xpath(‘//title/text()’)
  • response.css(‘title::text’)
    由于<code>.xpath</code>和<code>.css</code>再次来到的都是<class
    ‘scrapy.selector.unified.SelectorList’>,因而可以那样写<code>response.css(‘img’).xpath(‘@src’).extract()</code>
  • 领取全体内容: .extract(),获得是一个列表
  • 领到第三个:.extract_first(),获得是一个字符串
  • 选料链接:
    .response.css('base::attr(href)').response.xpath('//base/@href')

相关文章

网站地图xml地图