前言

多年来自感受了扳平次全栈(伪)开发App的经验,获益良多,我思念将经过记录转,一是想起及巩固,二凡是抛砖引玉,如发左以求大神指点。

首先,我们要明白我们最终的对象是什么。
随现在己只要举行一个简练的打评测资讯的App。
那我先是要【数据来源于】然后要一个提供数据接口的【服务端】,我用先形成这第二吧,然后才起App的出。

为此自将分为三步[Python爬虫]->[Ruby服务端]->[iOS客户端]来就这个App。

万一爬虫技术,将作先遣部队,为我们攻下第一个数据堡垒。

开始

不少言语都出成熟的爬虫框架,我选的是运Python语言的Scrapy框架,这是一个要命全面而功能强大的爬虫框架,我们就需要为此到无限基础的功用。Scrapy拥有充分强的华语文档
安装与入门教程文档一应俱全,我就算非赘述了。

安好下,我们开拓终端,开始创办令人激动的爬虫

scrapy startproject yxReview

cd yxReview 

scrapy genspider yx_review www.ali213.net/news/pingce

好后组织大体上如图

json 1

k

虽这么,基础之框架和代码都被那个成了,接着我们因而编辑器打开yxReview目录,首先以items.py文本下新建一个item。
咱俩可以预先打开网页武侠评测分析一下

json 2

侠客评测

粗略起见,我们当下一味抓到手4独特性,创建代码:

class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    cover_image = scrapy.Field()
    summary = scrapy.Field()
    score = scrapy.Field()

接下来我们进来目录下的spiders文件夹,打开yx_review.py
如下编辑

# -*- coding: utf-8 -*-
import scrapy

from yxReview.items import ArticleItem

class YxReviewSpider(scrapy.Spider):
    name = "yx_review"
    allowed_domains = ["www.ali213.net"]
    start_urls = (
        'http://www.ali213.net/news/pingce/',
    )

    def parse(self, response):
        items = []
        for sel in response.xpath('//div[@class="t3_l_one_l"]'):
            item = ArticleItem()
            item["cover_image"] = sel.xpath("div[@class='one_l_pic']/a/img/@src").extract()
            item["title"] =   sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_tit']/a/text()").extract()
            item["summary"] = sel.xpath("div[@class='one_l_con']/div[@class='one_l_con_con']/text()").extract()
            items.append(item)

        index = 0
        for scoreSel in response.xpath('//div[@class = "t3_l_one_r"]'):
            item = items[index]
            item["score"] = scoreSel.xpath("div/span/text()").extract()
            index = index + 1
            yield item

        print items

此最主要是parse方法,返回请求到的HTML然后分析出我们需要之数装进ArticleItem里,然后用items传输到pipeline中。

传管道

以爬虫scrapy中,pipeline是一个最主要之定义,它相当给一个“加工器”,可以连续不断多个自定义之pipeline,完成多少的延续处理工作,比如进行筛选分类,或者持久化到地头等等,按事先级串并。

于本例中,为了便利,我用创造一个管道将数据略处理并保存及地面文件中。

打开pipelines.py,编辑如下

# -*- coding: utf-8 -*-

from scrapy import signals
from scrapy.contrib.exporter import JsonItemExporter

class YxreviewPipeline(object):

    @classmethod
    def from_crawler(cls, crawler):
         pipeline = cls()
         crawler.signals.connect(pipeline.spider_opened, signals.spider_opened)
         crawler.signals.connect(pipeline.spider_closed, signals.spider_closed)
         return pipeline

    def spider_opened(self, spider):
        self.file = open('items.json', 'wb')
        self.exporter = JsonItemExporter(self.file)
        self.exporter.start_exporting()

    def spider_closed(self, spider):
        self.exporter.finish_exporting()
        self.file.close()

    def process_item(self, item, spider):
        self.checkData(item, "title")
        self.checkData(item, "summary")
        self.checkData(item, "cover_image")
        self.checkData(item, "score")

        self.exporter.export_item(item)

        return item

    def checkData(self ,item, field):
        if len(item[field]) > 0:
            newText = item[field][0].encode("utf-8")
            item[field] = newText.strip()
        else:
            item[field] = ""

前面三只法子,相当给被当下的pipeline提供了一个JsonItemExporter的插件,用于将持有爬取的item导出为JSON格式的文件里。

此外要证实的凡,这里从定义了一个checkData办法,作为一个简约的数据类型验证,以及用前解析的情转换成为字符串并且进行了utf-8编码的转码,保障中文内容的正确性显示。

完后,打开工程目录下的items.json文件,可以看出数据已经因JSON格式保存了下。

json 3

items.json

时至今日,爬虫的任务可告一段落,当然,在事实上用被还得解决再多之题目,比如分页爬取,反爬虫的回复等等,迫于文章篇幅暂且不说明,算作扩展阅读吧
:)

生一样篇,我们用用ruby on rails编写服务端,提供移动端的REST API接口。


数不胜数链接
从零开始开发一个App(1)-
Scrapy爬虫
从零开始开发一个App(2)- 简易REST
API服务端
从零开始开发一个App(3)-
iOS客户端

相关文章

网站地图xml地图