Step3 – 适配器

前文提要

  • xiaolinBot(推特(Twitter)笑话集锦爬虫Bot)
    Step0-概述
  • xiaolinBot(推文(Tweet)笑话集锦爬虫Bot)
    Step1-最简爬虫
  • xiaolinBot(推特(Twitter)笑话集锦爬虫Bot)
    Step2-代码优化

json,爬虫中最平日碰到的标题

爬虫中最日常遭遇的题材就是
大家必要对不一致的网站上的情节开展抓取,但是抓取到的始末结构都以同等的,后续处理也是同等的,只是不一致网站上出示我们要的始末的法子是不雷同的,须求大家对各类网站相继分析,打造需求的适配器去处理

完成一个粗略的适配器

为了更通用地取匹配多少个要求下载的网站,大家平日必要使用适配器,主程序中调用相同的法子,却得以对分歧的网站进行下载。

完成适配器的法门有多种,那里因为没有用class,就不难的应用 importlib 中的
import_module 方法,也可以兑现我们要求的效益

最简便完成:

先创立一个文书夹 extractors,里面建立多少个公文: \\init**.py,
baisi.py, qiubai.py

\\init**.py 不用写代码

baisi.py:

def TransferPageToData_baisi(url):
    print('baisi', url)


transfer = TransferPageToData_baisi

qiubai.py

def TransferPageToData_qiubai(url):
    print('qiubai', url)

transfer = TransferPageToData_qiubai

下一场将大家的main.py 修改成如下:

# coding: utf-8

from pyquery import PyQuery as pq
from utils.common import GetMedia, GetPage
from importlib import import_module


SITES = {
    'qiubai': 'http://www.qiushibaike.com/',
    'baisi': 'http://www.budejie.com/'
}


def AnyTransfer(key, sites=SITES):
    m = import_module('.'.join(['extractors', key]))
    url = sites[key]
    m.transfer(url)


def main():
    for (k, v) in SITES.items():
        AnyTransfer(k)

if __name__ == '__main__':
    main()

然后我们运行

$ python3 main.py

赢得结果

json 1

结果

粗略表明:

实在我们这一种落成形式的基本点就是 :

  1. extractors里面的适配器都回去同样的数据结构(上边我们只是print,
    待会大家回到都以json 的list)
  2. 应用transfer = XXXX 最后回来统一的函数名
  3. 在主函数中 利用 m = import_module(‘.’.join([‘extractors’, key]))
    直接获取模块,然后调用模块的transfer函数

那里我们简要的第一手用
dict的key直接去配对大家的module了,如若更好有的可以对url正则去判断适配哪个适配器,那里不做增添,感兴趣的朋友可以去看看you-get的完成格局

健全适配器

最后大家进入对各网站的分析,并回到一个list

baisi.py

from pyquery import PyQuery as pq
from utils.common import (GetMedia, GetPage)


def TransferPageToData_baisi(url):
    page = GetPage(url)
    results = []
    d = pq(page)
    contents = d("div .g-mn .j-r-c .j-r-list ul li .j-r-list-c")
    for item in contents:
        i = pq(item)
        content = i("div .j-r-list-c-desc").text().strip()
        video_id = i("div .j-video-c").attr('data-id')
        pic_id = i("div .j-r-list-c-img img").attr('data-original')
        if video_id:
            print('video: ' + video_id)
            video_des = i("div .j-video").attr('data-mp4')
            video_path = GetMedia(video_des, media_type='video')
            dct = {
                "content": content,
                "id": video_id,
                "type": "video",
                "mediapath": video_path
            }
            results.append(dct)
        elif pic_id:
            print('pic: ' + pic_id)
            pic_path = GetMedia(pic_id)

            dct = {
                "content": content,
                "id": pic_id,
                "type": "pic",
                "mediapath": pic_path
            }
            results.append(dct)
    return results


transfer = TransferPageToData_baisi

qiubai.py

from pyquery import PyQuery as pq
from utils.common import (GetMedia, GetPage)

def TransferPageToData_qiubai(url):
    page = GetPage(url)
    results = []
    d = pq(page)
    contents = d("div .article")
    for item in contents:
        i = pq(item)
        pic_url = i("div .thumb img").attr.src
        content = i("div .content").text()
        qiubai_id = i.attr.id
        print("qiubai:", qiubai_id)
        if pic_url:
            pic_path = GetMedia(pic_url)
            dct = {
                'id': qiubai_id,
                'type': 'pic',
                'mediapath': pic_path,
                'content': content
            }
        else:
            dct = {
                'id': qiubai_id,
                'type': 'text',
                # 'mediapath': '',
                'content': content
            }
        results.append(dct)
    return results


transfer = TransferPageToData_qiubai

main.py

# coding: utf-8

from importlib import import_module


__author__ = 'BONFY CHEN <foreverbonfy@163.com>'


SITES = {
    'qiubai': 'http://www.qiushibaike.com/',
    'baisi': 'http://www.budejie.com/'
}


def AnyTransfer(key, sites=SITES):
    m = import_module('.'.join(['extractors', key]))
    url = sites[key]
    results = m.transfer(url)
    return results


def PrepareData():
    results = []
    for (k, v) in SITES.items():
        results = results + AnyTransfer(k)
    return results


def main():
    print(PrepareData())


if __name__ == '__main__':
    main()

运转拿到结果

json 2

总体结果

完整代码

详情见
https://github.com/bonfy/xiaolinBot

敬请期待下一讲 数据存储Mongodb

若果我们觉得可行,也请不要吝啬Star 和 Like哦~

相关文章

网站地图xml地图