Scrapy教學 » Scrapy快速入門

Scrapy快速入門

Scrapy快速入門

最好的學習方法是參考例子，Scrapy 也不例外。出於這個原因，有一個 Scrapy 專案名為 quotesbot 例子，可以參考它了解和使用 Scrapy。它包含兩個蜘蛛用於抓取 http://quotes.toscrape.com, 一個使用CSS選擇器，而另一個使用XPath表示式。

提示：安裝 Scrapy 開發環境組態請參考 - /5/59/1787.html

專案 quotesbot 的原始碼可在： https://github.com/scrapy/quotesbot. 在這裡可以找到關於專案 README 更多資訊。

如果你熟悉使用 Git，可以檢出的程式碼。否則點選這裡下載該專案原始碼的 zip 檔案。
現在我們一步步的了解和學習這個專案。

quotesbot 專案簡介

這是一個 Scrapy 範例（入門）的專案，它實現從 http://quotes.toscrape.com 上爬行抓取名人名言。

這個專案只是針對學習演示目的。

提取資料

這個專案將提取名言，以及各自的作者姓名和標籤相結合。提取的資料看起來是這樣的，如下例子：

{
    'author': 'Douglas Adams',
    'text': '「I may not have gone where I intended to go, but I think I ...」',
    'tags': ['life', 'navigation']
}

蜘蛛 - Spiders

該專案包含兩個蜘蛛(Spider)，可以使用 list 命令列出它們：

$ scrapy list
toscrape-css
toscrape-xpath

這兩種蜘蛛提取同一網站相同的資料，但是如果要刮取 CSS，則使用 CSS 選擇器，而要刮取 XPath 則採用 XPath 表示式。

您可以通過Scrapy教學去了解更多的蜘蛛。

執行蜘蛛

您可以使用 scrapy 爬行的命令，如執行一個蜘蛛：

$ scrapy crawl toscrape-css

如果想儲存資料刮到一個檔案，可以通過 -o 選項：

$ scrapy crawl toscrape-css -o quotes.json

程式碼實現

我們先來看看 quotesbot/spiders/toscrape-xpath.py 的程式碼實現 - 

# -*- coding: utf-8 -*-
import scrapy


class ToScrapeSpiderXPath(scrapy.Spider):
    name = 'toscrape-xpath'
    start_urls = [
        'http://quotes.toscrape.com/',
    ]

    def parse(self, response):
        for quote in response.xpath('//div[@class="quote"]'):
            yield {
                'text': quote.xpath('./span[@class="text"]/text()').extract_first(),
                'author': quote.xpath('.//small[@class="author"]/text()').extract_first(),
                'tags': quote.xpath('.//div[@class="tags"]/a[@class="tag"]/text()').extract()
            }

        next_page_url = response.xpath('//li[@class="next"]/a/@href').extract_first()
        if next_page_url is not None:
            yield scrapy.Request(response.urljoin(next_page_url))

另外一個 Spider 採用 XPath 表示式 quotesbot/spiders/toscrape-xpath.py 的程式碼實現 - 

# -*- coding: utf-8 -*-
import scrapy


class ToScrapeSpiderXPath(scrapy.Spider):
    name = 'toscrape-xpath'
    start_urls = [
        'http://quotes.toscrape.com/',
    ]

    def parse(self, response):
        for quote in response.xpath('//div[@class="quote"]'):
            yield {
                'text': quote.xpath('./span[@class="text"]/text()').extract_first(),
                'author': quote.xpath('.//small[@class="author"]/text()').extract_first(),
                'tags': quote.xpath('.//div[@class="tags"]/a[@class="tag"]/text()').extract()
            }

        next_page_url = response.xpath('//li[@class="next"]/a/@href').extract_first()
        if next_page_url is not None:
            yield scrapy.Request(response.urljoin(next_page_url))

參考