Scrapy Shell - tw511教學網

Scrapy shell 可用於抓取資料並提示錯誤程式碼，而無需使用蜘蛛。 Scrapy shell的主要目的是測試所提取的程式碼，XPath或CSS表示式。它還用來從中指定刮取資料的網頁。

組態Shell

shell 可以通過安裝 IPython(用於互動式計算)控制台，它是強大的互動式的Shell，提供自動完成，彩色輸出等功能。

如果您在UNIX平台上工作，那麼最好安裝 IPython。如果有IPython的無法存取,您也可以使用bpython。

您可以通過設定 SCRAPY_PYTHON_SHELL 環境變數或者在 scrapy.cfg 檔案中定義組態 Shell，如下圖所示：

[settings]
shell = bpython

啟動Shell

Scrapy shell 可以用下面的命令來啟動：

scrapy shell <url>

url 是指定為需要進行資料抓取的URL

使用Shell

shell提供一些附加快捷方式和Scrapy物件，如下所述：

可用快捷方式

shell提供可在專案中使用的快捷方式如下：

S.N	快捷方式和說明
1	shelp() 它提供了可用物件和快捷方式的幫助選項
2	fetch(request_or_url) 它會從請求或URL的響應收集相關物件可能的更新
3	view(response) 可以在本地瀏覽器檢視特定請求的響應，觀察和正確顯示外部連結，追加基本標籤到響應正文。

可用Scrapy物件

shell在專案中提供以下可用Scrapy物件：

S.N.	物件和說明
1	crawler 它指定當前爬行物件
2	spider 如果對於當前網址沒有蜘蛛，那麼它將通過定義新的蜘蛛處理URL或蜘蛛物件
3	request 它指定了最後採集頁面請求物件
4	response 它指定了最後採集頁面響應物件
5	settings 它提供當前Scrapy設定

Shell對談範例

讓我們試著刮取 scrapy.org 網站，然後開始從 tw511.com 抓取資料，如下所述：

在繼續之前，我們將首先啟動shell，執行如下面的命令：

scrapy shell 'http://scrapy.org' --nolog

當使用上面的URL，Scrapy將顯示可用的物件：

[s] Available Scrapy objects:
[s]   crawler    
[s]   item       {}
[s]   request    
[s]   response   <200 http://scrapy.org>
[s]   settings   
[s]   spider     
[s] Useful shortcuts:
[s]   shelp()           Provides available objects and shortcuts with help option
[s]   fetch(req_or_url) Collects the response from the request or URL and associated objects will get update
[s]   view(response)    View the response for the given request

接著，物件的工作開始，如下所示：

>> response.xpath('//title/text()').extract_first()
u'Scrapy | A Fast and Powerful Scraping and Web Crawling Framework'

>> fetch("http://reddit.com")
[s] Available Scrapy objects:
[s]   crawler    
[s]   item       {}
[s]   request    
[s]   response   <200 https://www.tw511.com/>
[s]   settings   
[s]   spider     
[s] Useful shortcuts:
[s]   shelp()           Shell help (print this help)
[s]   fetch(req_or_url) Fetch request (or URL) and update local objects
[s]   view(response)    View response in a browser

>> response.xpath('//title/text()').extract()
[u'reddit: the front page of the internet']

>> request = request.replace(method="POST")

>> fetch(request)
[s] Available Scrapy objects:
[s]   crawler    
...

從Spider檢查響應呼叫Shell

您可以檢查它是由蜘蛛處理的響應，只有期望得到的響應。

例如：

import scrapy
class SpiderDemo(scrapy.Spider):
    name = "spiderdemo"
    start_urls = [
        "https://www.tw511.com",
        "http://yiibai.org",
        "http://yiibai.net",
    ]

    def parse(self, response):
        # You can inspect one specific response
        if ".net" in response.url:
            from scrapy.shell import inspect_response
            inspect_response(response, self)

正如上面的程式碼所示，可以從蜘蛛呼叫shell，通過使用下面的函式來檢查響應：

scrapy.shell.inspect_response

現在執行的蜘蛛，應該會得到如下介面：

2016-02-08 18:15:20-0400 [scrapy] DEBUG: Crawled (200)  (referer: None)
2016-02-08 18:15:20-0400 [scrapy] DEBUG: Crawled (200)  (referer: None)
2016-02-08 18:15:20-0400 [scrapy] DEBUG: Crawled (200)  (referer: None)
[s] Available Scrapy objects:
[s]   crawler    
...

>> response.url
'http://yiibai.org'

您可以使用下面的程式碼檢查提取的程式碼是否正常工作：

>> response.xpath('//div[@class="val"]')
It displays the output as
[]

上面一行只顯示空白輸出。現在可以呼叫 shell 來檢查響應，如下圖所示：

>> view(response)
It displays the response as
True