從網頁中提取資料，Scrapy 使用基於 XPath 和 CSS 表示式的技術叫做選擇器。以下是 XPath 表示式的一些例子：
/html/head/title:
這將選擇 HTML 文件中的 <head> 元素中的 <title> 元素。
/html/head/title/text(): 這將選擇 <title> 元素中的文字。
//td: 這將選擇所有的 <td> 元素。
//div[@class=」slice」]: 選擇 div 包含一個屬性 class=」slice」 的所有元素。
選擇器有四個基本的方法，如下所示：
| S.N. | 方法 & 描述 |
|---|---|
| extract() | 它返回一個unicode字串以及所選資料 |
| re() | 它返回Unicode字串列表，當正規表示式被賦予作為引數時提取 |
| xpath() | 它返回選擇器列表，它代表由指定XPath表示式引數選擇的節點。 |
| css() | 它返回選擇器列表，它代表由指定CSS表示式作為引數所選擇的節點。 |
若要演示選擇器在內建Scrapy Shell 中，必須要在您的系統中安裝 IPython。 這裡最重要的是，在執行時網址應包含Scrapy引號之內; 否則使用的 URL 「&」 字元將不起作用。 可以通過在該專案的頂級目錄中，使用下面的命令啟動一個 shell：
scrapy shell "/5/59/1787.html"
shell 執行後結果如下圖所示：
D:first_scrapy>scrapy shell "/5/59/1787.html"
2016-10-03 11:45:08 [scrapy] INFO: Scrapy 1.1.2 started (bot: first_scrapy)
2016-10-03 11:45:08 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE': 'first_scrapy.spiders', 'ROBOTSTXT_OBEY': True, 'DUPEFILTER_CLASS': 'scrapy.dupefilters.BaseDupeFilter', 'SPIDER_MODULES': ['first_scrapy.spiders'], 'BOT_NAME': 'first_scrapy', 'LOGSTATS_INTERVAL': 0}
2016-10-03 11:45:08 [scrapy] INFO: Enabled extensions:
['scrapy.extensions.telnet.TelnetConsole',
'scrapy.extensions.corestats.CoreStats']
2016-10-03 11:45:08 [scrapy] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']
2016-10-03 11:45:08 [scrapy] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
'scrapy.spidermiddlewares.referer.RefererMiddleware',
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
'scrapy.spidermiddlewares.depth.DepthMiddleware']
2016-10-03 11:45:08 [scrapy] INFO: Enabled item pipelines:
[]
2016-10-03 11:45:08 [scrapy] DEBUG: Telnet console listening on 127.0.0.1:6023
2016-10-03 11:45:08 [scrapy] INFO: Spider opened
2016-10-03 11:45:09 [scrapy] DEBUG: Crawled (200) <GET https://www.tw511.com/robots.txt> (referer: None)
2016-10-03 11:45:09 [scrapy] DEBUG: Crawled (200) <GET /5/59/1787.html> (referer: None)
[s] Available Scrapy objects:
[s] crawler <scrapy.crawler.Crawler object at 0x00000000042E3E80>
[s] item {}
[s] request <GET /5/59/1787.html>
[s] response <200 /5/59/1787.html>
[s] settings <scrapy.settings.Settings object at 0x00000000042E3E10>
[s] spider <firstSpider 'first' at 0x47f9f28>
[s] Useful shortcuts:
[s] shelp() Shell help (print this help)
[s] fetch(req_or_url) Fetch request (or URL) and update local objects
[s] view(response) View response in a browser
>>>
當 shell 載入後，可以分別通過使用 response.body 和 response.header 存取主體或頭資訊。同樣，也可以通過使用 response.selector.xpath（）或 response.selector.css（）執行查詢的響應結果。
例如：
>>> response.xpath('//title')
[<Selector xpath='//title' data=u'<title>Scrapyu5b89u88c5 - Scrapyu6559u7a0b</title>'>]
>>> response.xpath('//title').extract()
[u'<title>Scrapyu5b89u88c5 - Scrapyu6559u7a0b</title>']
>>> response.xpath('//title/text()')
[<Selector xpath='//title/text()' data=u'Scrapyu5b89u88c5 - Scrapyu6559u7a0b'>]
>>> response.xpath('//title/text()').extract()
[u'Scrapyu5b89u88c5 - Scrapyu6559u7a0b']
>>> response.xpath('//title/text()').extract()
[u'Scrapyu5b89u88c5 - Scrapyu6559u7a0b']
>>> response.xpath('//title/text()').re('(w+):')
[]
>>>
從一個普通的HTML網站提取資料，檢視該網站得到的 XPath 的原始碼。檢測後，可以看到資料將在UL標籤，並選擇 li 標籤中的 元素。
程式碼的下面行顯示了不同型別的資料的提取：
選擇 li 標籤內的資料：
response.xpath('//ul/li')
對於選擇描述：
response.xpath('//ul/li/text()').extract()
對於選擇網站標題：
response.xpath('//ul/li/a/text()').extract()
對於選擇網站的連結：
response.xpath('//ul/li/a/@href').extract()
下面的程式碼用於演示上述提取的用法：
import scrapy
class MyprojectSpider(scrapy.Spider):
name = "project"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/",
"http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"
]
def parse(self, response):
for sel in response.xpath('//ul/li'):
title = sel.xpath('a/text()').extract()
link = sel.xpath('a/@href').extract()
desc = sel.xpath('text()').extract()
print title, link, desc