Scrapy安裝


在本章中,我們將了解如何安裝和設定Scrapy。Scrapy必須與Python一起安裝。
Scrapy可以通過使用 pip 進行安裝。執行以下命令:
pip install Scrapy

Windows系統上安裝(本教學)

在Window系統上安裝Scrapy,是一個比較複雜的事項,在寫本教學的時候,看到網上有人說用了3天時間才裝好,嚇我一跳,不過還好,我也算是比較喜歡折騰的那麼一個人。需要一點點耐心就好。 下載檔案地址 - http://pan.baidu.com/s/1nv6ObKt
注:Windows作業系統是不支援Python3 的 Scrapy。
  • 要安裝scrapy,執行以下命令:
    pip install Scrapy
成功後,介面長這樣 - 

Ubuntu系統

Python的最新版本是預先安裝在Ubuntu作業系統。使用由 Scrapinghub 提供 Ubuntu 的軟體包 apt-get。要使用這些軟體包:

  • 需要輸入用於登入 Scrapy 包 APT 的 GPG金鑰:
    sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
  • 接下來,使用下面的命令來建立 /etc/apt/sources.list.d/scrapy.list 檔案:
    echo 'deb http://archive.scrapy.org/ubuntu scrapy main'| sudo tee /etc/apt/sources.list.d/scrapy.list
  • 更新軟體包列表並安裝scrapy:
    sudo apt-get update && sudo apt-get install scrapy

Archlinux系統

可以使用下面的命令從AUR Scrapy 包安裝 Scrapy:
yaourt -S scrapy

Mac OS X系統

使用下面的命令來安裝 Xcode 命令列工具:
xcode-select--install
而不是使用系統的Python,安裝新的更新版本,不與系統的其餘部分衝突。
  • 安裝homebrew
  • 設定環境變數 PATH 指定 homebrew 包在系統軟體包前使用:
    echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH">>~/.bashrc
  • 變更完成後,重新載入 .bashrc 使用下面的命令:
    source ~/.bashrc
  • 接下來,使用下面的命令安裝 Python:
    brew install python
  • 接下來,安裝scrapy:
    pip install Scrapy