爬蟲部署 Gerapy 安裝(centos 8)演示

一.安裝

pip3 install -U gerapy

　　使用python3.68版本安裝gerapy,報錯提示：ModuleNotFoundError: No module named 'setuptools_rust'

　　解決方法更新pip3

pip3 install --upgrade pip

　　安裝後，測試是否安裝成功：

[root@iZwz927xptl8kw8zqrmwvcZ bin]# gerapy
Usage: gerapy [-v] [-h]  ...

Gerapy 0.9.10 - Distributed Crawler Management Framework

Optional arguments:
  -v, --version       Get version of Gerapy
  -h, --help          Show this help message and exit

二.初始化

[root@iZwz927xptl8kw8zqrmwvcZ local]# pwd
/usr/local
[root@iZwz927xptl8kw8zqrmwvcZ local]# gerapy init
Initialized workspace gerapy
[root@iZwz927xptl8kw8zqrmwvcZ local]# ls
aegis  bin  etc  games  gerapy  include  lib  lib64  libexec  sbin  share  src

　　資料庫初始化,這將生成一個 SQLite 資料庫，該資料庫將用於儲存每個主機的設定資訊、部署版本、定時任務等。最後一行建立了一個dbs資料夾

[root@iZwz927xptl8kw8zqrmwvcZ local]# cd gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
logs  projects
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy migrate
Operations to perform:
  Apply all migrations: admin, auth, authtoken, contenttypes, core, django_apscheduler, sessions
Running migrations:
  Applying contenttypes.0001_initial... OK
  Applying auth.0001_initial... OK
  ...
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# pwd
/usr/local/gerapy
[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# ls
dbs  logs  projects

　　建立使用者

[root@iZwz927xptl8kw8zqrmwvcZ gerapy]# gerapy initadmin
No Admin user exists, create temp admin user
Created admin account: admin([email protected]), initial password: admin, just use it temporarily and change the pass                                                       word for safety

　　　　修改使用者資訊參考：https://www.cnblogs.com/MrHSR/p/16505221.html

三. 啟動服務

　　啟動服務命令

gerapy runserver 0.0.0.0:8000 > /dev/null 2>&1 &

　　在瀏覽器中開啟http://localhost:8000進入Gerapy

四.主機管理

　　登入進入Gerapy，主機管理-->建立, 下面是連線了本機的scrapyd服務，還可以設定多個伺服器的scrapyd服務，進行統一管理

五.專案管理

　　 Gerapy的工作目錄下有一個空的projects資料夾，也就是存放Scrapy目錄的資料夾。

　　如果我們要部署 Scrapy 專案，只需將專案檔案放在專案資料夾中即可。　

　　可以手動上傳到projects目錄下，也可以使用git上傳參考：https://www.cnblogs.com/MrHSR/p/16505022.html　　　

　　打包專案，點選打包成功如下所示：

　　上面打包成功後，點選部署，就部署成功了

　　通過postman檢視，有了一個時間截版本號

六. 偵錯

　　總結：在打包egg檔案上，使用Gerapy視覺化介面打包方便，輕鬆部署到多臺scrapyd伺服器上。另一個打包是在開發環境，使用 scrapyd-deploy打包上傳到指定的scrapyd伺服器上。二種方案都可以，用gerapy統一管理比較好。

參考檔案：https://docs.gerapy.com/en/latest/installation.html