摘要:本次案例,用定值Cookie實現反爬。
本文分享自華為雲社群《我是怎麼用一個特殊Cookie,限制住別人的爬蟲的》,作者: 夢想橡皮擦 。
由於本案例需要用到一個特定的 Cookie ,所以我們需要提前將其生成,你可以直接設定一個固定的字串,也可以使用 Python 加密模組來加密一段文字,例如本案例加密 夢想橡皮擦。
下面是一個範例程式碼,展示瞭如何使用 Python 的 hashlib 模組進行加密:
import hashlib # 要加密的文字 text = "夢想橡皮擦" # 使用 sha256 演演算法進行加密 encrypted_text = hashlib.sha256(text.encode()).hexdigest() print(encrypted_text)
在這個例子中,我們使用了 hashlib 模組中的 sha256 演演算法對文字進行加密。這個演演算法生成了一個長度為 64 位的十六進位制雜湊值,用於表示加密後的文字。
注意,這個演演算法只能用於加密文字,而不能用於解密。因此,一旦文字被加密,就無法恢復成原來的文字,即不可逆加密/單項加密。
在 Python 的 Flask 框架中,可以使用 make_response 函數和 set_cookie 方法來生成一個 Cookie。
例如,下面的程式碼片段展示瞭如何在 Flask 中設定一個名為 story 的 Cookie,並將它的值設為前文建立的加密串。
from flask import Flask, make_response app = Flask(__name__) @app.route('/') def index(): resp = make_response('Setting a cookie') encrypted_text = hashlib.sha256(text.encode()).hexdigest() resp.set_cookie('story', encrypted_text) return resp
在這個例子中,我們使用 make_response() 函數建立了一個響應物件,然後使用 set_cookie() 方法來設定 cookie。最後,我們將響應物件返回給使用者端。
注意,上面的程式碼僅建立了一個簡單的 Cookie,它只有名稱和值兩個部分。你還可以使用其他可選引數來設定 Cookie 的其他屬性,例如過期時間、域名等。
接下來為大家在補充一下 make_response() 相關知識。
在 Flask 中,你可以使用 make_response() 函數和模板系統來生成帶有模板的響應。
下面是一個範例程式碼,展示瞭如何使用 make_response() 函數載入模板:
from flask import Flask, make_response, render_template app = Flask(__name__) @app.route('/') def index(): # 載入模板並渲染 rendered_template = render_template('index.html', title='夢想橡皮擦') # 使用 make_response 函數建立響應 resp = make_response(rendered_template) return resp
在這個例子中,我們首先使用 Flask 的 render_template() 函數載入並渲染了名為 index.html 的模板。然後我們使用 make_response() 函數建立了一個響應物件,並將渲染後的模板作為響應的內容。最後,我們返回了這個響應物件給使用者端。
注意,你需要在 Flask 應用的模板目錄中存在名為 index.html 的模板檔案,才能正常使用上述程式碼。
然後我們將該檢視函數補充完整,程式碼在 app/routes.py 檔案中。
@app.route('/') @app.route('/index') def index(): item = { "msg": "後臺傳遞資訊" } # 存取首頁生成一個 Cookie 值,該值用於存取特定頁面 rendered_template = render_template('index.html', title='夢想橡皮擦') resp = make_response(rendered_template) text = "夢想橡皮擦" # 使用 sha256 演演算法進行加密 encrypted_text = hashlib.sha256(text.encode()).hexdigest() resp.set_cookie('story', encrypted_text) return resp
此時當我們存取爬蟲訓練場首頁的時候,就會在 Cookie 中寫入一個加密之後的字串。
通過開發者工具,可以檢視到響應頭。
最後一步,就是在 Python Flask 框架中判斷剛剛的 Cookie 值,如果存在則響應資料,否則返回 403。
在 Python 的 Flask 框架中,你可以使用 request.cookies 屬性來判斷指定的 Cookie 是否存在。
例如,下面的程式碼片段展示瞭如何判斷一個名為 story 的 Cookie 是否存在:
from flask import Flask, request app = Flask(__name__) @app.route('/') def index(): if 'story' in request.cookies: # 如果存在 'story' cookie,則執行相應操作 # ... else: # 如果不存在 'story' cookie,則執行相應操作 # ...
將程式碼補充完整,檔案是 app/antispider/index.py。
@antispider.route('/cookie_demo') def cookie_demo(): if 'story' in request.cookies: # 如果存在 'story' cookie,則執行相應操作 # ... return render_template("antispider/cookie_demo.html") else: return "沒有許可權", 403
在 Python 的 Flask 框架中,除了使用 set_cookie() 方法設定 cookie 以外,還有其他幾種操作 cookie 的方法。
下面是一些常用的操作 cookie 的方法:
from flask import Flask, make_response app = Flask(__name__) @app.route('/') def index(): resp = make_response('Setting a cookie') resp.set_cookie('user', 'xiangpica') return resp
from flask import Flask, request app = Flask(__name__) @app.route('/') def index(): user = request.cookies.get('user') return user
from flask import Flask, make_response app = Flask(__name__) @app.route('/') def index(): resp = make_response('Deleting a cookie') resp.set_cookie('user', '', expires=0) return resp