Python實現模組熱載入

2023-12-18 21:00:26

為什麼需要熱載入

在某些情況,你可能不希望關閉Python程序並重新開啟,或者你無法重新啟動Python,這時候就需要實現實時修改程式碼實時生效,而不用重新啟動Python

在我的需求下,這個功能非常重要,我將Python注入到了其他程序,並作為一個執行緒執行。如果我想關閉Python,要麼殺死Python相關的執行緒,要麼重新啟動程序,這都比較麻煩。所以當我修改完程式碼後,熱載入程式碼是最方便的方法

Python中的匯入機制

我們重複匯入一個庫時,第二次匯入時並沒有執行庫裡面的程式碼,比如先寫一個a.py,在裡面寫一行程式碼print("a模組載入"),然後在寫一個b.py, 裡面寫兩行import a。即使你在多執行緒中再匯入一遍a模組,也不會列印。例如下面的程式碼:

import a
import threading
print(id(a))

def test():
    import a
    print(id(a))

threading.Thread(target=test).start()

可以看到a的id是一樣的,也就是同一個物件。

為什麼會這樣呢?這和Python的模組匯入機制有關,Python會在sys.modules這個字典裡儲存著所有的全域性模組,當你匯入一個新模組時,他會先查詢sys.modules裡有沒有這個模組,如果沒有再匯入,如果有就在當前程式碼增加個參照。舉個最簡單的例子:

a.py

print("a模組載入")

def aa():
    print("a模組中的aa方法被載入")

b.py

import sys
a = sys.modules["a"]
a.aa()

c.py

import a
import b

先匯入a模組,這樣sys.modules已經有了a模組,你就可以使用sys.modules["a"]來使用a模組,它和import a基本是一樣的。如果你先import b就會發現sys.modules不存在a

重新匯入模組1

既然知道它是先查詢sys.modules,那我在匯入之前,先刪除掉裡面的a再匯入就可以了

import a
import sys
del sys.modules["a"]
import a

這樣就能重新載入模組

重新匯入模組2

Python基礎庫也提供了一個方法重新載入模組:

import a
import importlib

importlib.reload(a)

看一下內部程式碼是怎麼實現的:

邏輯也比較簡單, 先看sys.modules裡有沒有這個模組,如果有就使用_bootstrap._exec匯入模組。我們是不是也可以通過_bootstrap._exec來重新匯入模組,可以但不建議,因為下劃線開頭的模組或者函數都是不建議外部使用的,這些介面可能在版本更新後變動比較頻繁

無法熱載入的情況

__main__模組無法熱載入。當你執行python a.py,這個a.py檔案是無法熱載入的,它並沒有作為模組匯入,在sys.modules的名稱就是__main__

如果你在__main__使用from a import A匯入的類,即使a模組重新載入,__main__裡面的A也不會改變

熱載入無法影響已經範例化的物件,比如你修改了模組裡面的類程式碼,但是已經在__main__裡範例化了這個類物件,並且一直使用未釋放,它的邏輯在熱載入之後不會受影響。

函數級熱載入

要想實現函數、方法乃至物件級別的熱載入,得修改記憶體中的Python物件。有一個專案實現了這種,有興趣的可以看:https://github.com/breuleux/jurigged

我的需求沒有這麼細,就不測試了

監聽檔案變化

我選擇的是watchdog,另一個pyinotify不支援Windows。

watchdog在Windows上有點小bug,修改檔案會觸發兩次事件。搜到一個解決方案:不使用預設的事件觸發,而是利用檔案快照,每隔一段時間做一次比對。原文連結:Python神器watchdog(監控檔案變化),我測試了一下效果很好。

原始碼

完整的原始碼就不放了,具體可以看:https://github.com/kanadeblisst00/module_hot_loading

國內倉庫:http://www.pygrower.cn:21180/kanadeblisst/module_hot_loading

安裝

pip install module-hot-loading

使用

from threading import Event
from module_hot_loading import monitor_dir


if __name__ == "__main__":
    event = Event()
    event.set()
    path = "."
    monitor_dir(path, event, __file__, interval=2, only_import_exist=False)
    

monitor_dir的引數:

  1. 需要監控的目錄路徑
  2. 停止監控的事件訊號
  3. __main__的程式碼檔案路徑
  4. interval: 每隔幾秒打一次檔案快照做比對
  5. only_import_exist: 只重新載入已經匯入的模組

效果