使用LRU加速python應用

作業系統：CentOS 7.6.1810_x64

Python 版本 : 3.9.12

一、背景描述

使用python開發過程中，會遇到需要使用快取加速應用的情況，比如下面這些場景：

資料轉換加速

字串時間轉換成int時間戳；

字串時間轉換成datetime型別；

...

資料解析加速

bytes資料轉換為int（封包解析場景的埠、序列號等）;

bytes資料轉換為string（封包解析場景的ip地址等）；

...

本文提供兩種實現方式來加速應用，這裡記錄下，希望對你有幫助。

二、具體實現

1、使用python自帶的OrderedDict實現LRU

實現思路：

1）使用OrderedDict作為快取，並設定大小；

2）第一次解析時，將解析結果加入快取；

3）快取元素數量超過設定數量，執行pop操作；

範例程式碼如下：

from collections import OrderedDict
class LRU:

    def __init__(self, func, maxsize=128):
        self.func = func
        self.maxsize = maxsize
        self.cache = OrderedDict()

    def __call__(self, *args):
        if args in self.cache:
            value = self.cache[args]
            self.cache.move_to_end(args)
            return value
        value = self.func(*args)
        if len(self.cache) >= self.maxsize:
            self.cache.popitem(False)
        self.cache[args] = value
        return value

2、使用lru-dict庫實現LRU

pypi地址：https://pypi.org/project/lru-dict/

github地址：https://github.com/amitdev/lru-dict

安裝lru-dict庫：

pip install lru-dict

範例程式碼：

from lru import LRU
l = LRU(5)         # Create an LRU container that can hold 5 items

print l.peek_first_item(), l.peek_last_item()  #return the MRU key and LRU key
# Would print None None

for i in range(5):
   l[i] = str(i)
print l.items()    # Prints items in MRU order
# Would print [(4, '4'), (3, '3'), (2, '2'), (1, '1'), (0, '0')]

print l.peek_first_item(), l.peek_last_item()  #return the MRU key and LRU key
# Would print (4, '4') (0, '0')

l[5] = '5'         # Inserting one more item should evict the old item
print l.items()
# Would print [(5, '5'), (4, '4'), (3, '3'), (2, '2'), (1, '1')]