Redis中 HyperLogLog資料型別使用總結

轉載請註明出處：

目錄

　　1. HyperLogLog 的原理

　　2.使用步驟

　　3.實現請求ip去重的瀏覽量使用範例

　　4.Jedis使用者端使用

　　5.Redission使用依賴

　　6.HyperLogLog 提供了哪些特性和方法

　　7.使用場景總結

1. HyperLogLog 的原理

　　Redis HyperLogLog基於一種稱為HyperLogLog演演算法的概率性演演算法來估計基數。 HyperLogLog使用一個長度為m的位陣列和一些hash函數來估計集合中的唯一元素數。

在 HyperLogLog 演演算法中，對每個元素進行雜湊處理，把雜湊值轉換為二進位制後，根據二進位制串字首中 1 的個數來給每個元素打分。例如，一個元素的雜湊值為01110100011，那麼字首中1的個數是3，因此在 HyperLogLog 演演算法中，這個元素的分數為3。

　　當所有元素的分數統計完之後，取每一個分數的倒數（1 / 2^n），然後將這些倒數相加後取倒數，就得到一個基數估計值，這個值就是HyperLogLog演演算法的估計結果。

　　HyperLogLog演演算法通過對位陣列的長度m的大小進行取捨，折衷資料結構佔用的記憶體與估計值的精準度（即估計誤差），得到了在資料佔用空間與錯誤較小程度之間完美的平衡。

　　簡而言之，HyperLogLog演演算法的核心思想是基於雜湊函數和位運算，通過將雜湊值轉換成位元流並統計前導0的個數，從而快速估算大型資料集中唯一值的數量。通過 hyperloglog 演演算法我們可以在非常大的資料集中進行極速的網頁瀏覽器去重。

2.使用步驟：

　　Redis HyperLogLog是一種可用於估算集合中元素數量的資料結構，它能夠通過使用非常少的記憶體來維護海量的資料。它的精確度要比使用一般的估計演演算法高，並且在處理大量資料時的速度也非常快。

　　一個簡單的例子，我們可以用HyperLogLog來計算存取網站的獨立IP數，具體可以按以下步驟操作：

1. 1. 首先建立一個HyperLogLog資料結構：　　PFADD hll:unique_ips 127.0.0.1

   2. 為每次存取ip新增到unique_ips資料結構中：         PFADD hll:unique_ips 192.168.1.1

   3. 獲取計算集合中元素數量的近似值:           PFCOUNT hll:unique_ips

   4. 可以通過對多個HyperLogLog結構（例如按天或按小時）的合併，來獲得更精確的計數。

　　需要注意的是，HyperLogLog雖然可以節省大量的記憶體，但它是一種估計演演算法，誤差範圍並不是完全精確的，實際使用時應注意其適用範圍。

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.6.0</version>
</dependency>

Jedis jedis = new Jedis("localhost");

jedis.pfadd("hll:unique_ips", "127.0.0.1");

Long count = jedis.pfcount("hll:unique_ips");
System.out.println(count);

jedis.pfmerge("hll:unique_ips", "hll:unique_ips1", "hll:unique_ips2", "hll:unique_ips3");

Config config = new Config();
config.useSingleServer().setAddress("redis://localhost:6379");
RedissonClient redisson = Redisson.create(config);

RHyperLogLog<String> uniqueIps = redisson.getHyperLogLog("hll:unique_ips");

uniqueIps.add("127.0.0.1");

long approximateCount = uniqueIps.count();
System.out.println(approximateCount);

RHyperLogLog<String> uniqueIps1 = redisson.getHyperLogLog("hll:unique_ips1");
RHyperLogLog<String> uniqueIps2 = redisson.getHyperLogLog("hll:unique_ips2");
uniqueIps.mergeWith(uniqueIps1, uniqueIps2);