分布式ID系列（4）——Redis集群實現的分布式ID適合做分布式ID嗎

Jeff 發布于2019-08-19 10:33 / 1900人閱讀

摘要：原文鏈接其他分布式系列快捷鍵分布式系列為什么需要分布式以及分布式的業務需求分布式系列適合做分布式嗎分布式系列數據庫自增機制適合做分布式嗎分布式系列集群實現的分布式適合做分布式嗎分布式系列的雪法算法適合做分布式嗎大佬網址

今天我們來講一下Redis集群實現的分布式ID的過程，總結一下Redis集群是否適合做分布式ID？

首先是項目地址：

https://github.com/maqiankun/...

關于Redis集群生成分布式ID，這里要先了解redis使用lua腳本的時候的EVAL，EVALSHA命令：

https://www.runoob.com/redis/...
https://www.runoob.com/redis/...

講解一下Redis實現分布式ID的原理，這里用java語言來講解：

這里的分布式id我們分成3部分組成：毫秒級時間，redis集群的第多少個節點，每一個redis節點在每一毫秒的自增序列值

然后因為window是64位的，然后整數的時候第一位必須是0，所以最大的數值就是63位的111111111111111111111111111111111111111111111111111111111111111，這里呢，我們分出來41位作為毫秒，然后12位作為redis節點的數量，然后10位做成redis節點在每一毫秒的自增序列值

41位的二進制11111111111111111111111111111111111111111轉換成10進制的毫秒就是2199023255551，然后我們把 2199023255551轉換成時間就是2039-09-07，也就是說可以用20年的
然后12位作為redis節點，所以最多就是12位的111111111111，也就是最多可以支持4095個redis節點，
然后10位的redis每一個節點自增序列值，，這里最多就是10位的1111111111，也就是說每一個redis節點可以每一毫秒可以最多生成1023個不重復id值

然后我們使用java代碼來講解這個原理，下面的1565165536640L是一個毫秒值，然后我們的的redis節點設置成53，然后我們設置了兩個不同的自增序列值，分別是1和1023，下面的結果展示的就是在1565165536640L這一毫秒里面，53號redis節點生成了兩個不同的分布式id值

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;


public class Test {

    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        System.out.println("分布式id是："+buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        System.out.println("分布式id是："+buildIdLast);
    }
    
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }


}
public class Test {

    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        System.out.println("分布式id是："+buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        System.out.println("分布式id是："+buildIdLast);
    }
    
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }


}

結果如下所示

分布式id是：6564780070991352833
分布式id是：6564780070991353855

那么有人要說了，你這也不符合分布式id的設置啊，完全沒有可讀性啊，這里我們可以使用下面的方式來獲取這個分布式id的生成毫秒時間值，

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;

public class Test {

    public static void main(String[] args) {
        long buildId = buildId(1565165536640L, 53, 1);
        parseId(buildId);
        long buildIdLast = buildId(1565165536640L, 53, 1023);
        parseId(buildIdLast);
    }
    
    public static long buildId(long miliSecond, long shardId, long seq) {
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }

    public static void parseId(long id) {
        long miliSecond = id >>> 22;
        long shardId = (id & (0xFFF << 10)) >> 10;
        System.err.println("分布式id-"+id+"生成的時間是："+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
        System.err.println("分布式id-"+id+"在第"+shardId+"號redis節點生成");
    }

}

這樣不就ok了，哈哈。

分布式id-6564780070991352833生成的時間是：2019-08-07
分布式id-6564780070991352833在第53號redis節點生成
分布式id-6564780070991353855生成的時間是：2019-08-07
分布式id-6564780070991353855在第53號redis節點生成

實現集群版的redis的分布式id創建

此時我的分布式redis集群的端口分別是6380，6381
首先是生成Evalsha命令安全sha1 校驗碼，生成過程如下，
首先是生成6380端口對應的安全sha1 校驗碼，首先進入到redis的bin目錄里面，然后執行下面的命令下載lua腳本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua

然后執行下面的命令，生成6380端口對應的安全sha1 校驗碼，此時看到是be6d4e21e9113bf8af47ce72f3da18e00580d402

./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"

首先是生成6381端口對應的安全sha1 校驗碼，首先進入到redis的bin目錄里面，然后執行下面的命令下載lua腳本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua

然后執行下面的命令，生成6381端口對應的安全sha1 校驗碼，此時看到是97f65601d0aaf1a0574da69b1ff3092969c4310e

./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"

然后我們就使用上面的sha1 校驗碼和下面的代碼來生成分布式id

項目圖片如下

IdGenerator類的代碼如下所示

package io.github.hengyunabc.redis;

import java.util.ArrayList;
import java.util.List;

import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException;

public class IdGenerator {
    /**
     * JedisPool, luaSha
     */
    List> jedisPoolList;
    int retryTimes;

    int index = 0;

    private IdGenerator(List> jedisPoolList,
            int retryTimes) {
        this.jedisPoolList = jedisPoolList;
        this.retryTimes = retryTimes;
    }

    static public IdGeneratorBuilder builder() {
        return new IdGeneratorBuilder();
    }

    static class IdGeneratorBuilder {
        List> jedisPoolList = new ArrayList();
        int retryTimes = 5;

        public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
            jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
            return this;
        }

        public IdGenerator build() {
            return new IdGenerator(jedisPoolList, retryTimes);
        }
    }

    public long next(String tab) {
        for (int i = 0; i < retryTimes; ++i) {
            Long id = innerNext(tab);
            if (id != null) {
                return id;
            }
        }
        throw new RuntimeException("Can not generate id!");
    }

    Long innerNext(String tab) {
        index++;
        int i = index % jedisPoolList.size();
        Pair pair = jedisPoolList.get(i);
        JedisPool jedisPool = pair.getLeft();

        String luaSha = pair.getRight();
        Jedis jedis = null;
        try {
            jedis = jedisPool.getResource();
            List result = (List) jedis.evalsha(luaSha, 2, tab, ""
                    + i);
            long id = buildId(result.get(0), result.get(1), result.get(2),
                    result.get(3));
            return id;
        } catch (JedisConnectionException e) {
            if (jedis != null) {
                jedisPool.returnBrokenResource(jedis);
            }
        } finally {
            if (jedis != null) {
                jedisPool.returnResource(jedis);
            }
        }
        return null;
    }

    public static long buildId(long second, long microSecond, long shardId,
            long seq) {
        long miliSecond = (second * 1000 + microSecond / 1000);
        return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
    }

    public static List parseId(long id) {
        long miliSecond = id >>> 22;
        long shardId = (id & (0xFFF << 10)) >> 10;

        List re = new ArrayList(4);
        re.add(miliSecond);
        re.add(shardId);
        return re;
    }
}

Example的代碼如下所示，下面的while循環的目的就是為了打印多個分布式id，下面的tab變量就是evalsha命令里面的參數，可以根據自己的需求來定義

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List;

public class Example {

    public static void main(String[] args) {
        String tab = "這個就是evalsha命令里面的參數，隨便定義";

        IdGenerator idGenerator = IdGenerator.builder()
                .addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
                .addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
                .build();
        int hello = 0;
        while (hello<3){
            long id = idGenerator.next(tab);

            System.out.println("分布式id值:" + id);
            List result = IdGenerator.parseId(id);

            System.out.println("分布式id生成的時間是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
            System.out.println("redis節點:" + result.get(1));
            hello++;
        }

    }
}

此時打印結果如下所示

分布式id值:6564819854640022531
分布式id生成的時間是:2019-08-07
redis節點:1
分布式id值:6564819855189475330
分布式id生成的時間是:2019-08-07
redis節點:0
分布式id值:6564819855361442819
分布式id生成的時間是:2019-08-07
redis節點:1

到這里redis集群版的分布式id就算搞定了，完美????乛?乛????

Redis集群實現的分布式id是否適合做分布式id呢？

我覺得Redis集群實現分布式ID是可以供我們開發中的基本使用的，但是我還是覺得它有下面的兩個問題：

1：這里我們可以給上一篇的數據庫自增ID機制進行對比，其實Redis集群可以說是解決了數據庫集群創建分布式ID的性能問題，但是Redis集群系統水平擴展還是比較困難，如果以后想對Redis集群增加Redis節點的話，還是會和數據庫集群的節點擴展一樣麻煩。
2：還有就是如果你的項目里面沒有使用Redis，那么你就要引入新的組件，這也是一個比較麻煩的問題。

原文鏈接

其他分布式ID系列快捷鍵：
分布式ID系列（1）——為什么需要分布式ID以及分布式ID的業務需求
分布式ID系列（2）——UUID適合做分布式ID嗎
分布式ID系列（3）——數據庫自增ID機制適合做分布式ID嗎
分布式ID系列（4）——Redis集群實現的分布式ID適合做分布式ID嗎
分布式ID系列（5）——Twitter的雪法算法Snowflake適合做分布式ID嗎

大佬網址
https://www.itqiankun.com/art...
https://blog.csdn.net/hengyun...
https://tech.meituan.com/2017...
https://segmentfault.com/a/11...
https://www.jianshu.com/p/9d7...

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/76209.html

分布式ID系列（3）——數據庫自增ID機制適合做分布式ID嗎

摘要：數據庫自增機制原理介紹在分布式里面，數據庫的自增機制的主要原理是數據庫自增和數據庫的函數實現的。數據庫自增ID機制原理介紹在分布式里面，數據庫的自增ID機制的主要原理是：數據庫自增ID和mysql數據庫的replace_into()函數實現的。這里的replace數據庫自增ID和mysql數據庫的replace_into()函數實現的。這里的replace into跟insert功...

Stardustsky 2019-08-19 10:30 評論0 收藏0
分布式ID系列（2）——UUID適合做分布式ID嗎

摘要：用戶指定一個名字空間和一個字符串，通過散列，生成。字符串本身需要是唯一的。。雖然是基于隨機數，但是重復的可能性可以忽略不計，因此該版本也是被經常使用的版本。。當前正在使用的。。 UUID的生成策略： UUID的方式能生成一串唯一隨機32位長度數據，它是無序的一串數據，按照開放軟件基金會(OSF)制定的標準計算，UUID的生成用到了以太網卡地址、納秒級時間、芯片ID碼和許多可能的數字。U...

wayneli 2019-08-19 10:29 評論0 收藏0
分布式ID系列（1）——為什么需要分布式ID以及分布式ID的業務需求

摘要：同時除了對號碼自身的要求，業務還對號生成系統的可用性要求極高，想象一下，如果生成系統癱瘓，整個美團點評支付優惠券發券騎手派單等關鍵動作都無法執行，這就會帶來一場災難。分布式id主要用到哪些地方在復雜分布式系統中，往往需要對大量的數據和消息進行唯一標識。如在美團點評的金融、支付、餐飲、酒店、貓眼電影等產品的系統中，數據日漸增長，對數據分庫分表后需要有一個唯一ID來標識一條數據或消息，...

Snailclimb 2019-08-19 10:29 評論0 收藏0
服務器架構

摘要：我的后端書架阿里大牛，書單整合一整合一分布式生成器架構師之路這也是本文要討論的核心問題如何高效生成趨勢有序的全局唯一。輕松搞定 rabbitMQ rabbitMQ 的基本使用。 REST 真的完全適合微服務架構嗎？作者根據自己的微服務經驗，提出 REST 并不是微服務的唯一通信機制，從而介紹了微服務的幾種通信機制，包括 REST、管道以及基于異步消息傳遞。同時，作者提出了在不同的場...

nidaye 2019-06-24 17:56 評論0 收藏0