关于我们

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻公共列表

自增ID算法snowflake

发布时间:2020-03-21 00:00:00

使用UUID或者GUID产生的ID没有规则

Snowflake算法是Twitter的工程师为实现递增而不重复的ID实现的

概述 
分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移到Cassandra,因为Cassandra没有顺序ID生成机制,所以开发了这样一套全局唯一ID生成服务。 
该项目地址为:https://github.com/twitter/snowflake是用Scala实现的。 
python版详见开源项目https://github.com/erans/pysnowflake。

结构 
snowflake的结构如下(每部分用-分开):

0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000

第一位为未使用,接下来的41位为毫秒级时间(41位的长度可以使用69年),然后是5位datacenterId和5位workerId(10位的长度最多支持部署1024个节点) ,最后12位是毫秒内的计数(12位的计数顺序号支持每个节点每毫秒产生4096个ID序号)

一共加起来刚好64位,为一个Long型。(转换成字符串长度为18)

snowflake生成的ID整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞(由datacenter和workerId作区分),并且效率较高。据说:snowflake每秒能够产生26万个ID。

从图上看除了第一位不可用之外其它三组均可浮动站位,据说前41位就可以支撑到2082年,10位的可支持1023台机器,最后12位序列号可以在1毫秒内产生4095个自增的ID。

在多线程中使用要加锁。

 

看懂代码前 先来点计算机常识:<<左移  假如1<<2  :1左移2位=1*2^2=4(这里^是多少次方的意思,和下面的不同,哈别混淆。)

                                                     ^异或 :true^true=false   false^false=false  true^false=true false^true=true  例子:  1001^0001=1000

  负数的二进制:

第一步:绝对值化为你需要多少位表示的二进制
第二步:各位取反,0变1,1变0
第三步:最后面加1 
例子:-1的二进制→      0001  取反→1110→最后面加1→1111

好了废话不多说 直接代码:

                                   twepoch = ;             sequence =             workerIdBits = ;             maxWorkerId = - ^ - << workerIdBits;             sequenceBits = ;             workerIdShift = sequenceBits;             timestampLeftShift = sequenceBits + workerIdBits;             sequenceMask = - ^ - << sequenceBits;            lastTimestamp = -                                                  IdWorker(               (workerId > maxWorkerId || workerId <                    Exception(.Format(             IdWorker.workerId =                           (                   timestamp =                  (.lastTimestamp ==                 {                      IdWorker.sequence = (IdWorker.sequence + ) & IdWorker.sequenceMask;                       (IdWorker.sequence ==                                                    timestamp = tillNextMillis(                                    {                      IdWorker.sequence = ;                    (timestamp <                 {                        Exception(.Format(                         .lastTimestamp -                  .lastTimestamp = timestamp;                   nextId = (timestamp - twepoch << timestampLeftShift) | IdWorker.workerId << IdWorker.workerIdShift |                                                                                tillNextMillis(               timestamp =              (timestamp <=                  timestamp =                                                                                ()(DateTime.UtcNow -  DateTime(, , , , ,        }

调用:
1  IdWorker idworker = new IdWorker(1);2             for (int i = 0; i < 1000; i++)3             {4                 Console.WriteLine(idworker.nextId());5             }

其他算法:

方法一:UUID

UUID是通用唯一识别码 (Universally Unique Identifier),在其他语言中也叫GUID,可以生成一个长度32位的全局唯一识别码。

 

String uuid = UUID.randomUUID().toString()

 

结果示例:

 

046b6c7f-0b8a-43b9-b35d-6489e6daee91

 

 

为什么无序的UUID会导致入库性能变差呢?

 

这就涉及到 B+树索引的分裂

 

 

 

 

众所周知,关系型数据库的索引大都是B+树的结构,拿ID字段来举例,索引树的每一个节点都存储着若干个ID。

 

如果我们的ID按递增的顺序来插入,比如陆续插入8,9,10,新的ID都只会插入到最后一个节点当中。当最后一个节点满了,会裂变出新的节点。这样的插入是性能比较高的插入,因为这样节点的分裂次数最少,而且充分利用了每一个节点的空间。

 

 

 

 

但是,如果我们的插入完全无序,不但会导致一些中间节点产生分裂,也会白白创造出很多不饱和的节点,这样大大降低了数据库插入的性能。

 

 

方法二:数据库自增主键

 

假设名为table的表有如下结构:

 

id        feild

35        a

 

每一次生成ID的时候,访问数据库,执行下面的语句:

 

begin;

REPLACE INTO table ( feild )  VALUES ( 'a' );

SELECT LAST_INSERT_ID();

commit;


REPLACE INTO 的含义是插入一条记录,如果表中唯一索引的值遇到冲突,则替换老数据。

 

这样一来,每次都可以得到一个递增的ID。

 

为了提高性能,在分布式系统中可以用DB proxy请求不同的分库,每个分库设置不同的初始值,步长和分库数量相等:

 

 

 

 

 

 

 

这样一来,DB1生成的ID是1,4,7,10,13....,DB2生成的ID是2,5,8,11,14.....

 


/template/Home/Zkeys/PC/Static