前言

最近在做分塊上傳的業(yè)務(wù)，使用到了Redis來(lái)維護(hù)上傳過(guò)程中的分塊編號(hào)。

每上傳完成一個(gè)分塊就獲取一下文件的分塊集合，加入新上傳的編號(hào)，手動(dòng)接口測(cè)試下是沒(méi)有問(wèn)題的，前端通過(guò)并發(fā)上傳調(diào)用就出現(xiàn)問(wèn)題了，并發(fā)的get再set，就會(huì)存在覆蓋寫(xiě)現(xiàn)象，導(dǎo)致最后的分塊數(shù)據(jù)不對(duì)，不能觸發(fā)分塊合并請(qǐng)求。

遇到并發(fā)二話不說(shuō)先上鎖，針對(duì)執(zhí)行代碼塊加了一個(gè)JVM鎖之后問(wèn)題就解決了。

仔細(xì)一想還是不太對(duì)，項(xiàng)目是分布式部署的，做了負(fù)載均衡，一個(gè)節(jié)點(diǎn)的代碼被鎖住了，請(qǐng)求輪詢到其他節(jié)點(diǎn)還是可以進(jìn)行覆蓋寫(xiě)，并沒(méi)有解決到問(wèn)題啊

沒(méi)辦法，只有用上分布式鎖了。之前對(duì)于分布式鎖的理論還是很熟悉的，沒(méi)有比較好的應(yīng)用場(chǎng)景就沒(méi)寫(xiě)過(guò)具體代碼，趁這個(gè)機(jī)會(huì)就學(xué)習(xí)使用一下分布式鎖。

理論

分布式鎖是控制分布式系統(tǒng)之間同步訪問(wèn)共享資源的一種方式。是為了解決分布式系統(tǒng)中，不同的系統(tǒng)或是同一個(gè)系統(tǒng)的不同主機(jī)共享同一個(gè)資源的問(wèn)題，它通常會(huì)采用互斥來(lái)保證程序的一致性

通常的實(shí)現(xiàn)方式有三種：

基于 MySQL 的悲觀鎖來(lái)實(shí)現(xiàn)分布式鎖，這種方式使用的最少，這種實(shí)現(xiàn)方式的性能不好，且容易造成死鎖，并且MySQL本來(lái)業(yè)務(wù)壓力就很大了，再做鎖也不太合適 基于 Redis 實(shí)現(xiàn)分布式鎖，單機(jī)版可用setnx實(shí)現(xiàn)，多機(jī)版建議用Radission 基于 ZooKeeper 實(shí)現(xiàn)分布式鎖，利用 ZooKeeper 順序臨時(shí)節(jié)點(diǎn)來(lái)實(shí)現(xiàn)

為了確保分布式鎖可用，我們至少要確保鎖的實(shí)現(xiàn)同時(shí)滿足以下四個(gè)條件：

互斥性。在任意時(shí)刻，只有一個(gè)客戶端能持有鎖。 不會(huì)發(fā)生死鎖。即使有一個(gè)客戶端在持有鎖的期間崩潰而沒(méi)有主動(dòng)解鎖，也能保證后續(xù)其他客戶端能加鎖。 具有容錯(cuò)性。只要大部分的Redis節(jié)點(diǎn)正常運(yùn)行，客戶端就可以加鎖和解鎖。 解鈴還須系鈴人。加鎖和解鎖必須是同一個(gè)客戶端，客戶端自己不能把別人加的鎖給解了。

本文就使用的是Redis的setnx實(shí)現(xiàn)，如果Redis是多機(jī)版的可以去了解下Radssion，封裝的就特別的好，也是官方推薦的

代碼

1. 加依賴

引入Spring Boot和Redis整合的快速使用依賴

<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency>

2. 加配置

application.properties中加入Redis連接相關(guān)配置

spring.redis.host=xxxspring.redis.port=6379spring.redis.database=0spring.redis.password=xxxspring.redis.timeout=10000# 設(shè)置jedis連接池spring.redis.jedis.pool.max-active=50spring.redis.jedis.pool.min-idle=20

3. 重寫(xiě)Redis的序列化規(guī)則

默認(rèn)使用的JDK的序列化，不自己設(shè)置一下Redis中的數(shù)據(jù)是看不懂的

/** * @author Chkl * @create 2020/6/7 * @since 1.0.0 */@Componentpublic class RedisConfig { /** * 改造RedisTemplate，重寫(xiě)序列化規(guī)則，避免存入序列化內(nèi)容看不懂 * @param connectionFactory * @return */ @Bean public RedisTemplate<Object, Object> redisTemplate(RedisConnectionFactory connectionFactory) { RedisTemplate redisTemplate = new RedisTemplate(); redisTemplate.setConnectionFactory(connectionFactory); // 設(shè)置key和value的序列化規(guī)則 redisTemplate.setValueSerializer(new Jackson2JsonRedisSerializer(Object.class)); redisTemplate.setKeySerializer(new StringRedisSerializer()); return redisTemplate; }}

4. 如何正確的上鎖

直接上代碼

@Componentpublic class RedisLock { @Autowired private StringRedisTemplate redisTemplate; private long timeout = 3000; /** * 上鎖 * @param key 鎖標(biāo)識(shí) * @param value 線程標(biāo)識(shí) * @return 上鎖狀態(tài) */ public boolean lock(String key, String value) { long start = System.currentTimeMillis(); while (true) { //檢測(cè)是否超時(shí) if (System.currentTimeMillis() - start > timeout) {return false; } //執(zhí)行set命令 Boolean absent = redisTemplate.opsForValue().setIfAbsent(key, value, timeout, TimeUnit.MILLISECONDS);//1 //是否成功獲取鎖 if (absent) {return true; } return false; } }}

核心代碼就是

Boolean absent = redisTemplate.opsForValue().setIfAbsent(key, value, timeout, TimeUnit.MILLISECONDS);

setIfAbsent方法就相當(dāng)于命令行下的Setnx方法，指定的 key 不存在時(shí)，為 key 設(shè)置指定的值

參數(shù)分別是key、value、超時(shí)時(shí)間和時(shí)間單位

key，表示針對(duì)于這段資源的唯一標(biāo)識(shí) value，表示針對(duì)于這個(gè)線程的唯一標(biāo)識(shí)。為什么有了key了還需要設(shè)置value呢，就是為了滿足四個(gè)條件的最后一個(gè)：解鈴還須系鈴人。只有通過(guò)key和value的組合才能保證解鎖時(shí)是同一個(gè)線程來(lái)解鎖 超時(shí)時(shí)間，必須和setnx一起進(jìn)行操作，不能再setnx結(jié)束后再執(zhí)行。如果加鎖成功了，還沒(méi)有設(shè)置過(guò)期時(shí)間就宕機(jī)了，鎖就永遠(yuǎn)不會(huì)過(guò)期，變成死鎖

5. 如何正確解鎖

@Componentpublic class RedisLock { @Autowired private StringRedisTemplate redisTemplate; @Autowired private DefaultRedisScript<Long> redisScript; private static final Long RELEASE_SUCCESS = 1L; /** * 解鎖 * @param key 鎖標(biāo)識(shí) * @param value 線程標(biāo)識(shí) * @return 解鎖狀態(tài) */ public boolean unlock(String key, String value) { //使用Lua腳本：先判斷是否是自己設(shè)置的鎖，再執(zhí)行刪除 Long result = redisTemplate.execute(redisScript, Arrays.asList(key,value)); //返回最終結(jié)果 return RELEASE_SUCCESS.equals(result); } /** * @return lua腳本 */ @Bean public DefaultRedisScript<Long> defaultRedisScript() { DefaultRedisScript<Long> defaultRedisScript = new DefaultRedisScript<>(); defaultRedisScript.setResultType(Long.class); defaultRedisScript.setScriptText('if redis.call(’get’, KEYS[1]) == KEYS[2] then return redis.call(’del’, KEYS[1]) else return 0 end'); return defaultRedisScript; }}

解鎖過(guò)程需要兩步操作

1.判斷操作線程是否是加鎖的線程2.如果是加鎖線程，執(zhí)行解鎖操作

這兩步操作也需要原子的進(jìn)行操作，但是Redis不支持這兩步的合并的操作，所以，就只有使用lua腳本實(shí)現(xiàn)來(lái)保證原子性咯如果在判斷是加鎖的線程之后，并且執(zhí)行解鎖之前，鎖到期了，被其他線程獲得鎖了，這時(shí)候再進(jìn)行解鎖就會(huì)解掉其他線程的鎖，使得不滿足解鈴還須系鈴人

6. 實(shí)際應(yīng)用

沒(méi)有使用分布式鎖時(shí)的保存文件分塊的代碼

/** * 保存文件分塊編號(hào)到redis * @param chunkNumber 分塊號(hào) * @param identifier 文件唯一編號(hào) * @return 文件分塊的大小 */ @Override public Integer saveChunk(Integer chunkNumber, String identifier) { //從Redis獲取已經(jīng)存在的分塊編號(hào)集合 Set<Integer> oldChunkNumber = (Set<Integer>) JSON.parseObject(redisOperator.get('chunkNumberList_'+identifier),Set.class); //如果不存在分塊集合，創(chuàng)建一個(gè)集合 if (Objects.isNull(oldChunkNumber)) { Set<Integer> newChunkNumber = new HashSet<>(); newChunkNumber.add(chunkNumber); redisOperator.set('chunkNumberList_'+identifier, JSON.toJSONString(newChunkNumber),36000); return newChunkNumber.size(); //如果分塊集合已經(jīng)存在了，就添加一個(gè)編號(hào) } else { oldChunkNumber.add(chunkNumber); redisOperator.set('chunkNumberList_'+identifier, JSON.toJSONString(oldChunkNumber),36000); return oldChunkNumber.size(); } }

存在的問(wèn)題是：當(dāng)并發(fā)的請(qǐng)求進(jìn)來(lái)之后，可能獲取同一個(gè)狀態(tài)的集合進(jìn)行修改，修改后直接寫(xiě)入，造成同一個(gè)狀態(tài)獲得的集合操作線程覆蓋寫(xiě)的現(xiàn)象

使用分布式鎖保證同時(shí)只能有一個(gè)線程能獲取到集合并進(jìn)行修改，避免了覆蓋寫(xiě)現(xiàn)象

使用分布式鎖代碼

/** * 保存文件分塊編號(hào)到redis * @param chunkNumber 分塊號(hào) * @param identifier 文件唯一編號(hào) * @return 文件分塊的大小 */ @Override public Integer saveChunk(Integer chunkNumber, String identifier) { //通過(guò)UUID生成一個(gè)請(qǐng)求線程識(shí)別標(biāo)志作為鎖的value String threadUUID = CoreUtil.getUUID(); //上鎖，以共享資源標(biāo)識(shí):文件唯一編號(hào),作為key，以線程標(biāo)識(shí)UUID作為value redisLock.lock(identifier,threadUUID); //從Redis獲取已經(jīng)存在的分塊編號(hào)集合 Set<Integer> oldChunkNumber = (Set<Integer>) JSON.parseObject(redisOperator.get('chunkNumberList_'+identifier),Set.class); //如果不存在分塊集合，創(chuàng)建一個(gè)集合 if (Objects.isNull(oldChunkNumber)) { Set<Integer> newChunkNumber = new HashSet<>(); newChunkNumber.add(chunkNumber); redisOperator.set('chunkNumberList_'+identifier, JSON.toJSONString(newChunkNumber),36000); //解鎖 redisLock.unlock(identifier,threadUUID); return newChunkNumber.size(); //如果分塊集合已經(jīng)存在了，就添加一個(gè)編號(hào) } else { oldChunkNumber.add(chunkNumber); redisOperator.set('chunkNumberList_'+identifier, JSON.toJSONString(oldChunkNumber),36000); //解鎖 redisLock.unlock(identifier,threadUUID); return oldChunkNumber.size(); } }

代碼中使用的共享資源標(biāo)識(shí)是文件唯一編號(hào)identifier，它能標(biāo)識(shí)加鎖代碼段中的唯一資源，即key為'chunkNumberList_'+identifier的集合

代碼中使用的線程唯一標(biāo)識(shí)是UUID，能保證加鎖和解鎖時(shí)獲取的標(biāo)識(shí)不會(huì)重復(fù)

到此這篇關(guān)于SpringBoot整合Redis正確的實(shí)現(xiàn)分布式鎖的示例代碼的文章就介紹到這了,更多相關(guān)SpringBoot整合Redis分布式鎖內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！