redis缓存恢复-2022新项目
- 2022 年 9 月 3 日
- 笔记
- Mysql-Oracle-postgresql-数据库相关
一、业务场景
Web项目开发中，为了加快数据处理的的效率，大量的使用了各种缓存，缓存技术主要使用的是redis。导致出现的小小的
问题是对redis缓存形成了一个比较强的依赖，并且有的数据暂时是没有同步到业务数据库当中进行存储的，有不少数据都是直
接从缓存中获取。这种处理方式确实加快了数据的处理效率，可是也存在一些问题。
二、需求分析
当前由于系统要进行迁移，以前保存在一台服务器上面的redis中的数据，是不可能迁移的。即使运维人员愿意迁移，操作起来
也是相当的麻烦。还有一个问题，如果发现缓存中的数据存在异常，如何使用某种机制去自动更新缓存或者是手动更新缓存数据，让
缓存中的数据和数据库中的最终趋于一致，并且保证数据的正确性呢？这就需要做缓存恢复。
三、解决方案
缓存恢复只针对时效性比较长的数据，如果某些缓存数据几分钟更新一次，或者十几分钟更新一次，这种缓存数据就可以考虑不用
恢复。对于某些没有失效时间限制的一些缓存数据，就需要做这种处理。需要使用的地方:一种情况是系统迁移的时候；一种情况是缓存
数据出现问题，需要采取某种措施更新缓存的时候。下面就来聊聊两种缓存更新的方式。
.方式一：通过接口请求更新缓存.
这种方式比较常规，就是写一个普通的接口，发一个请求到后台，传递对应的参数进行缓存更新操作。这种操作方式是立马全量更新
所有的缓存数据。对于数据量不大的业务比较适合，更新的时间也不会太久，预估可能就一两分钟的样子。可是当数据量很大的时候，
比如少说几十万甚至更多的数据都需要添加到缓存中，这种应该如何处理呢？
public boolean updateTest() {
Map<Integer, List<TransmitActivityTotal>> transmitActivityTotalMap = new HashMap<>(30);
List<TransmitActivityTotal> transmitActivityTotals = null;
StopWatch stopWatch = new StopWatch();
stopWatch.start();
try {
// 查询数据
for(int i = 0; i < 30; i++){
// 根据不同的分表信息查询不同的数据
transmitActivityTotals = null;
transmitActivityTotalMap.put(i, transmitActivityTotals);
}
// 处理数据
if (transmitActivityTotalMap.isEmpty()) {
return false;
}
Map<Long, Integer> idTotalMap = new HashMap<>();
Integer total = null;
for(Map.Entry<Integer, List<TransmitActivityTotal>> item : transmitActivityTotalMap.entrySet()) {
for(TransmitActivityTotal transmitActivityTotal : item.getValue()) {
total = transmitActivityTotal.getTotal() == null ? Integer.valueOf(0) : transmitActivityTotal.getTotal();
if (idTotalMap.keySet().contains(transmitActivityTotal.getId())) {
// 再次添加 原有数据 + 新数据
idTotalMap.put(transmitActivityTotal.getId(), idTotalMap.get(transmitActivityTotal.getId()) + total);
} else {
// 首次添加
idTotalMap.put(transmitActivityTotal.getId(), total);
}
}
}
for(Map.Entry<Long, Integer> item : idTotalMap.entrySet()) {
// 使用redis进行 恢复缓存 操作
log.info("id-->{}, 数量--->", item.getKey(), item.getValue());
}
stopWatch.stop();
log.info("缓存恢复耗时--->{}毫秒", stopWatch.getLastTaskTimeMillis());
return true;
} catch (Exception ex) {
stopWatch.stop();
log.error("缓存更新异常--->{}", ex);
return false;
}
}
方式二：通过数据字典表来控制缓存的更新。
自己目前所参与开发的项目，在项目启动的时候，会将所有的数据字典信息添加到缓存当中，并且会隔几分钟去更新一次数据字典数据。
就是利用这一点来增量更新缓存信息，比如每次只更新某个用户相关的操作数据，而不是一次性更新所有用户的数据。减轻了服务器的压力，
这种处理方式也更加的符合实际需求。举一个简单的示例，首先考虑兼容性问题，在设计的时候可以在数据字典中添加一个值，当这个值
为OLD的时候，就使用旧有的逻辑，直接从缓存中获取数据；如果是新系统，则可以在页面中将这个数据字典表的值设置为NEW，这时就
使用新的逻辑，先从数据库中去查询数据，然后将查询结果保存在缓存中。这样设计就能够兼容之前的系统，也可以进行系统的迁移。这里
还存在一个问题，就是使用新系统时，不可能每次都去查询数据库，然后将数据存入缓存中。这时就可以添加第二个数据字典值，称它为数
据版本吧，比如设置为100，也是先从缓存中获取这个数据字典值a，然后从缓存中获取获取数据版本值b，判断值a和值b是否一致。一致
则直接返回缓存数据。不一致则查询数据库，然后更新缓存，并且将缓存中的数据版本的值更新为数据字典的值。这样在后台管理系统中，
更新数据版本的值，就可以动态的更新缓存数据的值，并且每次更新的缓存数据量很少。
这种设计稍微有些复杂，还是需要好好理解，自己最开始的时候也是没有理解这种缓存恢复的方式。去询问负责人之后，才搞清楚是如何
进行设计的。明白之后才开始写代码，最后进行测试，测试结论通过。
