高並發下瀏覽量入庫設計
- 2019 年 10 月 3 日
- 筆記
一、背景
文章瀏覽量統計，low的做法是：用戶每次瀏覽，前端會發送一個
GET請求獲取一篇文章詳情時，會把這篇文章的瀏覽量+1，存進資料庫里。
1.1 這麼做，有幾個問題：
- 在GET請求的業務邏輯里進行了數據的寫操作！
- 並發高的話，資料庫壓力太大；
- 同時，如果文章做了快取和搜索引擎如
ElasticSearch的存儲，同步更新快取和ElasticSearch更新同步更新太耗時，不更新就會導致數據不一致性。
1.2 解決方案
HyperLogLog
HyperLogLog是Probabilistic data Structures的一種，這類數據結構的基本大的思路就是使用統計概率上的演算法，犧牲數據的精準性來節省記憶體的佔用空間及提升相關操作的性能。
- 設計思路
- 為保證真實的博文瀏覽量，根據用戶訪問的
ip和文章id,進行唯一校驗，即同一個用戶多次訪問同一篇文章，改文章訪問量只增加1； - 將用戶的瀏覽量用
opsForHyperLogLog().add(key,value)的存儲在Redis中，在半夜瀏覽量低的時候，通過定時任務，將瀏覽量更新至資料庫中。
二、 手把手實現
2.1 項目配置
sql
DROP TABLE IF EXISTS `article`; CREATE TABLE `article` ( `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主鍵', `title` varchar(100) NOT NULL COMMENT '標題', `content` varchar(1024) NOT NULL COMMENT '內容', `url` varchar(100) NOT NULL COMMENT '地址', `views` bigint(20) NOT NULL COMMENT '瀏覽量', `create_time` timestamp NULL DEFAULT CURRENT_TIMESTAMP COMMENT '創建時間', PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8; INSERT INTO article VALUES(1,'測試文章','content','url',10,NULL);插入了一條數據，並設計訪問量已經為10了，便於測試。
- 項目依賴
pom.xml
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> </dependency> <!--mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> </dependency> <!-- mybatis --> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>1.3.2</version> </dependency> <!-- redis --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> <version>2.0</version> </dependency> <!-- lombok--> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency>application.yml
spring: # 資料庫配置 datasource: url: jdbc:mysql://47.98.178.84:3306/dev username: dev password: password driver-class-name: com.mysql.cj.jdbc.Driver redis: host: 47.98.178.84 port: 6379 database: 1 password: password timeout: 60s # 連接超時時間，2.0 中該參數的類型為Duration，這裡在配置的時候需要指明單位 # 連接池配置，2.0中直接使用jedis或者lettuce配置連接池（使用lettuce，依賴中必須包含commons-pool2包） lettuce: pool: # 最大空閑連接數 max-idle: 500 # 最小空閑連接數 min-idle: 50 # 等待可用連接的最大時間，負數為不限制 max-wait: -1s # 最大活躍連接數，負數為不限制 max-active: -1 # mybatis mybatis: mapper-locations: classpath:mapper/*.xml # type-aliases-package: cn.van.redis.view.entity2.2 瀏覽量的切面設計
- 自定義一個註解，用於新增文章瀏覽量到
Redis中
@Target({ElementType.PARAMETER, ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface PageView { /** * 描述 */ String description() default ""; }- 切面處理
@Aspect @Configuration @Slf4j public class PageViewAspect { @Autowired private RedisUtils redisUtil; /** * 切入點 */ @Pointcut("@annotation(cn.van.redis.view.annotation.PageView)") public void PageViewAspect() { } /** * 切入處理 * @param joinPoint * @return */ @Around("PageViewAspect()") public Object around(ProceedingJoinPoint joinPoint) { Object[] object = joinPoint.getArgs(); Object articleId = object[0]; log.info("articleId:{}", articleId); Object obj = null; try { String ipAddr = IpUtils.getIpAddr(); log.info("ipAddr:{}", ipAddr); String key = "articleId_" + articleId; // 瀏覽量存入redis中 Long num = redisUtil.add(key,ipAddr); if (num == 0) { log.info("該ip:{},訪問的瀏覽量已經新增過了", ipAddr); } obj = joinPoint.proceed(); } catch (Throwable e) { e.printStackTrace(); } return obj; } }- 工具類
RedisUtils.java
@Component public class RedisUtils { @Resource private RedisTemplate<String, Object> redisTemplate; /** * 刪除快取 * @param key 可以傳一個值 或多個 */ public void del(String... key) { redisTemplate.delete(key[0]); } /** * 計數 * @param key * @param value */ public Long add(String key, Object... value) { return redisTemplate.opsForHyperLogLog().add(key,value); } /** * 獲取總數 * @param key */ public Long size(String key) { return redisTemplate.opsForHyperLogLog().size(key); } }- 工具類
IpUtils.java
該工具類我在
Mac下測試沒問題，Windows下如果有問題，請回饋給我
@Slf4j public class IpUtils { public static String getIpAddr() { try { Enumeration<NetworkInterface> allNetInterfaces = NetworkInterface.getNetworkInterfaces(); InetAddress ip = null; while (allNetInterfaces.hasMoreElements()) { NetworkInterface netInterface = (NetworkInterface) allNetInterfaces.nextElement(); if (netInterface.isLoopback() || netInterface.isVirtual() || !netInterface.isUp()) { continue; } else { Enumeration<InetAddress> addresses = netInterface.getInetAddresses(); while (addresses.hasMoreElements()) { ip = addresses.nextElement(); if (ip != null && ip instanceof Inet4Address) { log.info("獲取到的ip地址：{}", ip.getHostAddress()); return ip.getHostAddress(); } } } } } catch (Exception e) { log.error("獲取ip地址失敗，{}",e); } return null; } }2.3 同步任務ArticleViewTask.java
ArticleService.java裡面的程式碼比較簡單，詳見文末源碼。
@Component @Slf4j public class ArticleViewTask { @Resource private RedisUtils redisUtil; @Resource ArticleService articleService; // 每天凌晨一點執行 @Scheduled(cron = "0 0 1 * * ? ") @Transactional(rollbackFor=Exception.class) public void createHyperLog() { log.info("瀏覽量入庫開始"); List<Long> list = articleService.getAllArticleId(); list.forEach(articleId ->{ // 獲取每一篇文章在redis中的瀏覽量，存入到資料庫中 String key = "articleId_"+articleId; Long view = redisUtil.size(key); if(view>0){ ArticleDO articleDO = articleService.getById(articleId); Long views = view + articleDO.getViews(); articleDO.setViews(views); int num = articleService.updateArticleById(articleDO); if (num != 0) { log.info("資料庫更新後的瀏覽量為：{}", views); redisUtil.del(key); } } }); log.info("瀏覽量入庫結束"); } }2.4 測試介面PageController.java
@RestController @Slf4j public class PageController { @Autowired private ArticleService articleService; @Autowired private RedisUtils redisUtil; /** * 訪問一篇文章時，增加其瀏覽量:重點在的註解 * @param articleId：文章id * @return */ @PageView @RequestMapping("/{articleId}") public String getArticle(@PathVariable("articleId") Long articleId) { try{ ArticleDO blog = articleService.getById(articleId); log.info("articleId = {}", articleId); String key = "articleId_"+articleId; Long view = redisUtil.size(key); log.info("redis 快取中瀏覽數：{}", view); //直接從快取中獲取並與之前的數量相加 Long views = view + blog.getViews(); log.info("文章總瀏覽數：{}", views); } catch (Throwable e) { return "error"; } return "success"; } }這裡，具體的
Service中的方法因為都被我放在Controller中處理了，所以就是剩下簡單的Mapper調用了，這裡就不浪費時間了，詳見文末源碼。（按理說，這些邏輯處理，應該放在Service處理的，請按實際情況優化）
三、 測試
啟動項目，測試訪問量，先請求http://localhost:8080/1,日誌列印如下：
2019-03-2623:50:50.047 INFO 2970 --- [nio-8080-exec-1] cn.van.redis.view.aspect.PageViewAspect : articleId:1 2019-03-2623:50:50.047 INFO 2970 --- [nio-8080-exec-1] cn.van.redis.view.utils.IpUtils : 獲取到的ip地址：192.168.1.104 2019-03-2623:50:50.047 INFO 2970 --- [nio-8080-exec-1] cn.van.redis.view.aspect.PageViewAspect : ipAddr:192.168.1.104 2019-03-2623:50:50.139 INFO 2970 --- [nio-8080-exec-1] io.lettuce.core.EpollProvider : Starting without optional epoll library 2019-03-2623:50:50.140 INFO 2970 --- [nio-8080-exec-1] io.lettuce.core.KqueueProvider : Starting without optional kqueue library 2019-03-2623:50:50.349 INFO 2970 --- [nio-8080-exec-1] com.zaxxer.hikari.HikariDataSource : HikariPool-1 - Starting... 2019-03-2623:50:50.833 INFO 2970 --- [nio-8080-exec-1] com.zaxxer.hikari.HikariDataSource : HikariPool-1 - Start completed. 2019-03-2623:50:50.872 INFO 2970 --- [nio-8080-exec-1] c.v.r.v.web.controller.PageController : articleId = 1 2019-03-2623:50:50.899 INFO 2970 --- [nio-8080-exec-1] c.v.r.v.web.controller.PageController : redis 快取中瀏覽數：1 2019-03-2623:50:50.900 INFO 2970 --- [nio-8080-exec-1] c.v.r.v.web.controller.PageController : 文章總瀏覽數：11觀察一下，資料庫，訪問量確實沒有增加，本機再次訪問，發現，日誌列印如下:
2019-03-2623:51:14.658 INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.aspect.PageViewAspect : articleId:1 2019-03-2623:51:14.658 INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.utils.IpUtils : 獲取到的ip地址：192.168.1.104 2019-03-2623:51:14.658 INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.aspect.PageViewAspect : ipAddr:192.168.1.104 2019-03-2623:51:14.692 INFO 2970 --- [nio-8080-exec-3] cn.van.redis.view.aspect.PageViewAspect : 該ip:192.168.1.104,訪問的瀏覽量已經新增過了 2019-03-2623:51:14.752 INFO 2970 --- [nio-8080-exec-3] c.v.r.v.web.controller.PageController : articleId = 1 2019-03-2623:51:14.760 INFO 2970 --- [nio-8080-exec-3] c.v.r.v.web.controller.PageController : redis 快取中瀏覽數：1 2019-03-2623:51:14.761 INFO 2970 --- [nio-8080-exec-3] c.v.r.v.web.controller.PageController : 文章總瀏覽數：11- 定時任務觸發，日誌列印如下
2019-03-27 01:00:00.265 INFO 2974 --- [ scheduling-1] cn.van.redis.view.task.ArticleViewTask : 瀏覽量入庫開始 2019-03-27 01:00:00.448 INFO 2974 --- [ scheduling-1] io.lettuce.core.EpollProvider : Starting without optional epoll library 2019-03-27 01:00:00.449 INFO 2974 --- [ scheduling-1] io.lettuce.core.KqueueProvider : Starting without optional kqueue library 2019-03-27 01:00:00.663 INFO 2974 --- [ scheduling-1] cn.van.redis.view.task.ArticleViewTask : 資料庫更新後的瀏覽量為：11 2019-03-27 01:00:00.682 INFO 2974 --- [ scheduling-1] cn.van.redis.view.task.ArticleViewTask : 瀏覽量入庫結束觀察一下資料庫，發現資料庫中的瀏覽量增加到11，同時，Redis中的瀏覽量沒了，說明成功！
