大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(资料图)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
-
解剖屎山,寻觅黄金之第二弹大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。aust
-
2021南京教资认定机构名单 南京市教资认定 全球微动态南京教师资格证认定需要由各市区教育局负责,各教育局所负责的认定范围不一样,详见正文。
-
祖国在我心中作文怎么写450个字_祖国在我心中作文 怎么写1、不知您是什么年龄段上,给您一个思路,去创造发挥吧,希望能对您有启发。2、立意:把祖国誉为母。3、这
-
要闻:魔兽世界pvp套装在哪换外观_pvp装备在哪换1、首先打开手机梦幻江湖APP,进入游戏。2、在游戏界面中找到右手边包裹按钮旁边的符号按钮,点击进入查找
-
释放压力 迎接高考6月4日,学生在开展大风车趣味游戏。高考临近,双峰县曾国藩高级实验中学组织高复年级的学生开展多种趣味游
-
全球快看点丨厨房和卫生间最佳方位(别墅厨房和卫生间最佳方位)1、厨房布局适宜设在朝向东方或东南方从传统的风水学上来看,厨房在整个房间布局的方向可是非常讲究的,因
-
合家欢乐和阖家欢乐意思一样吗 合家欢乐和阖家欢乐1、阖家欢乐是以前的叫法也是最正忠的叫法。2、阖在以前的意思是“全”也就是全家欢乐的意思,现在合家欢乐
-
全球快看点丨6种“心脏病”,不用过度治疗,否则就是白花钱,自己吓唬自己!大家一听到心脏病,一定会吓一跳:坏了,坏了,我怎么可能心脏病呢?甚至有的人一下子就吓蒙了,想着花多少
-
把衣服穿成露脐装 都是因为太平的晚间囧图智力就像内衣,拥有它很重要,但没有必要炫耀它。
-
全球连线|菲官员期待RCEP为经济发展带来新机遇《区域全面经济伙伴关系协定》(RCEP)6月2日对菲律宾正式生效。多名菲律宾官员表示,期待RCEP为菲发展带来
-
今日热门!知情人士称,在周日欧佩克+会议召开之前,沙特和一些欧佩克成员国在谁将生产多少石油的问题上产生了冲突知情人士称,在周日欧佩克+会议召开之前,沙特和一些欧佩克成员国在谁将生产多少石油的问题上产生了冲突。
-
鱼香肉燥面_关于鱼香肉燥面简述-头条小伙伴们,你们好,今天小夏来聊聊一篇关于鱼香肉燥面,关于鱼香肉燥面简述的文章,网友们对这件事情都比较
-
寸阴_关于寸阴介绍1、寸阴,是指以寸为单位阳光下“表”的阴影。2、犹“寸晷”。3、指暂短的光阴。4、语出《淮南子·原道训》
-
每日速读!秦时明月之鬼谷纵横小说_秦时明月之鬼谷纵横1、没有纵横派、是鬼谷派一生只收两个徒弟、一个是纵一个是横、两个人是对立的、其中只有一人能成功、就是
-
当前滚动:591岁!全国最老龙舟出水据新华社报导,锣鼓喧天,醒狮劲舞。全国现存最老、已经有591岁的盐步老龙抖落一身淤泥,与世人再次见面。
-
世界观察:胸围尺码表_杨幂胸围1、杨幂——【E罩杯】…百度“刘诗诗A罩杯杨幂E罩杯女星真实胸围曝光”可验证~~请继续追问或采纳。2、O(∩_
-
美防长针对涉台议题大放厥词,中方:台湾问题事关核心利益,解放军全时待战_环球快看针对美国国防部长奥斯汀在当天的发言中多次对中国进行不实指责,中央军委联合参谋部副参谋长景建峰中将在谈
-
环球观速讯丨美国原油进入布伦特价格体系 影响几何?今年5月,全球两大能源及大宗商品价格评估机构英国阿格斯和标普全球普氏能源,首次将美国西德克萨斯生产的
-
梦寐以求的意思解释词语(梦寐以求的意思)|今头条今天小编岚岚来为大家解答以上的问题。梦寐以求的意思解释词语,梦寐以求的意思相信很多小伙伴还不知道,现
-
世界简讯:吉林新观察丨机场大流量 投射吉林高质量发展“三个亮点”新华社记者邵美琦完成航班量9722架、旅客量124 5万人次,同比2019年分别增长21 49%、12 77%。5月份,长春龙
-
曼联发布足总杯决赛海报:B费、卡塞米罗等红魔球员走进温布利-速看曼联发布足总杯决赛海报:B费、卡塞米罗等红魔球员走进温布利,曼联,曼城,红魔,温布利,足总杯,卡塞米罗,拉什
-
世界热推荐:如何快速去除衣服上的静电污渍(如何快速去除衣服上的静电)1、快速去除衣服上的静电方法如果条件允许,发现衣物带静电后,最好把衣物换洗一下,这是最好的去静电方法
-
超级机器人大战impact汉化版 全隐藏要素!写在前面:作为收到WGF大佬儿童节礼物的小朋友之一,我能做的也只有帮大佬锦上添花一下了。之前由于汉化第
-
天天短讯!美国男子三餐只吃麦当劳 三个月减重52斤大多数人可能认为,连续三个多月只吃快餐“麦当劳”不是一种健康的饮食习惯,但美国田纳西州一名57岁男子的
-
橡胶测试项目有哪些_橡胶测试1、橡胶检测(橡胶制品检测)指各类橡胶原料及橡胶产品的成分分析、元素分析、化学分析、材质鉴定、物理性
-
女生淘宝衣服店推荐_女生淘宝|全球快报1、淘宝的主要节日有情人节,母亲节,女神节。2、双十一购物狂欢节,双十二等节日,这些节日优惠力度也不相
-
焦点快播:和尚和尼姑怎么打招呼_和尚尼姑怎么解决生理要求图1、过节了。2、和尚在庙外贴副对联:白天没球事,晚上球没事。3、横批:无比烦恼。4、尼姑看见了,回到庵里也
-
天天快讯:事关高考,举报电话公布!近日,教育部统一公布了教育部以及各省(区、市)2023年的高考举报电话,欢迎广大考生、家长及社会各界人士
-
女诗人吕约:真情表达不需要华丽的辞藻“诗的天真与智慧”主题分享会近日在广州珠江公园湾区书屋举办,诗人吕约从诗歌创作与批评研究的双重视野出
-
生化危机4汉化补丁下载_生化危机4汉化补丁 环球微动态1、4可以直接下汉化版本的,就是完全汉化的~不然的话,汉化补丁和3DA有冲突,何况那个汉化补丁也只是在97%