您当前的位置: 首页 >  ar

和学妹深入探讨CountDownLatch和CyclicBarrier的设计哲学

发布时间:2021-04-23 18:45:15 ,浏览量:0

最近监控发现系统越来越慢,学妹被她公司领导逼急了,询问我能优化一下性能吗。我看了下业务:

  • 用户在app下单,生成电子订单,保存在订单库

  • 物流生成派送单给用户发货,派送单保存在派送单库

  • 为避免漏派、重复派,系统每天校验是否存在异常订单

  • 系统流程图

代码如下:

while(存在未对账订单){ // 1.查询未对账订单 pos = getPOrders(); // 2.查询派送单 dos = getDOrders(); // 3.执行对账操作 diff = check(pos, dos); // 4.差异写入差异库 save(diff); } 

考虑并行?

系统目前由于订单、派送单量大,所以getPOrders()和getDOrders()很慢,由于目前对账系统是单线程处理,所以优化性能,首选能否利用多线程。

所以,很容易看出系统瓶颈:getPOrders()和getDOrders()是否可并行? 当然。因为这俩操作并无先后顺序。可以让这俩最耗时的操作并行。

如何用代码实现呢?

创建俩线程t1、t2,并行执行getPOrders()、getDOrders()。 主线程需等待t1、t2执行完,才执行check()、save(),所以要调用 t1.join()、t2.join()实现等待,当t1、t2退出时,调用t1.join()、t2.join()的主线程就会从阻塞态被唤醒,开始执行check()、save()。

while(存在未对账订单){ // 查询未对账订单 Thread T1 = new Thread(()->{ pos = getPOrders(); }); T1.start(); // 查询派送单 Thread T2 = new Thread(()->{ dos = getDOrders(); }); T2.start(); // 等待T1、T2结束 T1.join(); T2.join(); // 执行对账操作 diff = check(pos, dos); // 差异写入差异库 save(diff); } 

这样优化就够了?

while循环每次都会创建新线程,而创建线程是个重量级操作。最好能复用线程,使用线程池吧!

但有个问题

主线程如何知道getPOrders()、getDOrders()何时执行完?

前面主线程通过调用t1、t2的join()等待t1、t2的退出,但在线程池方案中,线程根本就不会退出,所以join()方法也就失效了。

// 创建2个线程的线程池 Executor executor = Executors.newFixedThreadPool(2); while(存在未对账订单){ // 查询未对账订单 executor.execute(()-> { pos = getPOrders(); }); // 查询派送单 executor.execute(()-> { dos = getDOrders(); }); /* 等待 */ // 执行对账操作 diff = check(pos, dos); // 差异写入差异库 save(diff); } 

如何解决呢?最直接的就是弄个计数器,初始值置2,当执行完

pos = getPOrders(); 

后,计数器-1。 执行完

dos = getDOrders(); 

后,也计数器-1。 在主线程,等待计数器0,这时说明这俩操作都执行完了。 而等待计数器0,就是一个条件变量,用管程实现就很简单。

还好JUC已经帮我们写好了这套逻辑:CountDownLatch。 使用代码如下:

Executor executor = Executors.newFixedThreadPool(2); while(存在未对账订单){ // 计数器值,初始为2 CountDownLatch latch = new CountDownLatch(2); executor.execute(()-> { pos = getPOrders(); // 计数器-1 latch.countDown(); }); executor.execute(()-> { dos = getDOrders(); // 计数器-1 latch.countDown(); }); // 等待两个查询操作结束(计数器 == 0) latch.await(); diff = check(pos, dos); save(diff); } 

还能再优化吗?毕竟程序员的追求是永无止境的。

我们已经将两个查询并行了,但这俩查询和check()、save()之间还是串行。 显然,这俩查询操作和对账操作也可以并行,即在执行对账操作时,可以同时去执行下一轮的查询:

  • 完全并行运行性能

这到底是怎么做到的呢?

两次查询操作能够和对账操作并行,对账操作还依赖查询操作的结果,有点生产者-消费者的味道了,俩查询是生产者,对账是消费者。 生产者-消费者模型,那就得有个队列,保存生产者生产的数据,而消费者从队列中消费数据。

针对对账项目,可以设计两个队列,并且两个队列的元素之间还有对应关系:

  • 订单查询,将订单查询结果插入订单队列
  • 派送单查询,将派送单插入派送单队列

这俩队列的元素之间一一对应。

  • 双队列

为啥设计为两个队列呢?

对账操作每次从订单队列、派单队列各取出一个元素,然后对这俩元素执行对账,数据一定不会乱掉。

如何用双队列实现完全并行呢?

最简单的设计:

  • t1执行订单查询,t2执行派单查询
  • 当t1、t2都各自生产完1条数据时,通知t3执行对账

看上去想法很简单,但其实还需要t1、t2工作步调一致,不能一个跑太快,一个跑太慢,只有这样才能做到各自生产完一条数据时,通知t3。

所以难点是:t1、t2只有都生产完一条数据时,才能一起向下执行,即t1、t2要互相等待,步调一致。 当t1、t2都生产完一条数据时,还要通知t3执行对账。

  • 同步执行示意图

这又该如何用代码实现呢?

你依然可以利用一个计数器解决刚才说的难点,计数器初始为2,t1、t2生产完一条数据都将计数器-1。 若计数器:

  • >0,则t1或t2等待
  • == 0,则通知t3,并唤醒等待的t1或t2,同时,将计数器重置为2,这样t1、t2生产下一条数据时,就可以继续使用该计数器

JUC已经提供这种场景的工具类:CyclicBarrier。

线程T1负责查询订单,当查出一条时,调用 barrier.await() 来将计数器减1,同时等待计数器变成0;线程T2负责查询派送单,当查出一条时,也调用 barrier.await() 来将计数器减1,同时等待计数器变成0;当T1和T2都调用 barrier.await() 的时候,计数器会减到0,此时T1和T2就可以执行下一条语句了,同时会调用barrier的回调函数来执行对账操作。

非常值得一提的是,CyclicBarrier的计数器有自动重置的功能,当减到0的时候,会自动重置你设置的初始值。这个功能用起来实在是太方便了。

// 订单队列 Vector<P> pos; // 派送单队列 Vector<D> dos; Executor executor = Executors.newFixedThreadPool(1); // 当计数器减至0,调用回调方法 final CyclicBarrier barrier = new CyclicBarrier(2, ()->{ executor.execute(()->check()); }); void check(){ P p = pos.remove(0); D d = dos.remove(0); diff = check(p, d); save(diff); } void checkAll(){ // 循环查询订单库 Thread T1 = new Thread(()->{ while(存在未对账订单){ // 查询订单库 pos.add(getPOrders()); // 等待 barrier.await(); } }); T1.start(); // 循环查询运单库 Thread T2 = new Thread(()->{ while(存在未对账订单){ // 查询运单库 dos.add(getDOrders()); // 等待 barrier.await(); } }); T2.start(); } 

注意这里设置线程池为单个线程,可以保证对账的操作按顺序执行。如果设置为多个,有可能会两个线程 A、B 同时查询,A 的订单先返回,B 的派送单先返回,造成队列中的数据不匹配。所以1个线程实现生产数据串行执行,保证数据安全。

总结
  • CountDownLatch 主要用来解决一个线程等待多个线程的场景。 CountDownLatch的计数器是不能复用。一旦计数器减至0,再有线程调用await(),该线程会直接通过。
  • CyclicBarrier 一组线程之间互相等待。CyclicBarrier的计数器是可复用的,可自动重置,一旦计数器减至0,会自动重置到你设置的初始值。 CyclicBarrier还可设置回调方法。
关注
打赏
1688896170
查看更多评论

暂无认证

  • 0浏览

    0关注

    115984博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0637s