您当前的位置: 首页 >  kafka

凌云时刻

暂无认证

  • 0浏览

    0关注

    1437博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Kafka开源转商业实践,助力车主无忧系统稳健 | 凌云时刻

凌云时刻 发布时间:2020-05-28 18:30:00 ,浏览量:0

凌云时刻 · 技术

导读:“商业版的Kafka完全兼容开源的生态,接入方便容易,并且提供了优质的SLA保障,各种日常功能操作也简洁易用,综合使用成本有优势。总得来说就是省事省钱,质量有保证,是一款良心制作的基础PAAS产品。”

—— 小迈CTO  温嘉铭

作者 | 阿里云云原生

来源 | 凌云时刻(微信号:linuxpk)

什么是MQ

车主无忧是属于广州小迈网络科技公司服务于汽车后市场的重要产品。小迈网络是一家以1,2线城市车主为目标用户的移动互联网公司,通过构建串联车主与商家的O2O平台,降低车主用车成本,提升车主用车品质。公司于2015.1成立,由纳斯达克上市公司前高管创建,并获得多轮风投的青睐。公司拥有一流的移动互联网产品研发核心团队,团队年轻有活力,拥有多年移动互联网产品研发运营经验,在过去的工作中领导和创建了超过4亿用户规模的移动互联网产品。

车主无忧服务车主用户破亿,提供了违章查询,罚单处理,二手车,加油充值,车险服务,以及各种咨询头条服务。打造一个汽车服务的生态圈子。艾瑞咨询APP热点指数“汽车护理”领域排名第一。

痛点

  • 容量弹性方面:开源的Kafka在partition分区规模超过1000后有明显的抖动,集群扩容小时级别,业务有感知。 

  • 存储开销方面:开源的Kafka多副本存储,存储压力大,且会在磁盘写满的情况下直接宕机,没有保扩机制,需要额外提供告警人工处理。 

  • 性能稳定方面:在处理冷数据读的时候会导致明显的变慢,数据写入伴随着部分失败;拉取G级别的数据时,Full GC高频出现。

利用经过优化的阿里云商业版消息队列Kafka开箱即用,完全兼容开源的无缝迁移的特性,结合最佳实践《在线迁移消息队列Kafka 》 的指导,自主高效地完成了迁移工作。由阿里云团队进行专业的运维,利用Kafka的自动化内检功能,保证Broker以及依赖组件Zookeeper的健康稳定;运维白屏化管理,可以协助用户进行快速的分钟级扩容;提供了有效的故障管理。借助商业版本提供的监控告警能力,实时掌握硬件资源与服务可用性情况,指导我们的应用进行优化调整。

业务价值

  • 业务稳定:通过迁移到商业版本的Kafka, 消息丢失现象长期不存在,生产与消费端的抖动明显好转,整个消息集群平稳运行,有效地支持了业务的快速发展。 

  • 效率提升:Kafka提供了白屏化的管理方式, 基于阿里云提供的控制台,我们可以方便快捷地扩展实例,对TOPIC进行管理,以及扩展PARTITION。另外还提供了堆积、 消息查询等实时监控功能,并且可以设定各种资源的报警规则, 用于快速定位问题,提升诊断效率,指导优化系统。 

  • 成本控制:节省了大量的运维人力成本,解放了生产力,综合比较,使用商业版本的使用成本更划算。

END

往期精彩文章回顾

进阶之路:深入解读 Java 堆外内存

干货:一文看懂Apache Ranger

吴翰清:有变革的需求,才有技术的诞生

云原生时代,消息中间件的演进路线

如何提升微服务的幸福感

OceanBase 连破纪录的背后,是技术人的砥砺前行

重磅!解读国内唯一入选全球顶会SIGCOMM论文

一文读懂数据湖

长按扫描二维码关注凌云时刻

每日收获前沿技术与科技洞见

关注
打赏
1663816507
查看更多评论
立即登录/注册

微信扫码登录

0.0414s