数据库mysql集群管理工具——MyCat（1）

Mycat资源：

链接：https://pan.baidu.com/s/1skzBAS_jBxs1hYpAX8bQaA 提取码：e3mb

摘要

MyCat 是基于 java 语言编写的数据库中间件，是一个实现了 MySQL 协议 的服务器，前端用户可以把它看作是一个数据库代理，用 MySQL 客户端工具和命令行访问，而其后端可以用 MySQL 原生协议与多个 MySQL 服务器通信，也可以用 JDBC 协议与大多数主流数据库服务器通信。MyCat ：其核心功能是分库分表。配合数据库的主从模式还可实现读写分离。Mycat主要就是为了弥补目前开源和传统数据库基本不能支持大规模的自动扩展，简单来说MyCat就是实现数据库集群的，对海量数据的数据存储的一种解决方案，因为很多数据库不像Oracle一样自带集群的配置，那么在进行海量数据存储的时候就要使用到MyCat进行数据库的管理了。

Mycat——数据库切分概述

在互联网时代，海量数据的存储与访问成为系统设计与使用的瓶颈问题，对于海量数据处理，按照使用场景，主要分为两种类型:联机事务处理(OLTP)和联机分析处理(OLAP)。

联机事务处理(OLTP）也称为面向交易的处理系统，其基本特征是原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。

联机分析处理(OLAP)）是指通过多维的方式对数据进行分析、查询和报表，可以同数据挖掘工具、统计分析工具配合使用，增强决策分析功能。

针对上面两类系统有多种技术实现方案，存储部分的数据库主要分为两大类:关系型数据库与NoSQL数据库。

关系型数据库，是建立在关系模型基础上的数据库，其借助于集合代数等数学概念和方法来处理数据库中的数据。主流的oracle、DB2、MS SQL Server和mysql都属于这类传统数据库。

NoSQL数据库，全称为Not Only SQL，意思就是适用关系型数据库的时候就使用关系型数据库，不适用的时候也没有必要非使用关系型数据库不可，可以考虑使用更加合适的数据存储。主要分为临时性键值存储(memcached、Redis)、永久性键值存储(ROMA、Redis)、面向文档的数据库(MongoDB、CouchDB) .面向列的数据库(Cassandra、HBase)，每种 NoSQL都有其特有的使用场景及优点。

Oracle,mysql等传统的关系数据库非常成熟并且已大规模商用，为什么还要用NoSQL数据库呢?主要是由于随着互联网发展，数据量越来越大，对性能要求越来越高，传统数据库存在着先天性的缺陷，即单机(单库)性能瓶颈，并且扩展困难。这样既有单机单库瓶颈，却又扩展困难，自然无法满足日益增长的海量数据存储及其性能要求，所以才会出现了各种不同的NoSQL产品，NoSQL根本性的优势在于在云计算时代，简单、易于大规模分布式扩展，并且读写性能非常高。

何为数据切分

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机)上面，以达到分散单台设备负载的效果。数据的切分(Sharding）根据其切分规则的类型，可以分为两种切分模式。一种是按照不同的表（或者Schema)来切分到不同的数据库（主机)之上，这种切可以称之为数据的垂直（纵向）切分;另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机)上面，这种切分称之为数据的水平（横向)切分。

垂直切分

垂直切分：特点就是规则简单，实施也更为方便，尤其适合各业务之间的耦合度非常低，相互影响很小,业务逻辑非常清晰的系统。在这种系统中，可以很容易做到将不同业务模块所使用的表分拆到不同的数据库中。根据不同的表来进行拆分，对应用程序的影响也更小，拆分规则也会比较简单清晰。

例如：一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类，分布到不同的数据库上面，这样也就将数据或者说压力分担到不同的库上面，如下图:

系统被切分成了，用户，订单交易，支付几个模块。一个架构设计较好的应用系统，其总体功能肯定是由很多个功能模块所组成的，而每一个功能模块所需要的数据对应到数据库中就是一个或者多个表。而在架构设计中，各个功能模块相互之间的交互点越统一越少系统的耦合度就越低，系统各个模块的维护性以及扩展性也就越好。这样的系统，实现数据的垂直切分也就越容易。

但是往往系统之有些表难以做到完全的独立，存在这扩库join的情况，对于这类的表，就需要去做平衡，是数据库让步业务，共用一个数据源，还是分成多个库，业务之间通过接口来做调用。在系统初期，数据量比较少，或者资源有限的情况下，会选择共用数据源，但是当数据发展到了一定的规模，负载很大的情况，就需要必须去做分割。

水平切分

水平切分于垂直切分相比，相对来说稍微复杂一些。因为要将同一个表中的不同数据拆分到不同的数据库中，对于应用程序来说，拆分规则本身就较根据表名来拆分更为复杂，后期的数据维护也会更为复杂一些。

拆分数据就需要定义分片规则。关系型数据库是行列的二维模型，拆分的第一原则是找到拆分维度。比如:从会员的角度来分析，商户订单交易类系统中查询会员某天某月某个订单，那么就需要按照会员结合日期来拆分，不同的数据按照会员ID做分组，这样所有的数据查询join都会在单库内解决;如果从商户的角度来讲，要查询某个商家某天所有的订单数，就需要按照商户ID做拆分;但是如果系统既想按会员拆分，又想按商家数据，则会有—定的困难。如何找到合适的分片规则需要综合考虑衡量。

几种典型的分片规则包括:

1. 按照用户ID求模，将数据分散到不同的数据库，具有相同数据用户的数据都被分散到一个库中;
2. 按照日期，将不同月甚至日的数据分散到不同的库中;
3. 按照某个特定的字段求摸，或者根据特定范围段分散到不同的库中。

如图，切分原则都是根据业务找到适合的切分规则分散到不同的库，下面用用户ID求模举例:

由于数据切分后数据Join的难度在此也分享一下数据切分的经验:

• 第一原则:能不切分尽量不要切分。
• 第二原则:如果要切分一定要选择合适的切分规则，提前规划好。
• 第三原则:数据切分尽量通过数据冗余或表分组(Table Group）来降低跨库Join的可能。
• 第四原则:由于数据库中间件对数据Join实现的优劣难以把握，而且实现高性能难度极大，业务读取尽量少使用多表Join。