跳到主要内容

1 篇博文 含有标签「ShardingSphere」

ShardingSphere

查看所有标签

Apache-ShardingSphere

· 阅读需 5 分钟
EPOCH
EPOCH
程序员

一、Apache ShardingSphere 介绍​

1. 基本概念​

Apache ShardingSphere 是一款开源的分布式数据库中间件生态圈，由京东数科发起并贡献给 Apache 基金会。它定位为数据库的上层增强计算引擎，提供以下核心能力：

  • 数据分片：水平拆分、垂直拆分、读写分离
  • 分布式事务：支持 XA、SAGA、BASE 等事务模式
  • 数据库治理：数据加密、影子库压测、SQL 防火墙等
  • 多模式接入：支持 JDBC、Proxy 和 Sidecar 三种接入方式

2. 核心组件​

组件说明
ShardingSphere-JDBC轻量级 Java 框架，以 jar 包形式提供服务
ShardingSphere-Proxy透明化的数据库代理，支持异构语言
ShardingSphere-Sidecar云原生 sidecar 模式 (开发中)

3. 架构特点​

  • 可插拔架构：各功能模块可自由组合
  • 多数据库支持：MySQL、PostgreSQL、Oracle 等主流数据库
  • 全链路追踪：支持 Apache SkyWalking 等监控系统

二、Spring Boot 集成指南​

1. 基础集成步骤​

依赖配置 (pom.xml):

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
    <version>5.3.2</version>
</dependency>

application.yml 配置示例:

spring:
  shardingsphere:
    datasource:
      names: ds0,ds1
      ds0:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/ds0
        username: root
        password: 
      ds1:
        type: com.zaxxer.hikari.HikariDataSource
        driver-class-name: com.mysql.jdbc.Driver
        jdbc-url: jdbc:mysql://localhost:3306/ds1
        username: root
        password: 
    rules:
      sharding:
        tables:
          t_order:
            actual-data-nodes: ds$->{0..1}.t_order_$->{0..15}
            table-strategy:
              standard:
                sharding-column: order_id
                precise-algorithm-class-name: com.example.MyPreciseShardingAlgorithm

2. 关键集成点​

自定义算法实现:

public class MyPreciseShardingAlgorithm implements StandardShardingAlgorithm<Long> {
    @Override
    public String doSharding(Collection<String> availableTargetNames, 
                           PreciseShardingValue<Long> shardingValue) {
        // 实现精确分片逻辑
        long orderId = shardingValue.getValue();
        return "t_order_" + (orderId % 16);
    }
}

Spring Boot 启动类:

@SpringBootApplication
@MapperScan("com.example.mapper") // 如果使用MyBatis
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

三、扩展开发指南​

1. 自定义扩展点​

扩展类型接口典型实现
分片算法StandardShardingAlgorithm精确分片、范围分片
分布式ID生成KeyGenerateAlgorithmSnowflake、UUID
加密算法EncryptAlgorithmAES、MD5
负载均衡ReplicaLoadBalanceAlgorithm轮询、随机

2. 自定义分片算法示例​

public class CustomRangeShardingAlgorithm implements RangeShardingAlgorithm<Long> {
    @Override
    public Collection<String> doSharding(Collection<String> availableTargetNames, 
                                       RangeShardingValue<Long> shardingValue) {
        // 处理 BETWEEN AND 等范围查询的分片路由
        Range<Long> range = shardingValue.getValueRange();
        return availableTargetNames.stream()
            .filter(table -> isInRange(table, range))
            .collect(Collectors.toList());
    }
  
    private boolean isInRange(String tableName, Range<Long> range) {
        // 实现具体范围判断逻辑
    }
}

3. SPI 扩展机制​

在 resources/META-INF/services 下创建文件：

org.apache.shardingsphere.sharding.spi.ShardingAlgorithm

内容为您的实现类全限定名：

com.example.CustomRangeShardingAlgorithm

四、数据性能分析​

1. 性能优势​

场景性能表现说明
单表查询接近原生无额外开销
跨库查询取决于分片策略需网络开销
批量插入并行处理比单库快 2-5 倍
聚合查询有性能损耗需合并多个分片结果

2. 性能测试指标 (TPC-C 基准)​

指标单库ShardingSphere (4分片)
TPM-C3,20011,500
平均延迟12ms18ms
吞吐量1x3.6x

3. 性能优化建议​

  1. 分片键选择：高基数、低频率变更的列
  2. 避免全路由：设计分片策略时尽量减少全库扫描
  3. 合理分片数：通常 2-8 个分片为宜，过多会增加管理开销
  4. 索引优化：确保每个分片表都有合适的索引

五、缺点与注意事项​

1. 主要缺点分析​

缺点影响缓解方案
分布式事务限制XA 性能较差，BASE 不完全一致合理设计业务边界
复杂SQL支持有限子查询、函数分片可能不支持简化SQL或应用层处理
跨分片性能下降JOIN/ORDER BY 跨分片效率低冗余字段或使用宽表
扩容复杂度高需要数据迁移提前规划分片策略

2. 关键注意事项​

分片策略设计：

  • 避免数据倾斜（热点问题）
  • 考虑未来扩容需求（如使用一致性哈希）
  • 分片键一旦确定难以修改

SQL限制：

  • 不支持跨库外键
  • 分页查询在大偏移量时效率低
  • 部分聚合函数需要内存计算

运维挑战：

  • 分布式环境下的监控更复杂
  • 需要专门的数据库管理工具
  • 备份恢复策略需要调整

版本升级：

  • 不同版本间配置可能有较大变化
  • 建议先在测试环境验证升级

3. 不适合使用场景​

  1. 强一致性要求的金融核心系统
  2. 超高频单表写入场景（如物联网时序数据）
  3. 复杂分析型查询为主的系统
  4. 已有成熟分布式数据库解决方案的环境

六、最佳实践总结​

  1. 渐进式采用：从读写分离开始，逐步引入分片
  2. 监控先行：部署前建立完善的监控体系
  3. 测试驱动：用真实数据量进行性能测试
  4. 故障演练：模拟网络分区等异常情况
  5. 文档同步：确保团队理解分片设计和限制

ShardingSphere 作为优秀的分布式数据库中间件，合理使用可以显著提升系统扩展性，但需要充分认识其限制并做好技术储备。