Apache Accumulo 介绍 | Baeldung中文网

1. 简介

现代社会每天产生海量敏感数据，组织机构需要管理从个人信息、财务记录到机密文档和网络安全日志等各种数据。统计显示，传统数据库在处理大数据量以及现代企业复杂安全需求时常常力不从心。

随着安全数据管理在现代世界中的战略地位日益凸显，且大多数组织需要细粒度到单元格级别的访问控制，我们需要一个既能处理海量数据集又能严格遵循安全协议的数据库系统——能够管理PB级数据并处理数十亿次独立访问决策。

本文将介绍 Apache Accumulo，一个强大的分布式键值存储系统，具备无与伦比的单元格级安全特性、高性能和可扩展性。

2. 什么是 Apache Accumulo？

Apache Accumulo 最初由美国国家安全局（NSA）开发，基于 Google Bigtable 设计，是一个分布式键值存储系统。

构建于 Apache Hadoop 和 Apache ZooKeeper 之上，它专为在商用硬件集群上处理海量数据而设计。

Accumulo 支持高效的数据摄取、检索和存储。它还提供服务器端编程能力，允许直接在数据库内进行复杂数据处理，使其成为处理敏感大数据的精密解决方案，具备细粒度访问控制能力。

Apache Accumulo 的核心特性包括：

可扩展性：可管理跨大型集群的 PB 级数据
高性能：采用内存处理和优化技术实现高效数据访问
单元格级安全：支持细粒度访问控制，每个单元格可设置唯一可见性标签
丰富的定制化 API：提供迭代器等特性支持数据库内处理

与 Google Bigtable（用于网页索引、Google Earth 和 Google Finance）类似，Apache Accumulo 在多种应用场景中表现出色，包括但不限于：

政府和军事数据系统
医疗记录管理
金融服务数据
网络安全分析
大规模图处理

3. 安装与配置

首先确保已安装 Java 11、Apache Hadoop、YARN 和 Apache ZooKeeper 等依赖，并正确设置 JAVA_HOME、HADOOP_HOME 和 ZOOKEEPER_HOME 环境变量。

然后下载最新版 Apache Accumulo 并解压：

$ tar -xzf accumulo-2.1.3-bin.tar.gz

将 ACCUMULO_HOME 添加到环境变量：

$ export ACCUMULO_HOME=/path/to/accumulo
$ export PATH=$ACCUMULO_HOME/bin:$PATH

按顺序启动 ZooKeeper、Hadoop HDFS 和 YARN 服务：

$ zkServer start
$ start-dfs.sh
$ start-yarn.sh

确保 HDFS 在 localhost:8020 启动，ZooKeeper 主机设置为 localhost:2181（这是 accumulo.properties 中的默认配置）。

使用 jps 命令验证所有服务正常运行，输出应类似：

82306 Main
81385 DataNode
81745 ResourceManager
82867 Jps
81846 NodeManager
81530 SecondaryNameNode
68474 ResourceManager
81276 NameNode

现在初始化 Accumulo 以在 ZooKeeper 和 HDFS 中存储数据：

$ accumulo init

init 命令只需执行一次，会提示输入实例名称和 root 密码。

创建启动集群所需的配置文件：

$ accumulo-cluster create-config

最后启动集群：

$ accumulo-cluster start

启动后运行 Accumulo shell（与 Apache Accumulo 交互的命令行工具）：

$ accumulo shell -u root

⚠️ 注意：此命令要求在 accumulo-client.properties 中设置实例名称和密码。

Accumulo Shell 提供管理、查询和执行表及实例管理任务的基础命令。以下是几个最实用的命令：

tables：列出实例中所有表
createtable <table>：创建新表
deletetable <table>：删除表
scan：扫描并显示当前表数据
insert <row> <colfam> <colqual> <value>：向表插入值
delete <row> <colfam> <colqual>：删除表中特定条目
setiter -t <table>：设置表级迭代器
listiter [-scan | -table]：列出扫描器或表的迭代器
createuser <username>：创建新用户
info：显示 Accumulo 实例的系统信息
config：查看或修改配置设置
flush <table>：强制将表内存数据刷写到磁盘
compact <table>：压缩表数据

4. 数据模型

Accumulo 数据模型与 Google Bigtable 类似，提供稀疏、分布式、持久化的多维有序映射。

具体来说，Accumulo 的键由三个组件组成（确保每个存储值的唯一性）：

行 ID：数据行的主标识符，用于数据的字典序排序
列：
- 列族（Family）：列被分组为列族，作为数据的类别或命名空间
- 列限定符（Qualifier）：每个列族内，通过列限定符标识单个列
- 可见性（Visibility）：每个键值对可关联安全标签或可见性标记，实现单元格级访问控制
时间戳（TimeStamp）：与每个键值对关联的版本号，允许存储同一数据的多个版本

总体而言，Accumulo 数据模型为管理具有复杂安全需求的大规模结构化数据集提供了灵活且安全的框架。通过行 ID、列族和列限定符实现强大的数据组织和查询能力，而单元格级可见性控制确保敏感信息的安全。

5. 操作与特性

5.1 基础表操作

Accumulo 提供强大的表管理能力： ✅ 按需创建新表 ✅ 克隆现有表用于测试或开发 ✅ 将大表拆分为更小的 tablet 以优化性能 ✅ 合并表以整合数据并提高查询效率 ✅ 支持灵活的数据导入导出操作，实现与其他系统的无缝集成

5.2 数据处理

Accumulo 提供基础数据操作（创建、更新、删除）。为高效处理大数据集： ✅ 支持批量操作实现数据批量处理 ✅ 提供基于范围的扫描实现特定数据子集的高效检索

5.3 安全特性

Accumulo 通过为每条数据设置安全标签实现单元格级安全： ✅ 使用布尔表达式设置复杂安全规则 ✅ 管理用户访问权限以强制执行细粒度授权策略

5.4 迭代器框架

Accumulo 提供强大的迭代器（Iterators）作为即时数据处理器，直接在数据所在位置工作。它们在服务器端处理数据过滤、聚合和转换，避免通过网络传输大量原始数据。

优势： ✅ 更快的查询处理速度 ✅ 更高的系统效率 ✅ 显著减少网络流量

5.5 性能优化

Accumulo 集成多种性能优化技术： ✅ 预写日志（Write-ahead logging）：保证数据持久性 ✅ 内存写入：加速数据摄取 ✅ 布隆过滤器（Bloom filters）：实现快速查找，减少全表扫描 ✅ 局部性组（Locality groups）：优化数据布局，提升读写性能

5.6 扩展与分布

Accumulo 在添加更多数据时自动拆分 tablet 并平衡负载，集成新机器只需将其指向集群即可。系统在数据扩展时平滑管理数据分布。

5.7 实时洞察

Accumulo 通过以下能力提供实时洞察： ✅ 监控性能指标 ✅ 跟踪资源使用情况 ✅ 实时检测问题

结合高效的数据处理能力和监控工具集成，可快速响应变化并确保系统最佳性能。

5.8 管理功能

Accumulo 提供强大的管理能力： ✅ 可靠的备份恢复机制 ✅ 智能的数据压缩策略 ✅ 灵活的系统配置选项 ✅ 全面的用户管理和资源控制，确保安全访问和最佳性能

6. Accumulo 客户端

现在我们已了解 Accumulo 的安装、数据模型、操作和特性，接下来探索通过 Java API 与 Accumulo 交互的客户端。

Accumulo Client API 允许以编程方式执行管理任务、查询数据和管理表。

6.1 Maven 依赖

首先在 pom.xml 中添加最新的 accumulo-core Maven 依赖：

<dependency>
    <groupId>org.apache.accumulo</groupId>
    <artifactId>accumulo-core</artifactId>
    <version>2.1.3</version>
</dependency>

此依赖提供了使用 Accumulo 所需的类和方法。

6.2 创建 Accumulo 客户端

创建与 Accumulo 交互的客户端：

AccumuloClient client = Accumulo.newClient()
  .to("accumuloInstanceName", "localhost:2181")
  .as("username", "password").build();

使用构建器方法初始化连接，指定 Accumulo 实例名称、ZooKeeper 主机详情、用户名和密码。

6.3 基础操作

使用客户端创建表：

client.tableOperations().create(tableName);

使用 BatchWriter 类（提供高性能批量写入）向表添加数据：

try (BatchWriter writer = client.createBatchWriter(tableName, new BatchWriterConfig())) {
    Mutation mutation1 = new Mutation("row1");
    mutation1.at()
      .family("column family 1")
      .qualifier("column family 1 qualifier 1")
      .visibility("public").put("value 1");

    Mutation mutation2 = new Mutation("row2");
    mutation2.at()
      .family("column family 1")
      .qualifier("column family 1 qualifier 2")
      .visibility("private").put("value 2");

    writer.addMutation(mutation1);
    writer.addMutation(mutation2);
}

每个条目由 Mutation 对象表示，包含列族、列限定符和可见性等列信息（如数据模型部分所述）。

使用 Scanner 类检索表数据：

try (var scanner = client.createScanner(tableName, new Authorizations("public"))) {
    scanner.setRange(new Range());
    for (Map.Entry<Key, Value> entry : scanner) {
        System.out.println(entry.getKey() + " -> " + entry.getValue());
    }
}

此代码扫描整个表，应用授权过滤器确保只获取公开可见的数据。

7. 结论

本文介绍了 Apache Accumulo——一个多功能、可扩展的数据库，在处理具有复杂访问需求的海量数据集方面表现出色。

其单元格级安全、迭代器和灵活数据模型等独特特性，使其成为需要安全高效数据管理的应用的理想选择，适用于实时分析、安全数据处理或大规模数据存储等场景。

我们首先探讨了安装配置步骤，然后深入理解其独特数据模型，最后熟悉了可用的操作和特性。

Persistence

REST

Security