Conversion from POJO to Avro Record | Baeldung

1. 概述

在 Java 应用程序中使用 Apache Avro 时，我们经常需要将普通 Java 对象（POJO）转换为相应的 Avro 对象。虽然手动设置每个字段完全可以接受，但使用泛型进行转换是更好且更易维护的方法。

本文将探讨如何将 POJO 转换为 Avro 对象。我们将采用对原始 Java 类结构更改具有鲁棒性的方法。

2. 直接方法

假设我们有一个代码区域，其中包含一个需要转换为 Avro 对象的 POJO。

让我们看看我们的 POJO：

public class Pojo {

    private final Map<String, String> aMap;
    private final long uid;
    private final long localDateTime;

    public Pojo() {
        aMap = new HashMap<>();

        uid = ThreadLocalRandom.current().nextLong();
        localDateTime = LocalDateTime.now().atZone(ZoneId.systemDefault()).toInstant().toEpochMilli();
        aMap.put("mapKey", "mapValue");
    }

    //getters
}

然后，我们有使用其特定方法进行映射的类：

public static Record mapPojoToRecordStraightForward(Pojo pojo){
    Schema schema = ReflectData.get().getSchema(pojo.getClass());
    GenericData.Record avroRecord = new GenericData.Record(schema);
    avroRecord.put("uid", pojo.getUid());
    avroRecord.put("localDateTime", pojo.getLocalDateTime());
    avroRecord.put("aMap", pojo.getaMap());

    return avroRecord;
}

如我们所见，直接方法涉及显式设置每个字段。仅通过查看这个解决方案，我们就能看到未来可能出现的问题。这个解决方案很脆弱，每当 POJO 结构更改时都需要更新。这不是最佳解决方案。

请注意，我们可以从 POJO 本身以外的来源获取架构；例如，我们也可以通过架构版本查找它。

3. 使用反射进行泛型转换

另一种方法是使用 Java 反射。此方法使用反射并遍历 POJO 中的每个字段。接下来，它在 Avro 记录中设置每个字段。

这看起来像这样：

public static Record mapPojoToRecordReflection(Pojo pojo) throws IllegalAccessException {
    Class<?> pojoClass = pojo.getClass();
    Schema schema = ReflectData.get().getSchema(pojoClass);
    GenericData.Record avroRecord = new GenericData.Record(schema);
    for (Field field : pojoClass.getDeclaredFields()) {
        field.setAccessible(true);
        avroRecord.put(field.getName(), field.get(pojo));
    }

之后，它遍历每个超类并在记录中设置这些字段：

    // Handle superclass fields
    Class<?> superClass = pojoClass.getSuperclass();
    while (superClass != null && superClass != Object.class) {
        for (Field field : superClass.getDeclaredFields()) {
            field.setAccessible(true);
            avroRecord.put(field.getName(), field.get(pojo));
        }
        superClass = superClass.getSuperclass();
    }

    return avroRecord;
}

最重要的是，此方法很简单，但对于大型对象或频繁调用时速度较慢。

4. 使用 Avro 的 ReflectDatumWriter 类

Avro 为这种情况提供了内置功能，即 ReflectDatumWriter 类。首先，我们从 POJO 类生成 Avro 架构。接下来，我们创建一个 ReflectDatumWriter 来序列化 POJO。然后，我们设置一个 ByteArrayOutputStream 和 BinaryEncoder 用于写入：

public static GenericData.Record mapPojoToRecordReflectDatumWriter(Object pojo) throws IOException {

    Schema schema = ReflectData.get().getSchema(pojo.getClass());
    ReflectDatumWriter<Object> writer = new ReflectDatumWriter<>(schema);
    ByteArrayOutputStream out = new ByteArrayOutputStream();
    BinaryEncoder encoder = EncoderFactory.get().binaryEncoder(out, null);

接下来，我们将 POJO 序列化为二进制格式：

    writer.write(pojo, encoder);
    encoder.flush();

最后，我们创建一个 BinaryDecoder 来读取序列化数据，并使用 GenericDatumReader 将二进制数据反序列化为 GenericData.Record：

    BinaryDecoder decoder = DecoderFactory.get().binaryDecoder(out.toByteArray(), null);
    GenericDatumReader<GenericData.Record> reader = new GenericDatumReader<>(schema);

    return reader.read(null, decoder);
}

此方法使用 Avro 的序列化和反序列化功能将 POJO 转换为 Avro 记录。请注意，这种转换版本对于复杂对象更高效，但对于简单对象会引入复杂性。

5. 总结

在本文中，我们探讨了在 Java 中将 POJO 转换为 Avro 记录的不同方法。我们从直接方法开始，虽然简单，但在可维护性和灵活性方面存在缺点。接下来，我们分析了使用 Java 反射的解决方案。这更加健壮，更容易适应类结构的变化。但是，对于大型对象或频繁调用，它存在性能问题。

最后，我们提出了一个使用 Avro 的 ReflectDatumWriter 类的解决方案。此类适用于此特定目的，是我们需求的最合适选择。此外，这受益于 Avro 的内部优化，推荐用于复杂场景。

总而言之，评估我们需求的具体背景很重要。这样，我们就可以选择最适合我们性能、可维护性和可扩展性标准的方法。