Normalize a URL in Java | Baeldung

1. 引言

统一资源定位符(URL)在Web开发中占据重要地位，它们有助于定位并获取互联网上的资源[1]。然而，URL可能不一致或格式错误，这可能导致处理和获取所需材料时出现问题。

URL规范化将给定的数据转换为规范形式，确保一致性并促进操作性。在这个教程中，我们将研究使用Java进行URL规范化的不同方法。

2. 手动规范化

手动规范化涉及应用自定义逻辑来标准化URL。这个过程包括移除多余的元素，如不必要的查询参数和片段标识符，以提炼出URL的核心部分。假设我们有以下URL：

https://www.example.com:8080/path/to/resource?param1=value1&param2=value2#fragment

规范化的URL应如下所示：

https://www.example.com:8080/path/to/resource

注意，我们认为“?”之后的部分是不必要的，因为我们只对资源组感兴趣。但根据具体场景可能会有所不同。

3. 使用Apache Commons Validator库

Apache Commons Validator库中的UrlValidator类提供了一种方便的方法来验证和规范化URL。首先，我们需要确保项目包含Apache Commons Validator的依赖项，如下所示：

<dependency>
    <groupId>commons-validator</groupId>
    <artifactId>commons-validator</artifactId>
    <version>1.8.0</version>
    <scope>test</scope>
</dependency>

现在，我们可以实现一个简单的Java代码示例：

String originalUrl = "https://www.example.com:8080/path/to/resource?param1=value1&param2=value2#fragment";
String expectedNormalizedUrl = "https://www.example.com:8080/path/to/resource";

@Test
public void givenOriginalUrl_whenUsingApacheCommonsValidator_thenValidatedAndMaybeManuallyNormalized() {
    UrlValidator urlValidator = new UrlValidator();
    if (urlValidator.isValid(originalUrl)) {
        String normalizedUrl = originalUrl.split("\\?")[0];
        assertEquals(expectedNormalizedUrl, manuallyNormalizedUrl);
    } else {
        fail(originalUrl);
    }
}

在此示例中，我们首先创建一个UrlValidator对象，然后使用*isValid()*方法检查原始URL是否符合先前提到的验证规则。

如果URL有效，我们将手动对其进行标准化，移除查询参数和片段，特别是移除“?”之后的内容。最后，我们使用assertEquals()方法验证expectedNormalizedUrl和normalizedUrl的等效性。

4. 使用Java的URI类

Java的java.net包中的URI类提供了管理URI的其他功能，包括规范化。让我们看一个简单例子：

@Test
public void givenOriginalUrl_whenUsingJavaURIClass_thenNormalizedUrl() throws URISyntaxException {
    URI uri = new URI(originalUrl);
    URI normalizedUri = new URI(uri.getScheme(), uri.getAuthority(), uri.getPath(), null, null);
    String normalizedUrl = normalizedUri.toString();
    assertEquals(expectedNormalizedUrl, normalizedUrl);
}

在这个测试中，我们将originalUrl传递给URI对象，然后通过提取和重新组装特定组件（如协议、权威和路径）来获得规范化的URI。

5. 使用正则表达式

在Java中，正则表达式(Regex)[/java-regex-performance]是URL规范化的一个非常有用的工具。它们允许你指定许多匹配URL的模式并根据需要进行变换。下面是一个简单的代码示例：

@Test
public void givenOriginalUrl_whenUsingRegularExpression_thenNormalizedUrl() throws URISyntaxException, UnsupportedEncodingException {
    String regex = "^(https?://[^/]+/[^?#]+)";
    Pattern pattern = Pattern.compile(regex);
    Matcher matcher = pattern.matcher(originalUrl);

    if (matcher.find()) {
        String normalizedUrl = matcher.group(1);
        assertEquals(expectedNormalizedUrl, normalizedUrl);
    } else {
        fail(originalUrl);
    }
}

在上面的代码示例中，我们首先创建一个正则表达式pattern，匹配URL的协议、域名和路径部分。然后，我们将此模式转换为表示正则表达式的Pattern对象，并使用Matcher将原始URL与给定模式匹配。

此外，我们使用matcher.find()方法查找输入序列中与正则表达式定义的模式匹配的下一个子序列。**如果matcher.find()方法返回true，matcher.group(1)将获取与正则表达式匹配的子字符串。在这种情况下，它特别捕获正则表达式中括号内表示的第一组捕获内容（即规范化URL）。

6. 总结

总之，我们探讨了多种方法，如手动规范化、Apache Commons Validator库、Java的URI类以及正则表达式，用于在Java中进行URL规范化。

如往常一样，相关的源代码可以在GitHub上找到这里。

Persistence

REST

Security