LeetCode609-在系统中查找重复文件

发表于 | 分类于

题目链接

英文链接：https://leetcode.com/problems/find-duplicate-file-in-system/

中文链接：https://leetcode-cn.com/problems/find-duplicate-file-in-system/

题目详述

给定一个目录信息列表，包括目录路径，以及该目录中的所有包含内容的文件，您需要找到文件系统中的所有重复文件组的路径。一组重复的文件至少包括二个具有完全相同内容的文件。

输入列表中的单个目录信息字符串的格式如下：

1
"root/d1/d2/.../dm f1.txt(f1_content) f2.txt(f2_content) ... fn.txt(fn_content)"

这意味着有 n 个文件（f1.txt, f2.txt … fn.txt 的内容分别是 f1_content, f2_content … fn_content）在目录 root/d1/d2/.../dm 下。注意：n>=1 且 m>=0。如果 m=0，则表示该目录是根目录。

该输出是重复文件路径组的列表。对于每个组，它包含具有相同内容的文件的所有文件路径。文件路径是具有下列格式的字符串：

1
"directory_path/file_name.txt"

示例 1：

1
2
3
4
输入：
["root/a 1.txt(abcd) 2.txt(efgh)", "root/c 3.txt(abcd)", "root/c/d 4.txt(efgh)", "root 4.txt(efgh)"]
输出：  
[["root/a/2.txt","root/c/d/4.txt","root/4.txt"],["root/a/1.txt","root/c/3.txt"]]

注：

  1. 最终输出不需要顺序。
  2. 您可以假设目录名、文件名和文件内容只有字母和数字，并且文件内容的长度在 [1，50] 的范围内。
  3. 给定的文件数量在 [1，20000] 个范围内。
  4. 您可以假设在同一目录中没有任何文件或目录共享相同的名称。
  5. 您可以假设每个给定的目录信息代表一个唯一的目录。目录路径和文件信息用一个空格分隔。

超越竞赛的后续行动：

  1. 假设您有一个真正的文件系统，您将如何搜索文件？深度搜索还是广度搜索？
  2. 如果文件内容非常大（GB级别），您将如何修改您的解决方案？
  3. 如果每次只能读取 1 kb 的文件，您将如何修改解决方案？
  4. 修改后的解决方案的时间复杂度是多少？其中最耗时的部分和消耗内存的部分是什么？如何优化？
  5. 如何确保您发现的重复文件不是误报？

题目详解

  • 遍历字符串数组，分割字符串，存入哈希表。
  • 最后遍历哈希表的 values 集合，长度大于 1 则说明存在重复，将其加入到结果集中。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
public class LeetCode_00609 {

    public List<List<String>> findDuplicate(String[] paths) {
        Map<String, List<String>> map = new HashMap<>();
        for (String path : paths) {
            String[] split = path.split(" ");
            for (int i = 1; i < split.length; ++i) {
                int index = split[i].lastIndexOf('(');
                String key = split[i].substring(index + 1, split[i].length() - 1);
                String value = split[0] + "/" + split[i].substring(0, index);
                if (!map.containsKey(key)) {
                    map.put(key, new ArrayList<>());
                }
                map.get(key).add(value);
            }
        }
        List<List<String>> res = new ArrayList<>();
        for (List<String> list : map.values()) {
            if (list.size() > 1) {
                res.add(list);
            }
        }
        return res;
    }
}

进阶问题：

  1. 取决于搜索的深度和广度。若搜索的深度小于广度，DFS 比较合适，否则 BFS 比较合适。这样会占用更少的内存。
  2. 运用元数据，比如文件大小。文件大小不同，内容肯定不同。我们对拥有同样大小的文件进行哈希（例如 MD5）。只有哈希值相同，我们才比较文件内容，判断是否相同。
  3. 解决方案是相同的。对读入的数据进行哈希。
  4. 时间复杂度为 O(nk)，k 为字符串长度。哈希是最耗时最消耗内存的部分。
  5. 运用几个过滤器，文件大小、哈希值和逐字节比较。