• 【数据结构】【项目】BitMap？40亿电话号码如何快速去重？

    在这里插入图片描述

    目录

    前言

    40亿电话号码如何快速去重？我们往往会想到bitmap

    数据结构中的 Bitmap 是一种位图索引非常高效的数据结构，用于存储处理大规模数据的位信息，其中每个位对应于一个元素，如果位为1，则表示该元素存在于集合中，否则表示不存在。如果要表示一个包含 10 个元素的数据集，可以创建一个包含 10 位的位数组。

    在这里插入图片描述

    Bitmap 支持插入和查找。插入操作将对应位置的位从 0 设置为 1，将元素添加到数据集中。查找操作通过检查相应位置的位来确定元素是否存在于数据集中。如果位为 1，表示元素存在；如果为 0，表示元素不存在。我们把数字遍历一遍计算放到数组后，就已经是顺序存放的了，遍历取到的就是已经排序后的结果。

    Bitmap 非常高效，时间复杂度是O(n)。这是因为位操作本身非常快，并且不受数据集大小的限制。并且Bitmap空间占用非常小，可以大大减小内存消耗。

    Bitmap数据结构在搜索引擎、数据库、网络协议等领域都有广泛的应用：

    布隆过滤器（Bloom Filter）：可以用于快速检查一个元素是否属于一个大型数据集的概率数据结构。

    数据库索引：Bitmap 索引可以用于加速数据库查询操作。

    网络流量分析：Bitmap 可以用于跟踪网络流量中的 IP 地址、用户 ID 等信息。

    此外，Bitmap 适用于离散的、小范围的整数数据。对于连续范围或具有大范围整数的数据集，Bitmap 可能会变得非常大，这种情况下，其他数据结构比如哈希表或树可能更合适。

    优点：

    运算效率高，不需要进行比较和移位。

    空间占用少。

    缺点：

    所有的数据不能重复。即不可对重复的数据进行排序和查找。

    只有当数据比较密集时才有优势。

    实现

    给定一个bit数组：

        private long[] bits;

    • 1

    当我们需要插入一个数 num，需要计算这个 num在整个bit数组中应该在哪个位置：

    
    /**
     * 得到long[]的index
     * index表示num中包含多少个64bit可以被整除
     */
    public int getIndex(long num){
        // num/64
        return (int) num / BIT_SIZE;
    }

    /**
     * 得到num在64bit数组上的分布
     * position表示num中整除了64bit后还余下多少bit
     */
    public long getPosition(long num){
        // num%64
        return (long) num % BIT_SIZE;
    }

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18

    我们需要知道一个num能映射出多少个bit。

    首先long类型相当于64bit，num整除64，计算num中有多少个long，得到 index。而后再num%64，取整除64后的余数，得到position。这两者加起来其实就是num的总bit数，他们共同能够索引到num能映射到的bit位。

    我们有插入函数如下：

        /**
     * 添加num
     * 根据num包含多少个long确定在bitmap中的index，根据num÷取余确定在bitmap中除不尽的bit占用
     */
    public void add(long num){
        int index = getIndex(num);
        long position = getPosition(num);
        // 将1左移position位后，position那个位置就是1，
        // 然后数组的index位置做与运算，这样index索引中的position位置就替换成1了
        bits[index] = bits[index] | (1 << position);
    }

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11

    只要确定的num的bit占用，我们把数组中对应bit位置置为1即可，这个位置就唯一代表我们插入的num。查询也是同理。

     
    /**
     * 判断指定数字num是否存在
     */
    public boolean contains(int num){
        int index = getIndex(num);
        long position = getPosition(num);
        // 将1左移position后，position那个位置就是1，然后和以前的数据做与运算，判断是否为0即可
        return (bits[index] & 1 << position) != 0;
    }

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    完整代码

    我们添加了测试代码，首先电话号码是11位的数字，但是你会发现对于java来说11位数字太长太大了，没办法直接存。我们把11位的电话号码拆分成前后两部分，分成两个bitmap来分别判断，当电话号码的两部分存在重复则认为这个电话号码是重复的。

    完整代码如下：

    BitMap.java

    package org.example.bitmap;

import java.util.BitSet;
import java.util.Random;

/**
 * 位图
 */
public class BitMap {

    private long[] bits;

    private int BIT_SIZE =64;

    public BitMap() {
        bits = new long[93750000];
    }

    public BitMap(int n) {
        bits = new long[n];
    }

 
    /**
     * 添加num
     * 根据num包含多少个long确定在bitmap中的index，根据num÷取余确定在bitmap中除不尽的bit占用
     */
    public void add(long num){
        int index = getIndex(num);
        long position = getPosition(num);
        // 将1左移position位后，position那个位置就是1，
        // 然后数组的index位置做与运算，这样index索引中的position位置就替换成1了
        bits[index] = bits[index] | (1 << position);
    }
 
    /**
     * 判断指定数字num是否存在
     */
    public boolean contains(int num){
        int index = getIndex(num);
        long position = getPosition(num);
        // 将1左移position后，position那个位置就是1，然后和以前的数据做与运算，判断是否为0即可
        return (bits[index] & 1 << position) != 0;
    }

    /**
     * 重置num在位图的索引位置
     */
    public void clear(long num){
        int index = getIndex(num);
        long position = getPosition(num);
        // 对1进行左移position个位置，然后取反，最后与byte[index]进行与操作
        bits[index] &= ~(1 << position);
    }

    /**
     * 得到long[]的index
     * index表示num中包含多少个64bit可以被整除
     */
    public int getIndex(long num){
        // num/64
        return (int) num / BIT_SIZE;
    }

    /**
     * 得到num在64bit数组上的分布
     * position表示num中整除了64bit后还余下多少bit
     */
    public long getPosition(long num){
        // num%64
        return (long) num % BIT_SIZE;
    }

    public int cardinality() {
        int sum = 0;
        for (int i = 0; i < bits.length; i++) {
            sum += Long.bitCount(bits[i]);
        }
        return sum;
    }

    public static void main(String[] args) {
        // 假设有40亿手机号
        long numberOfPhoneNumbers = 4_000_000_000L;
        // 存储前3位，最多100个可能的组合
        BitMap firstDigitsSet = new BitMap(100);
        // 存储后8位，最多 100_000_000 个可能的组合
        BitMap lastDigitsSet = new BitMap(100_000_000);

        long time = System.currentTimeMillis();

        // 模拟手机号数据，将已存在的手机号设置为true
        for (long i = 0; i < numberOfPhoneNumbers; i++) {
            // 手机号
            String phoneNumber = generateRandomPhoneNumber();

            // 提取手机号的前3位和后8位
            String firstDigits = phoneNumber.substring(0, 3);
            String lastDigits = phoneNumber.substring(3);
            int firstDigitsIndex = Integer.parseInt(firstDigits);
            int lastDigitsIndex = Integer.parseInt(lastDigits);

            // 检查前2位是否重复
            if (firstDigitsSet.contains(firstDigitsIndex)) {
                // 检查后9位是否重复
                if (lastDigitsSet.contains(lastDigitsIndex)) {
                    // 打印重复的号码
                    StringBuilder sb = new StringBuilder(firstDigits);sb.append(lastDigits);
                    System.out.println("重复的号码：" + sb.toString());
                } else {
                    // 不重复则存储号码后9位
                    lastDigitsSet.add(lastDigitsIndex);
                }

            } else {
                firstDigitsSet.add(firstDigitsIndex);
            }

        }

        time = System.currentTimeMillis() - time;
        System.out.println(time);
    }


    /**
     * 随机电话号码生成
     */
    private static String generateRandomPhoneNumber() {
        Random random = new Random();

        // 随机生成国家和地区代码（假设国家代码为+1，地区代码为区号）
        String countryCode = "+1";
        // 随机生成三位区号
        String areaCode = String.format("%03d", random.nextInt(1000));
        // 随机生成手机号码三位前缀、四位后缀
        String prefix = String.format("%03d", random.nextInt(1000));
        String suffix = String.format("%04d", random.nextInt(10000));

        // 拼接生成的手机号码
        String phoneNumber = countryCode + areaCode + prefix + suffix;

        return phoneNumber;
    }

}



    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85
    • 86
    • 87
    • 88
    • 89
    • 90
    • 91
    • 92
    • 93
    • 94
    • 95
    • 96
    • 97
    • 98
    • 99
    • 100
    • 101
    • 102
    • 103
    • 104
    • 105
    • 106
    • 107
    • 108
    • 109
    • 110
    • 111
    • 112
    • 113
    • 114
    • 115
    • 116
    • 117
    • 118
    • 119
    • 120
    • 121
    • 122
    • 123
    • 124
    • 125
    • 126
    • 127
    • 128
    • 129
    • 130
    • 131
    • 132
    • 133
    • 134
    • 135
    • 136
    • 137
    • 138
    • 139
    • 140
    • 141
    • 142
    • 143
    • 144
    • 145
    • 146
    • 147
    • 148

    我们直接for循环把40亿个电话生成放入bitmap中，如果bitmap中已存在就打印，不存在则插入。

    运行结果如下：

    在这里插入图片描述

    40亿太多了没等运行完，执行过程中控制台一直在打印，其实速度非常快

    参考资料

    https://blog.csdn.net/caox_nazi/article/details/95340537

    https://blog.csdn.net/jj89929665/article/details/123539866

  • 相关阅读:
    Ubuntu 安装 Zotero, 并导入原有数据库，然后同步账户
    小学生python游戏编程arcade----基本知识1
    k8s的pod内部打包工程镜像
    全球与中国液体壁纸行业需求趋势及投资策略分析报告2022-2028年
    Go ：针对高复杂度表达式的各种测试(附完整源码)
    MySQL为什么不推荐使用in
    Linux - nm命令
    使用 FastGPT 构建高质量 AI 知识库
    Python + Django4 搭建个人博客（三）: 搭建虚拟环境和创建项目
    Docker镜像与容器的工作原理
  • 原文地址：https://blog.csdn.net/fisherish/article/details/132846135