在本文中，我们提出了一种新的联合实例和语义分割方法，称为JSNet，以同时解决3D点云的实例和语义分割。首先，我们建立了一个有效的骨干网络来从原始点云中提取鲁棒的特征。其次，为了获得更多的判别特征，提出了一种点云特征融合模块来融合骨干网络的不同层特征。此外，开发了一个联合实例语义分割模块，将语义特征转换为实例嵌入空间，然后将转换后的特征与实例特征进一步融合，以方便实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值偏移聚类来生成实例预测。因此，我们在大规模3D室内点云数据集S3DIS和部分数据集ShapeNet上评估提出的JSNet，并将其与现有方法进行比较。实验结果表明，我们的方法在3D实例分割中优于state-of-theart方法，显着改善了3D语义预测，并且我们的方法也有利于部分分割。这项工作的源代码可在https://github.com/dlinzhao/JSNet获得。
语义分割是用于分割场景中所有信息区域并将每个区域分类为特定类别的任务。实例分割不同于语义分割，因为同一类的不同对象会有不同的标签。这两项任务在现实世界的场景中都有广泛的应用，例如自动驾驶和基于移动的导航。在二维图像中，这两项任务取得了显着的成果（Chen et al 2018; He et al 2017; Li et al 2019）。然而，3D语义和实例分割的研究仍然面临着巨大的挑战，例如，大规模的噪声数据处理、高计算量以及内存消耗。