DeepPersonality框架使用记录

DeepPersonality框架使用记录

github地址：https://github.com/liaorongfan/DeepPersonality
提供的处理好的小样本数据集1.5G，我下不下来，所以按照作者给的另一个文档自己做处理
文档地址：https://colab.research.google.com/drive/1_YThB_O1nO4y9zK6AHOUEx-a2zb_ba9y?usp=sharing#scrollTo=kmTcOCDFA2w8

分别在autoDL平台（ubuntu）和西电的高算平台(centos)进行实验

首先是 pip install -r requirements.txt ,按照作者给的版本1.9.0的torch算力的极限是70，后续我在运行的过程中遇到了版本太低，需要升级pytorch,因为使用的3080的算力是85，然后我按照下面的版本重新安装。
torch1.11.0
torchvision0.12.0
torchaudio==0.11.0
然后下载数据集后放到/dataset文件夹下，执行Visual data processing部分命令，一般不会出错
到了Audio data processing这一步会遇到librosa和ffmpeg问题
对于ubuntu，可以看这个链接ffmpeg
对于librosa:我遇到问题如下

OSError: sndfile library not found
  File "/home/22031212217/.conda/envs/DeepPersonality_main/lib/python3.8/site-packages/librosa/core/audio.py", line 8, in <module>
    import soundfile as sf
  File "/home/22031212217/.conda/envs/DeepPersonality_main/lib/python3.8/site-packages/soundfile.py", line 189, in <module>
    _snd = _ffi.dlopen(_libname)
OSError: cannot load library 'libsndfile.so': libsndfile.so: cannot open shared object file: No such file or directory

解决方案：先updata一下，然后apt-get install libsndfile1 即可

但是在centos上一直没成功，因为西电高算平台不支持yum软件安装，目前看到可能有用的方法：
https://zhuanlan.zhihu.com/p/559818170
执行conda install -c roebel pysndfile命令，报错

```bash
CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://conda.anaconda.org/roebel/linux-64/current_repodata.json>
Elapsed: -

An HTTP error occurred when trying to retrieve this URL.
HTTP errors are often intermittent, and a simple retry will get you on your way.
'https://conda.anaconda.org/roebel/linux-64'

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

这个库有类似的其实应该是可以直接yum安装的，但是因为我是学校的高算平台不支持yum，因此最后找到的方法是conda install -c roebel pysndfile，这个pysndfile在pip也有，在国内的conda源里面没有，anaconda.org里面有
先尝试执行conda install -c roebel pysndfile
报错CondaHTTPError: HTTP 000 CONNECTION FAILED for url ，但是查看源conda config --show-sources，已经是默认国内源，猜测应该是因为国内源没有这个库，所以去国外源下，但是学习平台不能翻墙所以报错，那就再试试下源码包
下下来之后解压，没有可编译文件，放弃，再去试试pip
执行pip install pysndfile，报错ERROR: Failed building wheel for pysndfile，又尝试自己下载tar.gz包进行安装，同样问题的报错
最后没解决这个问题

又尝试使用全程使用conda安装，报错ImportError: libffi.so.7: cannot open shared object file: No such file or directory
网上解决办法是https://www.jianshu.com/p/20e92799504d，但是需要管理员权限执行命令，参考https://blog.csdn.net/duguwanglong/article/details/107662421 ，位置应该在自己家目录安装conda 虚拟环境位置下面
我系统里是so.8文件，软连接上去还是报错