• FastDFS分布式文件系统搭配nginx的安装、配置与使用

    FastDFS介绍：

    FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。

    特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

    FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。

    FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

    FastDFS主要内容：

    tracker：追踪者服务器，主要用于协调调度，可以起到负载均衡的作用，记录storage的相关状态信息。

    storage：存储服务器，用于保存文件以及文件的元数据信息。

    group：组，同组节点提供冗余备份，不同组用于扩容。

    mata data：文件的元数据信息，比如长宽信息，图片后缀，视频的帧数等。

    FastDFS安装：

    第一步：基础环境准备

    yum install gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget  git

    第二步：主体安装，主要安装以下内容

    • libfatscommon：FastDFS分离出的一些公用函数包
    • FastDFS：FastDFS本体
    • fastdfs-nginx-module：FastDFS和nginx的关联模块
    • nginx：发布访问服务

    安装libfatscommon：

    1. unzip libfastcommon-master.zip
    2. cd libfastcommon-master/
    3. ./make.sh
    4. ./make.sh install

    安装FastDFS：

    1. unzip fastdfs-master.zip 
    2. cd fastdfs-master/
    3. ./make.sh 
    4. ./make.sh install

    安装fastdfs-nginx-module：

    1. unzip fastdfs-nginx-module-master.zip 
    2. cp fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs

    安装nginx，设置安装目录，添加FastDFS与nginx关联的模块，并且添加ssl模块方便后期配置HTTPS域名访问:

    1. tar -zxvf nginx-1.22.0.tar.gz 
    2. cd nginx-1.22.0/
    3. ./configure --prefix=/usr/local/nginx --add-module=/data/fastdfs-nginx-module-master/src --with-http_ssl_module
    4. make
    5. make install

    到此，所有的安装已经结束，但是配置文件还没配置，所以所有的服务都不能启动，不然就会报错。

    FastDFS配置：

    配置：1个Tracker+3个Storage，分别用来存放图片、视频、其他文件。

    数据文件存放目录：/data/fileServer/，在该文件夹下创建以下目录：

    1. cd /data/fileServer/
    2. mkdir client storage tracker
    3. cd storage
    4. mkdir image video file

    配置文件放置目录：/etc/fdfs/

    配置tracker.conf，主要配置如下，其他配置使用默认配置即可：

    1. # tracker server 服务端口 
    2. port=22122
    3. # 存放数据和日志的基础路径
    4. base_path=/data/fileServer/tracker
    5. # 文件上传选择组的策略
    6. # 0: 轮询
    7. # 1: 指定组
    8. # 2: 均衡，选择空间空闲最大的组
    9. store_lookup=2
    10.  
    11. # 当store_lookup为1时，必须指定组的名字，该组名字必须时真实存在的
    12. # 如果store_lookup如果是0或2，则此参数无效 
    13. store_group=image
    14. # tracker server的HTTP端口
    15. http.server_port=8080

    配置storage_image.conf、storage_video.conf和stroage_file.conf，主要配置如下，其他配置使用默认配置即可：

    1. # 组名称
    2. group_name=image
    3. # 组服务端口
    4. port=23000
    5. # 该组存放数据和日志的路径
    6. base_path=/data/fileServer/storage/image
    7. store_path0=/data/fileServer/storage/image
    8. # 结合nginx的一个对外服务端口号，与nginx监听端口保持一致
    9. http.server_port=8888
    1. # 组名称
    2. group_name=video
    3. # 组服务端口
    4. port=23001
    5. # 该组存放数据和日志的路径
    6. base_path=/data/fileServer/storage/video
    7. store_path0=/data/fileServer/storage/video
    8. # 结合nginx的一个对外服务端口号，与nginx监听端口保持一致
    9. http.server_port=8888
    1. # 组名称
    2. group_name=file
    3. # 组服务端口
    4. port=23002
    5. # 该组存放数据和日志的路径
    6. base_path=/data/fileServer/storage/file
    7. store_path0=/data/fileServer/storage/file
    8. # 结合nginx的一个对外服务端口号，与nginx监听端口保持一致
    9. http.server_port=8888

    配置client.conf，主要配置如下，其他配置使用默认配置即可：

    1. # 存储日志文件的路径
    2. base_path=/data/fileServer/client
    3. # 这里建议使用公网IP，方便从互联网上传文件
    4. tracker_server=49.232.105.121:22122
    5. # tracker服务器的 http端口号，必须等于tracker.conf中的http.server_port值
    6. http.tracker_server_port=8080

    到这里，FastDFS文件服务系统已经配置成功了，此时可以启动服务，在服务器上面操作上传文件了。

    启动服务：

    1. /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf 
    2. /usr/bin/fdfs_storaged /etc/fdfs/storage_image.conf
    3. /usr/bin/fdfs_storaged /etc/fdfs/storage_video.conf
    4. /usr/bin/fdfs_storaged /etc/fdfs/storage_file.conf

    上传文件，根据配置文件的配置，上传组策略采用均衡（load balance）方式：

    /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /data/des.png

    文件上传成功返回信息如下：

    file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

    图片可以上传了，但是如果通过浏览器查看，这个时候就需要配置插件mod_fastdfs和nginx。

    配置mod_fastdfs.conf，主要配置如下，其他配置使用默认配置即可：

    1. # tracker server的ip和端口
    2. tracker_server=49.232.105.121:22122
    3. # 是否在访问地址中加入组信息，比如${group_name}/M00/00/00/xxx
    4. url_have_group_name = true
    5.  
    6. # 分组数量，必须与下方group settings中group组实际数一致，不然浏览器查看时会报404
    7. # 如果下方group settings中没有设置group组，则为使用单一组，设置为0
    8. group_count = 3
    9.  
    10. # 组设置，主要包括组名字、端口、存储数量、存储地址，与storage配置文件中的信息保持一致
    11. [group1]
    12. group_name=image
    13. storage_server_port=23000
    14. store_path_count=1
    15. store_path0=/data/fileServer/storage/image
    16.  
    17. [group2]
    18. group_name=video
    19. storage_server_port=23001
    20. store_path_count=1
    21. store_path0=/data/fileServer/storage/video
    22.  
    23. [group3]
    24. group_name=file
    25. storage_server_port=23002
    26. store_path_count=1
    27. store_path0=/data/fileServer/storage/file

    配置nginx，添加以下端口监听：

    1. #文件服务器
    2. server {
    3.     listen       8888;
    4.     server_name 49.232.105.121;
    5.     location ~/image|video|file/ {
    6.         ngx_fastdfs_module;
    7.     }
    8.     error_page   500 502 503 504  /50x.html;
    9.     location = /50x.html {
    10.        root   html;
    11.     }
    12.  
    13. }

    另有两个配置文件，http.conf和mime.types，使用默认配置即可，无需修改。

    启动nginx：

    1. cd /usr/local/nginx/sbin
    2. ./nginx

    通过浏览器查看刚才上次的图片：

    http://49.232.105.121:8888/file/M00/00/00/rBUAD2NkfdmAFH4aAAygMuNF7cs093.png

    Java客户端操作FastDFS的使用：

    第一步：配置依赖

    1. <dependency>
    2.     <groupId>cn.bestwugroupId>
    3.     <artifactId>fastdfs-client-javaartifactId>
    4.     <version>1.27version>
    5. dependency>

    第二步：配置fdfsClient_config.properties

    1. connect_timeout = 2
    2. network_timeout = 30
    3. charset = UTF-8
    4. http.anti_steal_token = no
    5. http.secret_key = FastDFS1234567890
    6.  
    7. http.tracker_http_port = 8080
    8. tracker_server =49.232.105.121:22122

    第三步：测试用例

    1. package cn.tongmap.client;
    2.  
    3. import java.awt.image.BufferedImage;
    4. import java.io.BufferedInputStream;
    5. import java.io.File;
    6. import java.io.FileInputStream;
    7. import java.io.IOException;
    8. import java.util.Arrays;
    9.  
    10. import javax.imageio.ImageIO;
    11.  
    12. import org.csource.common.MyException;
    13. import org.csource.common.NameValuePair;
    14. import org.csource.fastdfs.ClientGlobal;
    15. import org.csource.fastdfs.StorageClient;
    16. import org.csource.fastdfs.StorageServer;
    17. import org.csource.fastdfs.TrackerClient;
    18. import org.csource.fastdfs.TrackerServer;
    19.  
    20. public class FastDFSClient {
    21. 	private static final String CONF_FILENAME = new FastDFSClient().getClass().getClassLoader().getResource("fdfsClient_config.properties").getPath();
    22. 	static {
    23. 		try {
    24. 			// 加载配置文件
    25. 			ClientGlobal.init(CONF_FILENAME);
    26. 		} catch (IOException e) {
    27. 			e.printStackTrace();
    28. 		} catch (MyException e) {
    29. 			e.printStackTrace();
    30. 		}
    31. 	}
    32. 	
    33. 	/**
    34. 	 * 上传图片到指定的group
    35. 	 * @param uploadFilePath
    36. 	 * @param width
    37. 	 * @param height
    38. 	 * @param groupName
    39. 	 * @return
    40. 	 * @throws Exception
    41. 	 */
    42. 	public static String[] uploadFileSpecifyGroup(String uploadFilePath, int width, int height, String groupName) throws Exception {
    43.         String[] results = null;  
    44.         String fileExtName = "";  
    45.         if (uploadFilePath.contains(".")) {  
    46.             fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
    47.         } else {  
    48.             return results;  
    49.         }  
    50.         //建立连接  
    51. 		TrackerClient trackerClient = new TrackerClient();
    52. 	    TrackerServer trackerServer = trackerClient.getConnection();
    53. 	    StorageServer storageServer = null;
    54. 	    StorageClient storageClient = new StorageClient(trackerServer, storageServer);
    55.         
    56. 	    FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
    57. 	    byte[] file_buff = null;
    58. 	    if(fileInputStream != null){
    59. 	    	int len = fileInputStream.available();
    60. 	    	file_buff = new byte[len];
    61. 	    	fileInputStream.read(file_buff);
    62. 	    }
    63. 	    
    64. 	    //设置元信息 
    65. 	    NameValuePair[] metas = new NameValuePair[3];
    66. 	    metas[0] = new NameValuePair("width", "" + width);
    67. 	    metas[1] = new NameValuePair("heigth", "" + height);
    68. 	    metas[2] = new NameValuePair("author", "bss");
    69.         
    70. 	    results = storageClient.upload_file(groupName, file_buff, fileExtName, metas);
    71. 	    System.out.println(Arrays.toString(results));
    72. 	    
    73.         trackerServer.close();  
    74.         fileInputStream.close();
    75.         return results;       
    76.     }
    77. 	
    78. 	/**
    79. 	 * 上传图片，load balance
    80. 	 * @param uploadFilePath
    81. 	 * @param width
    82. 	 * @param height
    83. 	 * @return
    84. 	 * @throws Exception
    85. 	 */
    86. 	public static String[] uploadFileBalance(String uploadFilePath, int width, int height) throws Exception {
    87.         String[] results = null;  
    88.         String fileExtName = "";  
    89.         if (uploadFilePath.contains(".")) {  
    90.             fileExtName = uploadFilePath.substring(uploadFilePath.lastIndexOf(".") + 1);  
    91.         } else {  
    92.             return results;  
    93.         }  
    94.         //建立连接  
    95. 		TrackerClient trackerClient = new TrackerClient();
    96. 	    TrackerServer trackerServer = trackerClient.getConnection();
    97. 	    StorageServer storageServer = null;
    98. 	    StorageClient storageClient = new StorageClient(trackerServer, storageServer);
    99.         
    100. 	    FileInputStream fileInputStream = new FileInputStream(new File(uploadFilePath));
    101. 	    byte[] file_buff = null;
    102. 	    if(fileInputStream != null){
    103. 	    	int len = fileInputStream.available();
    104. 	    	file_buff = new byte[len];
    105. 	    	fileInputStream.read(file_buff);
    106. 	    }
    107. 	    
    108. 	    //设置元信息 
    109. 	    NameValuePair[] metas = new NameValuePair[3];
    110. 	    metas[0] = new NameValuePair("width", "" + width);
    111. 	    metas[1] = new NameValuePair("heigth", "" + height);
    112. 	    metas[2] = new NameValuePair("author", "bss");
    113. 	    
    114. 	    results = storageClient.upload_file(uploadFilePath, fileExtName, metas);
    115. 	    System.out.println(Arrays.toString(results));
    116. 	    
    117.         trackerServer.close();  
    118.         fileInputStream.close();
    119.         return results;       
    120.     }
    121. 	public static void main(String[] args) throws Exception{
    122. 		String image = "D://Perfect Match.jpg";
    123. 		BufferedInputStream bufInputStream = new BufferedInputStream(new FileInputStream(new File(image)));
    124. 		BufferedImage bi = ImageIO.read(bufInputStream);
    125.     	int width = bi.getWidth();
    126.     	int height = bi.getHeight();
    127.     	uploadFileSpecifyGroup(image, width, height, "image");
    128.     	uploadFileBalance(image, width, height);
    129. 	}
    130. }

    FastDFS安装包，各个配置文件的配置，以及Java客户端操作FastDFS的使用。

  • 相关阅读:
    JVM垃圾回收相关概念
    Objective-C 基础教程第六章,源文件组织
    目标检测网络系列——YOLO V1
    前端周刊第二十期
    Qt utc时间字符串转为本地时间
    在Flask中处理后台任务
    TI 毫米波雷达开发内容拆解分析
    Git Commit Message规范
    十三、Mysql - GTID主从复制 - MHA架构 - 数据库优化
    c++_learning-进阶部分
  • 原文地址：https://blog.csdn.net/kzhzhang/article/details/127694706