分佈式文件系統如何做？終於有個人把分佈式文件上傳講清楚了
- 2021 年 5 月 21 日
- 筆記
- 分佈式, 架構
FastDFS概念
- FastDFS是開源的輕量級分佈式文件系統,實現文件管理, 主要功能:
- 文件存儲
- 文件同步
- 文件訪問(文件上傳,文件下載)
- 解決了大容量存儲和負載均衡的問題,特別適合以文件為載體的在線服務:相冊網站,視頻網站
- FastDFS為互聯網量身定製,充分考慮了冗餘備份,負載均衡,線性擴容等機制,並注重高可用,高性能等指標,使用FastDFS可以很方便地搭建一套高性能的文件服務器集群提供文件上傳,下載等服務
FastDFS文件系統架構
- FastDFS服務端有兩個角色:
- 跟蹤器(tracker): 主要做調度工作,在訪問上起負載均衡作用
- 跟蹤器和存儲節點都可以由一台服務器或多台服務器構成,跟蹤器和存儲節點中的服務器可以隨時增加或下線而不會影響下線服務.
- 跟蹤器中所有服務都是對等的,可以根據服務器的壓力情況隨時增加或減少
- 存儲節點(storage): 存儲文件,完成文件管理的所有功能
- 就是這樣的存儲
- 同步存儲接口
- 提供存儲接口
- FastDFS同時對文件metadata進行管理,文件metadata是文件屬性列表,可以包含多個鍵值對
- 文件metadata: 文件的相關屬性,以鍵值對方式表示
- 為了支持大容量,存儲節點採用分卷的組織方式
- 存儲系統由一個卷或多個卷組成,卷與卷之間的文件是相互獨立的,所有卷的文件容量累加就是整個存儲系統的文件容量
- 一個卷可以由一台或多台存儲服務器組成,一個卷下的存儲服務器中文件都是相同的,卷中的多台服務器起到了冗餘備份和負載均衡作用
- 在卷中增加服務器時,同步已有的文件由系統自動完成,同步完成後,系統自動將新增服務器切換到線上提供服務
- 當存儲空間不足或即將耗盡時,可以動態添加卷,只需要增加一台或多台服務器,配置一個新的卷,這樣擴大存儲系統的容量
- FastDFS 文件標識分為兩部分:
高可用要有崩潰恢復的能力
服務集群要有同步的功能
否則就要有負載均衡
上傳交互過程
- client詢問tracker上傳到的storage,不需要附加參數
- tracker返回一台可用的storage
- client直接和storage通訊完成文件上傳
client為使用FastDFS的調用方,client也是一台服務器,對tracker和對storage的調用均為服務器間的調用
下載交互過程
- client詢問tracker下載文件的storage,參數為文件標識(卷名和文件名)
- tracker返回一台可用的storage
- client直接和storage通訊完成文件下載
client為使用FastDFS的調用方,client也是一台服務器,對tracker和對storage的調用均為服務器間的調用
FastDFS結合Nginx
- 使用FastDFS部署分佈式文件系統時,通過FastDFS的客戶端API進行文件的上傳,下載,刪除等操作,同時通過FastDFS和HTTP服務器來提供HTTP服務.但是FastDFS的HTTP服務較為簡單,無法提供負載均衡等高性能的服務.需要使用FastDFS的Nginx模塊彌補這一缺陷
- FastDFS通過tracker服務器,將文件放在storage服務器存儲,但是同組之間的服務器需要複製文件,有延遲的問題,可以通過fastdfs-nginx-module可以重定向連接到源服務器取文件,避免客戶端由於複製延遲的問題,出現錯誤
基於Docker安裝FastDFS
# 更新數據源
WORKDIR /etc/apt
RUN echo 'deb //mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse' > sources.list
RUN echo 'deb //mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse' >> sources.list
RUN echo 'deb //mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse' > sources.list
RUN echo 'deb //mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse' > sources.list
RUN apt-get update
# 安裝依賴
RUN apt-get install make gcc libpcre3-dev zliblg-dev --assume-yes
# 複製工具包
ADD fastdfs-5.11.tar.gz /usr/local/src
ADD fastdfs-nginx-module_v1.16.tar.gz /usr/local/src
ADD libfastcommon.tar.gz /usr/local/src
ADD nginx-1.15.4.tar.gz /usr/local/src
# 安裝libfastcommon
WORKDIR /usr/local/src/libfastcommon
RUN ./make.sh && ./make.sh install
# 安裝 FastDFS
WORKDIR /usr/local/src/fastdfs-5.11
RUN ./make.sh && ./make.sh install
# 配置FastDFS tracker
ADD tracker.conf /etc/fdfs
RUN mkdir -p /fastdfs/tracker
# 配置FastDFS storage
ADD storage.conf /etc/fdfs
RUN mkdir -p /fastdfs/storage
# 配置FastDFS客戶端
ADD client.conf /etc/fdfs
# 配置fastdfs-nginx-module
ADD config /usr/local/src/fastdfs-nginx-modules/src
# FastDFS與Nginx集成
WORKDIR /usr/local/src/nginx-1.13.6
RUN ./configure --add-module=/usr/local/src/fastdfs-nginx-module/src
RUN make && make install
ADD mod_fastdfs.conf /etc/fdfs
WORKDIR /usr/local/src/fastdfs-5.11/conf
RUN cp http.conf mime.types /etc/fdfs/
# 配置Nginx
ADD nginx.conf /usr/local/nginx/conf
COPY entrypoint.sh /usr/local/bin/
ENTRYPOINT ["/usr/local/bin/entrypoint.sh"]
WORKDIR /
EXPOSE 8888
CMD ["/bin/bash"]
- 在/usr/local/docker/fastdfs/environment創建entrypoint.sh,創建完成的後要執行 chmod +x entrypoint.sh命令文件才可以使用
# !/bin/sh
/etc/init.d/fdfs_trackerd start
/etc/init.d/fdfs_storaged start
/usr/local/nginx/sbin/nginx -g 'daemon off;'
相關配置文件
- tracker.conf: FastDFS跟蹤器配置,容器路徑為:/etc/fdfs,修改:
base_path=/fastdfs/tracker
- storage.conf: FastDFS存儲節點配置,容器路徑為:/etc/fdfs,修改:
base_path=/fastdfs/storage
store_path0=/fastdfs/storage
tracker_server=192.168.32.255:22122
http.server_port=8888
- client.conf: FastDFS客戶端配置,容器中路徑為:/etc/fdfs,修改:
base_path=/fastdfs/tracker
tracker_server=192.168.32.255:22122
- config: fastdfs-nginx-module配置文件,容器中路徑為:/usr/local/src/fastdfs-nginx-module/src,修改:
# 修改前
CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -L/usr/local/lib -lfastcommon -lfdfsclient"
# 修改後
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
CORE_LIBS="$CORE_LIBS -L/usr/lib -lfastcommon -lfdfsclient"
- mod_fastdfs.conf: fastdfs-nginx-module配置文件,容器中路徑:/usr/local/src/fastdfs-nginx-module/src,修改:
connect_timeout=10
tracker_server=192.168.75.128:22122
url_have_group_name=true
store_path0=/fastdfs/storage
- nginx.conf: Nginx配置文件,容器中的路徑為:/usr/local/src/nginx-1.15.4/conf,修改:
user root;
worker_processes 1;
events {
worker_connections 1024;
}
http{
include mime.types;
defaulte_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server{
listen 8888;
server_name localhost;
location ~/group([0-9])/M00{
ngx_fastddfs_module;
}
error_page 500 502 503 504 /50x.html
location = /50x.html {
root html;
}
}
}
啟動容器
- docker-compose.yml: 在/usr/local/docker/fastdfs文件夾中創建docker-compose.yml
version: '3.1'
services:
fastdfs:
build: environment
restart: always
container_name: fastdfs
volumes:
- ./storage:/fastdfs/storage
network_mode: host # 網絡模式:主機模式--將所有端口映射到主機,Docker容器與宿主機共享端口,即端口一致
docker-compose up -d
測試上傳
docker exec -it fastdfs /bin/bash
- 測試文件上傳: 在/usr/bin目錄中執行(第1個是二進制可執行文件客戶端,第2個是客戶端的客戶端配置文件,第3個是需要上傳的文件)
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/fastdfs-5.11/INSTALL
- 服務器反饋上傳地址: 文件的上傳路徑(非地址),通過在瀏覽器輸入Ngnix的訪問地址+文件上傳路徑即可訪問服務器上的文件
group1/M00/00/00/wKliyyfhHHkjsio986777
- 測試Nginx訪問: 通過在瀏覽器輸入Ngnix的訪問地址+文件上傳路徑即可訪問服務器上的文件
//192.168.32.255:8888/group1/M00/00/00/wKliyyfhHHkjsio986777
配置 FastDFS Java客戶端
- 創建項目: 創建項目名為myshop-service-upload的服務提供者項目
安裝FastDFS Java客戶端
- 從github上git clone FastDFS項目代碼:
git clone //github.com/happyfish100/fastdfs-client-java.git
- 配置到本地倉庫: 在項目目錄的target包下有項目的jar文件
mvn clean install
- 將項目jar文件上傳到Nexus中
- 在項目中添加依賴:
<!--FastDFS Begin-->
<dependency>
<groupId>org.csource</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.27-SNAPSHOT</version>
</dependency>
創建FastDFS工具類
package com.oxford.myshop.service.upload.fastdfs;
public interface StorageService{
/**
*上傳文件
*
*@param data 文件的二進制符
*@param extName 擴展名
*@return 上傳成功後返回生成文件的id,失敗則返回null
*/
public String upload(byte[] data,String extName);
/**
*刪除文件
*
*@param fileId 被刪除的文件id
*@return 刪除成功後返回0,失敗後返回錯誤代碼
*/
public int delete(String fileId);
}
public class FastDFSStorageService implements StorageService,InitializingBean{
private static final Logger logger=LoggerFactory.getLogger(FastDFSStorageService.class);
private TrackerClient trackerClient;
@Value("${storage.fastdfs.tracker_server}")
@Override
public String upload(byte[] data,String extName){
TrackerServer trackerServer=null;
StorageServer storageServer=null;
StorageClient storageClient=null;
try{
NameValuePair[] meta_list=null; // new NameValuePair[0]
trackerServer=trackerClient.getConnection();
if(trackerServer==null){
logger.error("getConnection return null");
}
storageServer=trackerClient.getStoreStorage(trackerServer);
storageClient1=new StorageClient1(trackerServer,storageServer);
String fileId=storageClient1.upload_file1(data,extName,meta_list);
logger.debug("uploaded file <{}>",fileId);
return fileId;
}catch(Exception ex){
logger.error("Uploaded fail",ex);
return null;
}finally{
if(storageServer!=null){
try{
storageServer.close();
}catch(IOException e){
e.printStackTrace();
}
}
if(trackeServer!=null){
try{
trackeServer.close();
}catch(IOException e){
e.printStackTrace();
}
}
storageClient1=null;
}
}
@Override
public int delete(String fileId){
TrackerServer trackerServer=null;
StorageServer storageServer=null;
StorageClient storageClient=null;
int index=fileId.indexOf('/');
String groupName=fileId.substring(0,index);
try{
trackerServer=trackerClient.getConnection();
if(trackerServer==null){
logger.error("getConnection return null");
}
storageServer=trackerClient.getStoreStorage(trackerServer,groupName);
storageClient1=new StorageClient1(trackerServer,storageServer);
int result=storageClient1.delete_file1(fileId);
return result;
}catch(Exception ex){
logger.error("Delete fail",ex);
return 1;
}finally{
ifreturn fileId;
}catch(Exception ex){
logger.error("Uploaded fail",ex);
return null;
}finally{
if(storageServer!=null){
try{
storageServer.close();
}catch(IOException e){
e.printStackTrace();
}
}
if(trackeServer!=null){
try{
trackeServer.close();
}catch(IOException e){
e.printStackTrace();
}
}
storageClient1=null;
}
}
@Override
public void afterPropertiesSet() throws Exxception{
File confFile=File.createTempFile("fastdfs",".conf");
PrintWriter confWriter=new PrintWriter(new FileWriter(confFile));
confWriter.println("tracker_server="+trackerServer);
confWriter.close();
ClientGlobal.init(confFile.getAbsolutePath());
confFile.delete();
TrackerGroup trackerGroup=ClientGlobal.g_tracker_group;
trackerClient=new TrackerClient(trackerGroup)
logger.info("Init FastDFS with tracker_server : {}",trackerServer);
}
}
public class StorageFactory implements FactoryBean<StorageService>{
@Autowired
private AutowireCapableBeanFactory acbf;
/**
* 存儲服務的類型,僅支持FastDFS
*/
@Value("${storage.type}")
private String type;
private Map<String,Class<? extends StorageService>> classMap;
public StorageFactory(){
classMap=new HashMap<>();
classMap.put("fastdfs",FastDFSStorageService.class);
}
@Override
public StorageService getObject() throws Exception{
Class<? extends StorageService> clazz=classMap.get(type);
if(class==null){
throw new RuntimeException("Unsupported storage type ["+type+"],valid are"+ classMap.keySet());
}
StorageService bean=clazz.newInstance();
acbf.autowireBean(bean);
acbf.initializeBean(bean,bean.getClass().getSimpleName());
return bean;
}
@Override
public Class<?> getObjectType(){
return StorageService.class;
}
@Override
public boolean isSingleton(){
return true;
}
}
/**
* Java配置方式定義StorageFactory的bean,使其可以被依賴注入
*/
@Configuration
public classs FastDFSConfiguration{
@Bean
public StorageFactory storageFactory(){
return new StorageFactory();
}
}
創建FastDFS控制器
# SpringBoot Application
spring:
application:
name: myshop-service-upload
# FastDFS Configuration
fastdfs.base.url: htttp//192.168.32.255:8888/
storage:
type: fastdfs
fastdfs:
tracker_server: 192.168.32.255:22122
@CrossOrigin(origins="*",maxAge=3600)
@RestController
public class UploadController{
@Value("${fastdfs.base.url}")
private String FASTDFS_BASE_URL;
@Autowired
private StorageService storageService;
@RequestMapping(value="upload",method=RequestMethod.POST)
public Map<String,Object> upload(MultipartFile dropFile,MultipartFile[] editorFiles){
Map<String,Object> result=new HashMap<>();
//DropZone上傳
if(dropFile!=null){
result.put("fileName",writeFile(dropFile));
}
//wangEditor上傳
if(editorFiles != null && editorFiles.length > 0){
List<String> fileNames=new ArrayList<>();
for(MultipartFile editorFile:editorFiles){
fileNames.add(writeFile(editorFile));
}
result.put("error",0);
result.put("data",fileNames);
}
return result;
}
/**
*將圖片寫入指定目錄
*/
private String writeFile(MultipartFile multipartFile){
// 獲取文件後綴
String oName=multipartFile.getOriginalFilename();
String exName=oName.substring(oName.lastIndexOf(".")+1);
// 文件存放路徑
String url=null;
try{
String uploadUrl=storageService.upload(multipartFile.getBytes(),exName);
url=FASTDFS_BASE_URL+uploadUrl;
}catch(IOException e){
e.printStackTrace();
}
// 返迴文件完整路徑
return url;
}
}
- 創建SpringBoot Application,運行執行分佈式文件上傳項目
