02_FastDFS在Linux上的搭建

libfastcommon

  • libfastcommon-1.0.7的安装包下载地址
  • 安装步骤
  • 创建目录:mkdir -p /usr/local/FastDFS/
  • 进入此目录:cd /usr/local/FastDFS/
  • 解压:tar zxvf libfastcommon-1.0.7.tar.gz
  • 进入解压目录:cd libfastcommon-1.0.7/
  • 编译:./make.sh
  • 安装:./make.sh install
  • 设置软链接:ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
  • 设置软链接:ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
  • 设置软链接:ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
  • 设置软链接:ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

fastdfs-5.05安装

  • fastdfs-5.05.tar.gz安装包下载地址

  • 安装步骤

  • 进入目录:cd /usr/local/FastDFS/

  • 解压:tar zxvf FastDFS_v5.05.tar.gz

  • 进入解压后目录:cd fastdfs-5.05/

  • 编译:./make.sh

  • 安装:./make.sh install

  • 安装结果:
    /usr/bin 存放有编译出来的文件
    /etc/fdfs 存放有配置文件

  • 配置tracker服务

  • 复制一份配置文件:cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf

  • 编辑:vim /etc/fdfs/tracker.conf,编辑内容看下面中文注释

disabled=false
bind_addr=
port=22122
connect_timeout=30
network_timeout=60
# 下面这个路径是保存 store data 和 log 的地方,需要我们改下,指向我们一个存在的目录
# 创建目录:mkdir -p /opt/fastdfs/tracker/data-and-log
base_path=/opt/fastdfs/tracker/data-and-log
max_connections=256
accept_threads=1
work_threads=4
store_lookup=2
store_group=group2
store_server=0
store_path=0
download_server=0
reserved_storage_space = 10%
log_level=info
run_by_group=
run_by_user=
allow_hosts=*
sync_log_buff_interval = 10
check_active_interval = 120
thread_stack_size = 64KB
storage_ip_changed_auto_adjust = true
storage_sync_file_max_delay = 86400
storage_sync_file_max_time = 300
use_trunk_file = false 
slot_min_size = 256
slot_max_size = 16MB
trunk_file_size = 64MB
trunk_create_file_advance = false
trunk_create_file_time_base = 02:00
trunk_create_file_interval = 86400
trunk_create_file_space_threshold = 20G
trunk_init_check_occupying = false
trunk_init_reload_from_binlog = false
trunk_compress_binlog_min_interval = 0
use_storage_id = false
storage_ids_filename = storage_ids.conf
id_type_in_filename = ip
store_slave_file_use_link = false
rotate_error_log = false
error_log_rotate_time=00:00
rotate_error_log_size = 0
log_file_keep_days = 0
use_connection_pool = false
connection_pool_max_idle_time = 3600
http.server_port=8080
http.check_alive_interval=30
http.check_alive_type=tcp
http.check_alive_uri=/status.html
  • 启动 tracker 服务:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

  • 重启 tracker 服务:/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

  • 查看是否有 tracker 进程:ps aux | grep tracker

  • storage (存储节点)服务部署

  • 一般 storage 服务我们会单独装一台机子,但是这里为了方便我们安装在同一台。

  • 如果 storage 单独安装的话,那上面安装的步骤都要在走一遍,只是到了编辑配置文件的时候,编辑的是 storage.conf而已

  • 复制一份配置文件:cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

  • 编辑:vim /etc/fdfs/storage.conf,编辑内容看下面中文注释

disabled=false
group_name=group1
bind_addr=
client_bind=true
port=23000
connect_timeout=30
network_timeout=60
heart_beat_interval=30
stat_report_interval=60
# 下面这个路径是保存 store data 和 log 的地方,需要我们改下,指向我们一个存在的目录
# 创建目录:mkdir -p /opt/fastdfs/storage/data-and-log
base_path=/opt/fastdfs/storage/data-and-log
max_connections=256
buff_size = 256KB
accept_threads=1
work_threads=4
disk_rw_separated = true
disk_reader_threads = 1
disk_writer_threads = 1
sync_wait_msec=50
sync_interval=0
sync_start_time=00:00
sync_end_time=23:59
write_mark_file_freq=500
store_path_count=1
# 图片实际存放路径,如果有多个,这里可以有多行:
# store_path0=/opt/fastdfs/storage/images-data0
# store_path1=/opt/fastdfs/storage/images-data1
# store_path2=/opt/fastdfs/storage/images-data2
# 创建目录:mkdir -p /opt/fastdfs/storage/images-data
store_path0=/opt/fastdfs/storage/images-data
subdir_count_per_path=256
# 指定 tracker 服务器的 IP 和端口
tracker_server=192.168.1.114:22122
log_level=info
run_by_group=
run_by_user=
allow_hosts=*
file_distribute_path_mode=0
file_distribute_rotate_count=100
fsync_after_written_bytes=0
sync_log_buff_interval=10
sync_binlog_buff_interval=10
sync_stat_file_interval=300
thread_stack_size=512KB
upload_priority=10
if_alias_prefix=
check_file_duplicate=0
file_signature_method=hash
key_namespace=FastDFS
keep_alive=0
use_access_log = false
rotate_access_log = false
access_log_rotate_time=00:00
rotate_error_log = false
error_log_rotate_time=00:00
rotate_access_log_size = 0
rotate_error_log_size = 0
log_file_keep_days = 0
file_sync_skip_invalid_record=false
use_connection_pool = false
connection_pool_max_idle_time = 3600
http.domain_name=
http.server_port=8888
  • 启动 storage 服务:/usr/bin/fdfs_storaged /etc/fdfs/storage.conf,首次启动会很慢,因为它在创建预设存储文件的目录

  • 重启 storage 服务:/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

  • 查看是否有 storage 进程:ps aux | grep storage

  • 配置Client,测试是否部署成功

  • 利用自带的 client 进行测试

  • 复制一份配置文件:cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf

  • 编辑:vim /etc/fdfs/client.conf,编辑内容看下面中文注释

connect_timeout=30
network_timeout=60
# 下面这个路径是保存 store log 的地方,需要我们改下,指向我们一个存在的目录
# 创建目录:mkdir -p /opt/fastdfs/client/data-and-log
base_path=/opt/fastdfs/client/data-and-log
# 指定 tracker 服务器的 IP 和端口
tracker_server=192.168.1.114:22122
log_level=info
use_connection_pool = false
connection_pool_max_idle_time = 3600
load_fdfs_parameters_from_tracker=false
use_storage_id = false
storage_ids_filename = storage_ids.conf
http.tracker_server_port=80
  • 在终端中通过 shell 上传 opt 目录下的一张图片:/usr/bin/fdfs_test /etc/fdfs/client.conf upload /opt/test.jpg
  • 如下图箭头所示,生成的图片地址为:http://你的ip/group1/M00/00/00/rBKUqFjZ3TuAXJtBAAF67SLOG7o921_big.jpg
  • 即使我们现在知道图片的访问地址我们也访问不了,因为我们还没装 FastDFS 的 Nginx 模块

安装nginx-module和nginx

  • 安装 fastdfs-nginx-module_v1.16.tar.gz,安装 Nginx 第三方模块相当于这个 Nginx 都是要重新安装一遍的

  • 创建nginx的安装目录:mkdir -p /usr/local/nginx

  • 进入该目录:cd /usr/local/nginx/

  • 下载:astdfs-nginx-module_1.16

  • 解压 Nginx-Module:tar zxvf fastdfs-nginx-module_v1.16.tar.gz,到当前目录

  • 编辑 Nginx-Module的配置文件:vim /usr/local/nginx/fastdfs-nginx-module/src/config

  • 找到下面一行包含有 local 字眼去掉,因为这三个路径根本不是在 local 目录下的。
    CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/"

  • 改为如下:
    CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

  • 复制文件:cp /usr/local/FastDFS/fastdfs-5.05/conf/http.conf /etc/fdfs

  • 复制文件:cp /usr/local/FastDFS/fastdfs-5.05/conf/mime.types /etc/fdfs

  • 安装 Nginx 和 Nginx 第三方模块

  • 安装 Nginx 依赖包:yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel(详细参考下面安装依赖)

  • 预设几个文件夹,方便等下安装的时候有些文件可以进行存放:
    mkdir -p /usr/local/nginx /var/log/nginx /var/temp/nginx /var/lock/nginx

  • 进入cd /usr/local/nginx

  • 下载Nginx:Nginx下载地址列表

  • 本例使用nginx-1.8.1:nginx-1.8.1.tar.gz

  • 解压Nginx:tar nginx-1.8.1.tar.gz,到当前目录下

  • 进入解压后目录:cd /usr/local/nginx/nginx-1.8.1/

  • 编译配置:

    • 下面的13行代码是需要一起复制到Linux命令行执行的
    • 最后一行,添加/fastdfs-nginx-module的/src,路径根据自己实际路径修改
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/local/nginx/nginx.pid \
--lock-path=/var/lock/nginx/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--add-module=/usr/local/nginx/fastdfs-nginx-module/src
  • 编译:make
  • 安装:make install
  • 复制 Nginx 模块的配置文件:cp /usr/local/nginx/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs
  • 编辑 Nginx 模块的配置文件:vim /etc/fdfs/mod_fastdfs.conf,编辑内容看下面中文注释
  • 如果在已经启动 Nginx 的情况下修改下面内容记得要重启 Nginx。
connect_timeout=2
network_timeout=30
# 下面这个路径是保存 log 的地方,需要我们改下,指向我们一个存在的目录
# 创建目录:mkdir -p /opt/fastdfs/fastdfs-nginx-module/data-and-log
base_path=/opt/fastdfs/fastdfs-nginx-module/data-and-log
load_fdfs_parameters_from_tracker=true
storage_sync_file_max_delay = 86400
use_storage_id = false
storage_ids_filename = storage_ids.conf
# 指定 tracker 服务器的 IP 和端口
tracker_server=192.168.1.114:22122
storage_server_port=23000
group_name=group1
# 因为我们访问图片的地址是:http://192.168.1.114/group1/M00/00/00/wKgBclb0aqWAbVNrAAAjn7_h9gM813_big.jpg
# 该地址前面是带有 /group1/M00,所以我们这里要使用 true,不然访问不到(原值是 false)
url_have_group_name = true
store_path_count=1
# 图片实际存放路径,如果有多个,这里可以有多行:
# store_path0=/opt/fastdfs/storage/images-data0
# store_path1=/opt/fastdfs/storage/images-data1
# store_path2=/opt/fastdfs/storage/images-data2
store_path0=/opt/fastdfs/storage/images-data
log_level=info
log_filename=
response_mode=proxy
if_alias_prefix=
flv_support = true
flv_extension = flv
group_count = 0
  • 编辑 Nginx 配置文件(不是/usr/local/nginx/nginx-1.8.1/conf/nginx.conf,而是/usr/local/nginx/conf/nginx.conf)
# 注意这一行行,我特别加上了使用 root 用户去执行,不然有些日记目录没有权限访问
user root;
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        # 访问本机
        server_name  你的ip;
        # 拦截包含 /group1/M00 请求,使用 fastdfs 这个 Nginx 模块进行转发
        location /group1/M00 {
           ngx_fastdfs_module;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
  • 80端口放行
    /sbin/iptables -I INPUT -p tcp --dport 80 -j ACCEPT
    将该设置添加到防火墙的规则中(重启之后依然有效)
    centos:/etc/rc.d/init.d/iptables save
    ubuntu:iptables-save > /etc/iptables

  • nginx启动

  • 启动:/usr/local/nginx/sbin/nginx,启动完成 shell 是不会有输出的

  • 刷新 Nginx 配置后重启:/usr/local/nginx/sbin/nginx -s reload

  • 停止 Nginx:/usr/local/nginx/sbin/nginx -s stop

  • 查看nginx实时日志:tail -f /var/log/nginx/error.log

  • 安装依赖

  • gcc
    安装nginx需要先将官网下载的源码进行编译,编译依赖gcc环境,如果没有gcc环境,需要安装gcc
    yum:yum install gcc-c++
    apt:apt-get install gcc g++(阿里云ECS已经有gcc的依赖,所有不用安装)

  • 安装相应的library
    由于编译nginx要使用http_stub_status_module和http_ssl_module,所以需要安装zlib和OpenSSL。
    使用下面的命令安装zlib。
    yum:yum install -y zlib zlib-devel
    apt:apt-get install zlib1g zlib1g.dev

  • openssl
    OpenSSL 是一个强大的安全套接字层密码库,囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议,并提供丰富的应用程序供测试或其它目的使用。
    nginx不仅支持http协议,还支持https(即在ssl协议上传输http),所以需要在linux安装openssl库。
    yum:yum install -y openssl openssl-devel
    apt:apt-get install libssl-dev

  • PCRE
    PCRE(Perl Compatible Regular Expressions)是一个Perl库,包括 perl 兼容的正则表达式库。nginx的http模块使用pcre来解析正则表达式,所以需要在linux上安装pcre库。
    yum:yum install -y pcre pcre-devel
    apt:apt-getinstall libpcre3 libpcre3-dev

参考:
taotao商城项目中FastDFS中安装配置
Java程序员眼中的Linux

上一篇

推荐阅读更多精彩内容