SFTP服务配置以及命令/代码操作

一、SFTP简述

二、SFTP服务配置(基于CentOS 7)

三、SFTP常用命令

四、Java代码实现SFTP操作(JSch实现上传、下载、监视器)
源码请见Github:https://github.com/qiezhichao/CodeHelper/tree/master/j_sftp

五、踩坑记录


一、SFTP简述

sftp(Secure File Transfer Protocol)是一种安全的文件传送协议,是ssh内含协议,也就是说只要sshd服务器启动了,sftp就可使用,不需要额外安装,它的默认端口和SSH一样为22。
sftp通过使用加密/解密技术来保障传输文件的安全性,因此sftp的传输效率比普通的FTP要低,但sftp的安全性要比ftp高,因此sftp通常用于报表、对账单等对安全性要求较高的场景。

二、SFTP服务配置(基于Centos 7)

在CentOS 7系统中按照如下步骤配置sftp服务
1、使用root用户查看openssh的版本:版本需大于4.8p1

ssh -V // 如果版本过低,需要先升级

2、使用root用户创建用户组,组名为sftpgroup;创建sftp用户,用户名为sftpuser,并设置密码

groupadd sftpgroup // 创建sftp组

useradd -g sftpgroup -M -s /sbin/nologin sftpuser //-M 表示创建用户时不生成对应home目录,-s /sbin/nologin 表示sftp用户不能登录系统

passwd sftpuser // 修改sftp用户密码

3、修改配置文件sshd_config

vi /etc/ssh/sshd_config

修改如下:

将下面这行注释掉
#Subsystem sftp /usr/libexec/openssh/sftp-server
## 在文件末尾添加如下几行
Subsystem sftp internal-sftp
Match Group sftpgroup
X11Forwarding no
AllowTcpForwarding no
ChrootDirectory %h
ForceCommand internal-sftp

4、使用root用户新建目录/home/sftpfile,将其设置为sftpuser的home目录,并指定目录权限

mkdir -p /sftp/sftpuser //-p 表示parents,即递归创建目录
usermod -d /sftp/sftpuser sftpuser // -d 表示修改用户home目录

// 设置Chroot目录权限
chown root:sftpgroup /sftp/sftpuser
chmod 755 /sftp/sftpuser

// 设置sftp用户可以操作的目录
mkdir /sftp/sftpuser/upload
chown sftpuser:sftpgroup /sftp/sftpuser/upload
chmod 755 /sftp/sftpuser/upload

5、重启SSH

systemctl restart sshd.service

6、验证:切换到sftpuser用户进行验证

sftp sftpuser@127.0.0.1

三、SFTP常用命令

sftp的常用命令和ftp基本相同,使用help命令即可查询

四、Java代码实现SFTP操作

Java操作sftp需要使用一个开源包jsch,官网地址为 http://www.jcraft.com/jsch/,Maven项目中通过在pom.xml中引入如下依赖,如果需要其他版本,可在Maven中央仓库http://mvnrepository.com/ 查询。

<dependency>
    <groupId>com.jcraft</groupId>
    <artifactId>jsch</artifactId>
    <version>0.1.54</version>
</dependency>

Jsch提供了sftp的各类操作的Java实现,ChannelSftp类是实现SFTP操作的核心类,sftp的命令即为该类中的方法,可以对比上图的sftp常用命令,如:sftp命令中ls为展示目录下的文件列表,则ChannelSftp类中有 ls() 方法与其对应。

1、sftp服务连接和关闭

private void connect(SFTPConfig sftpConfig) {
        try {
            // 通过JSch对象获取session对象
            session = new JSch().getSession(
                    sftpConfig.getSftpUserName(),           // sftp用户名
                    sftpConfig.getSftpHost(),               // sftp主机IP
                    sftpConfig.getSftpPort());              // sftp端口
            if (null != sftpConfig.getSftpPassword()) {
                session.setPassword(sftpConfig.getSftpPassword());     // sftp用户密码
            }
            if (null != sftpConfig.getTimeout()) {
                session.setTimeout(sftpConfig.getTimeout());           // 超时时间
            }
            session.setConfig("StrictHostKeyChecking", "no");          // 让ssh客户端自动接受新主机的hostkey
            session.connect();

            this.channelSftp = (ChannelSftp) session.openChannel("sftp");   // 打开sftp渠道,除sftp外还有shell、X11等类型
            this.channelSftp.connect();

        } catch (JSchException e) {
            this.close();
            e.printStackTrace();
        }
    }

public void close() {
        channelSftp.quit();
        if (null != channelSftp) {
            channelSftp.disconnect();
        }
        if (null != session) {
            session.disconnect();
        }
    }

2、JSch的传输模式

JSch有三种文件传输模式:
(1)OVERWRITE:完全覆盖模式。JSch的默认文件传输模式,传输的文件将覆盖目标文件。
(2)APPEND:追加模式。如果目标文件已存在,则在目标文件后追加。
(3)RESUME:恢复模式。如果文件正在传输时,由于网络等原因导致传输中断,则下一次传输相同的文件
时,会从上一次中断的地方续传。

3、sftp上传

JSch为每种传输模式提供了3类不同的上传方法
(1)最常用也是最简单的调用

/**
     * @param sftpParams
     * @param channelSftpModel 调用的模式: ChannelSftp.OVERWRITE,ChannelSftp.APPEND,ChannelSftp.RESUME
     * @throws SFTPException
     */
public void upload(SFTPParams sftpParams, int channelSftpModel) throws SFTPException {
        try {
            channelSftp.put(sftpParams.getLocalFilepath(), sftpParams.getRemoteFilepath(), channelSftpModel);
        } catch (SftpException e) {
            throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                    + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
        }
    }

(2)基于InputStream的调用
这种方法适用于原始文件不存在,需要保存到远程目录的数据来源于网络或者代码生成,当然原始文件如果存在,也可以通过FileInputStream上传。

/**
     *
     * @param sftpParams
     * @param channelSftpModel 调用的模式: ChannelSftp.OVERWRITE,ChannelSftp.APPEND,ChannelSftp.RESUME
     * @param src 输入流
     * @throws SFTPException
     */
    public void upload(SFTPParams sftpParams, int channelSftpModel, InputStream src) throws SFTPException {
        try {
            channelSftp.put(src, sftpParams.getRemoteFilepath(), channelSftpModel);
        } catch (SftpException e) {
            throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                    + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
        }
    }

(3)基于OutputStream的调用
通过向put()方法返回的输出流中写入数据的方式来保存文件,这种方式可以自定义输出流的数据块大小(Jsch默认数据块大小为32KB)

/**
     * @param sftpParams
     * @param channelSftpModel 调用的模式: ChannelSftp.OVERWRITE,ChannelSftp.APPEND,ChannelSftp.RESUME
     * @param src 输入流
     * @param bufferSize 数据块大小
     * @throws SFTPException
     */
    public void upload(SFTPParams sftpParams, int channelSftpModel, InputStream src, int bufferSize) throws SFTPException {
        OutputStream out = null;
        try {
            out = channelSftp.put(sftpParams.getRemoteFilepath(), channelSftpModel);
            byte[] buff = new byte[bufferSize]; // 设定每次传输的数据块大小
            int read;
            if (out != null) {
                do {
                    read = src.read(buff, 0, buff.length);
                    if (read > 0) {
                        out.write(buff, 0, read);
                    }
                    out.flush();
                } while (read >= 0);
            }
        } catch (IOException e) {
            throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                    + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
        } catch (SftpException e) {
            throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort()
                    + "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
        } finally {
            if (null != out) {
                try {
                    out.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

4、sftp下载

JSch提供了3类不同的下载方法,JSch提供的下载方法,如果没有显示指明传输模式,则默认为覆盖模式
(1)最常用也是最简单的调用

public void download(SFTPParams sftpParams) throws SFTPException {
        try {
            channelSftp.get(sftpParams.getRemoteFilepath(), sftpParams.getLocalFilepath());
        } catch (SftpException e) {
            throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
        }
    }

(2)基于OutputStream的调用
打开一个输出流,将远程文件写入输出流中。如,通过FileOutPutStream得到一个本地文件输出流,调用该方法将远程文件数据写入该输出流,默认数据块大小为32KB。

public void download(SFTPParams sftpParams, OutputStream os) throws SFTPException {
        try {
            channelSftp.get(sftpParams.getRemoteFilepath(), os);
        } catch (SftpException e) {
            throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
        }
    }

(3)基于InputStream调用
将远程文件数据转换成一个输入流,之后可以通过代码从输入流中拿取数据

public InputStream download2InputStream(SFTPParams sftpParams) throws SFTPException {
        try {
            return channelSftp.get(sftpParams.getRemoteFilepath());
        } catch (SftpException e) {
            throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
                    + sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
        }
    }

5、监听器

JSch可以文件传输时,对传输进度进行监控,通过实现JSch提供的SftpProgressMonitor接口来实现监听器的功能。
SftpProgressMonitor接口定义如下

package com.jcraft.jsch;

public interface SftpProgressMonitor{
  public static final int PUT=0;
  public static final int GET=1;
  public static final long UNKNOWN_SIZE = -1L;

  // 传输开始时,调用init方法。其中op为操作类型,即为上面定义的PUT/GET,max为文件的大小
  void init(int op, String src, String dest, long max);   
  // 当每次传输一个数据块后,调用count方法,参数为这一次传输的数据块大小
  boolean count(long count);
  // 传输结束时,调用end方法
  void end();
}

现在实现一个每隔1秒,获取上传的进度的功能

public class TimerSFTPProgressMonitor implements SftpProgressMonitor {

    private boolean isTransEnd = false; // 是否传输完成
    private long fileTotalSize;  // 需要传输文件的大小
    private long fileTransferedSize; // 已传输的大小
    private ScheduledExecutorService service = Executors.newScheduledThreadPool(1);

    public void init(int op, String src, String dest, long max) {
        System.out.println("Begin transferring.");
        fileTotalSize = max;
        if (fileTotalSize != 0) {
            final DecimalFormat df = new DecimalFormat("#.##");
            service.scheduleAtFixedRate(new Runnable() {
                public void run() {
                    if (!isTransEnd) {
                        if (fileTransferedSize != fileTotalSize) {
                            double d = ((double) fileTransferedSize * 100) / (double) fileTotalSize;
                            System.out.println("Current progress: " + df.format(d) + "%");
                        } else {
                            isTransEnd = true; // 已传输大小等于文件总大小,则已完成
                        }
                    }
                }
            }, 0, 1, TimeUnit.SECONDS);
        }
    }

    public boolean count(final long count) {
        fileTransferedSize = fileTransferedSize + count;
        return true;
    }

    public void end() {
        service.shutdown();
        System.out.println("End transferring, transferedSize : " + fileTransferedSize);
    }

}

最后效果如下

源码请见Github:https://github.com/qiezhichao/CodeHelper/tree/master/j_sftp

五、踩坑记录

1、JSch实现sftp上传时,2: No such file

原因:在SFTP服务配置一节中,我们将文件上传到/sftp/sftpuser/upload,但是在代码中不能直接写入这个路径,而需要写入 /upload 这个路径,因为对于sftpuser来说,它是没有/sftp/sftpuser/这个路径的。可以通过sftp的 ls / 命令来查看

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容