详解node多进程child_process用法及原理

child_process用法

child_process的api:
  • 异步api:
    1. exec(cmd, options, callback)
    2. execFile(cmd, args, options, callback)
    3. fork (模块路径, args, options) // 不一样的地方在于可以通信
    4. spawn(cmd, args, options)
    • exec用法:
      执行shell脚本, 使用管道符也是可以的
      exec也是可以执行文件的,只不过不能传参数
      适合开销比较小的任务
    const cp = require('child_process')
    cp.exec('ls -al|grep node_modules', { 
      timeout: 0, // 超时时间
      cwd: process.cwd(), // 可以改变当前的执行路径
      }, function (err, stdout, stderr) {
      // 执行结果
    })
    
    • execFile用法:
      可以执行文件,也可以执行语句,可传参
      适合开销比较小的任务
      // 执行文件,参数
    cp.execFile('ls', ['-al'], function (err, stdout, std,err) => {
      // 执行结果
    })
    // 让execFile执行ls -al|grep node_modules这种语句
    test.shell:
      ls -al|grep node_modules
      echo $1 // 打印参数
      echo $2
    index.js:
    cp.execFile(path.resolve(__dirname, 'test.shell'), ['-al', 'bl'], 
    function(err,   stdout, stderr) {
    })
    
    • fork用法
      用node执行, 耗时操作且用node实现,如下载文件
    // cp.fork(模块路径)
    // 和require一样把文件执行起来
    const child = cp.fork(path.resolve(__dirname, 'child_process'))
    console.log(process.pid)
    // 主进程向子进程通信
    child.send('hello child_process', () => {
      // child.disconnent() // 如果不断开,两边会出现等待的情况
    })
    // 子进程向主进程通信
    child.on('message', msg => {
      
    })
    // child_process.js:
      console.log('aaa', process.pid)
      process.on('message', msg => {
      console.log(msg)
      // 很容易出现死循环
      })
      process.send('send msg to parent')
    // 进程不一样,完全独立,本质也是调用spawn
    
    • spawn 用法
      spawn: 流式的,没有回调,适合耗时任务(比如:npm install), 需要不断打印日志(不断给用户输出日志)
cp.spawn(file, args, options) // 不支持回调, exec,execFile底层都是spwan
const child = cp.spawn(path.resolve(__dirname, 'test.shell'), ['-al', '-bl'], {
  cwd: path.resolve('..'),
}) // 返回的是子进程
console.log(child.pid, process.pid)
// 监听成功
child.stdout.on('data', function(chunk) {
  console.log(chunk.toString())
})
// 监听失败
child.stderr.on('data', function(chunk) {
  console.log(chunk.toString())
})

const code = `require('${rootFile}').call(null, ${JSON.stringify(args)})`
 // cp.spawn('cmd', ['/c', 'node', '-e', code]) // win下是这种结构
 const child = spawn('node', ['-e', code], {
   cwd: process.cwd(), // 当前执行未知的cwd
   stdio: 'inherit', // 默认是pipe,pipe必须通过on来接收信息,inherit不需要,实时反馈
 })
 child.on('error', e => {
   log.error(e.message)
   process.exit(1)
 })
child.on('exit', e => {
  log.verbose('命令执行成功', e)
  process.exit(e)
})
  • 同步api:
    • execSync
    • execFileSync
    • spawnSync
const ret = cp.execSync('ls -al|grep node_modules') // 用的比较多,对脚本安全性没有校验
// 可以直接拿到结果
console.log(ret.toString())
const ret2 = cp.execFileSync('ls', ['-al'])
console.log(ret2.toString)
const ret3 = cp.spawnSync('ls', ['-al'])
console.log(ret3.stdout.toString()) // 返回的是一个对象

child_process原理

1. exec 和 execFile有什么区别?
  • 二者只有传参不同
  • 底层调用的还是spawn
// exec源码,处理一下参数,调用的execFile
function exec(command, options, callback) {
  const opts = normalizeExecArgs(command, options, callback);
  return module.exports.execFile(opts.file,
                                 opts.options,
                                 opts.callback);
}
function execFile(file /* , args, options, callback */) {
  // ...
  // 底层调用的还是spawn
    const child = spawn(file, args, {
      cwd: options.cwd,
      env: options.env,
      gid: options.gid,
      shell: options.shell,
      signal: options.signal,
      uid: options.uid,
      windowsHide: !!options.windowsHide,
      windowsVerbatimArguments: !!options.windowsVerbatimArguments
    });
}
  1. exec: 原理是调用/bin/sh -c 执行我们传入的shell脚本,底层调用execFile
  2. execFile:原理是直接执行我们传入的file和args,底层调用spawn创建和执行子进程,并建立回调,一次性将所有的stdout和stderr结果返回
  3. spawn:原理是调用internal/child_process,实例化略ChildProcess子进程对象,再调用child.spawn创建 子进程并执行命令,底层是调用了child.)handle.spawn执行process_wrap中的spwan方法,执行过程是异步的,执行完毕后再通过PIPE进行单向数据通信,通信结束后子进程发起onexit回调,同时Socket会执行close回调。
  4. fork:原理是通过spawn创建子进程和执行命令,采用node执行命令,通过setupchannel创建IPC用于子进程和父进程之间的双向通信。
2. data/error/exit/close回调的区别

data:用于主进程读取数据过程中通过onStreamRead发起的回调
error: 命令执行失败后发起的回调
exit: 子进程关闭完成后发起的回调
close:子进程所有Socket通信端口全部关闭后发起的回调
stdout close/stderr close:特定的PIPE读取完成后调用onReadableStreamEnd关闭Socket时发起的回调。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 162,547评论 4 374
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,787评论 2 308
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 112,175评论 0 254
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,752评论 0 223
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 53,169评论 3 297
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 41,056评论 1 226
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,195评论 2 321
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,980评论 0 214
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,724评论 1 250
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,872评论 2 254
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,344评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,667评论 3 264
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,379评论 3 245
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,202评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,992评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,189评论 2 286
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,987评论 2 279

推荐阅读更多精彩内容