动手搭建一个私有仓储

痛点

  • 有时候执行npm install命令安装某些模块的时候,特别慢,经常安装失败
  • 公司内部的模块如何维护?

我们需要一个能够让公司内部模块稳定维护的私有仓储,而且这个仓储还能够稳定的提供通过npm install获取的安装包,那么cnpm来了~

CNPM是什么

CNPM是一个私有的Nodejs库,使用CNPM 有如下理由:

  • 确保npm服务快速、稳定:对于企业来说,上线生产系统的时候,需要花半小时甚至更久等待npm模块依赖安装完毕,是不可接受的。部署镜像后,可以确保高速、稳定的npm服务。

  • 发布私有模块:官方的npm上的模块全部是开源的。一些与企业业务逻辑相关的模块可能不适合开源。这部分私有的模块放在私有NPM仓库中,使用起来各种方便。

  • 控制npm模块质量和安全:npm上的模块质量参差不齐,搭建私有仓库,可以更严格地控制模块的质量和安全,只有经过审核的模块才允许被加入私有仓库。

  • 使用MySQL替换了CouchDB,更容易部署。同时由于大部分开发者更熟悉MySQL,因此架设起来更方便。

  • 部署简单:只需要五分钟

从CNPM的架构图中,我们可以看出CNPM是对NPM做的镜像服务,CNPM会定期同步NPM的资源库,同时CNPM支持发布私有的库,这样就非常方便地集成了公有库和私有库,对于公司内部的开发者来说,基本感觉不到两种库的区别。

搭建CNPM服务

从官方文档中,我们看到CNPM服务器环境,只需要Node(0.11.12) + MySQL(>= 0.5.0),另外我们还需要Linux的环境,接下来就让我们动手自己搭建一个私有NPM的服务器

  • 准备:

      Linux 操作系统,如 Ubuntu 12.04.5 LTS
      Node: v6.0.0
      Npm: 3.8.6
      数据库 ,如 MySQL: 5.5.40
      Git客户端
    
  • 从github下载项目源代码,安装项目依赖

      git clone https://github.com/cnpm/cnpmjs.org.git
      cd cnpmjs.org
      npm install
    
  • 在config目录下新建一个config.js 文件,可以参考官方推荐的一些配置

    下面列出一些常用的配置说明

    • enableCluster:是否启用 cluster-worker 模式启动服务,默认 false,生产环节推荐为 true;
    • registryPort:API 专用的 registry 服务端口,默认 7001;
    • webPort:Web 服务端口,默认 7002;
    • bindingHost:监听绑定的 Host,默认为 127.0.0.1,如果外面架了一层本地的 Nginx 反向代理或者 Apache 反向代理的话推荐不用改;
    • sessionSecret:session 用的盐;
    • logdir:日志目录;
    • uploadDir:临时上传文件目录;
    • viewCache:视图模板缓存是否开启,默认为 false;
    • enableCompress:是否开启 gzip 压缩,默认为 false;
    • admins:管理员们,这是一个 JSON Object,对应各键名为各管理员的用户名,键值为其邮箱,默认为 { fengmk2: 'fengmk2@gmail.com', admin: 'admin@cnpmjs.org', dead_horse: 'dead_horse@qq.com' };
    • logoURL:Logo 地址,不过对于我这个已经把 CNPM 前端改得面目全非的人来说已经忽略了这个配置了;
    • adBanner:广告 Banner 的地址;
    • customReadmeFile:实际上我们看到的 cnpmjs.org 首页中间一大堆冗长的介绍是一个 Markdown 文件转化而成的,你可以设置该项来自行替换这个文件;
    • customFooter:自定义页脚模板;
    • npmClientName:默认为 cnpm,如果你有自己开发或者 fork 的 npm 客户端的话请改成自己的 CLI 命令,这个应该会在一些页面的说明处替换成你所写的;
    • backupFilePrefix:备份目录;
    • database:数据库相关配置,为一个对象,默认如果不配置将会是一个 ~/.cnpmjs.org/data.sqlite 的 SQLite;
    • db:数据的库名;
    • username:数据库用户名;
    • password:数据库密码;
    • dialect:数据库适配器,可选 "mysql"、"sqlite"、"postgres"、"mariadb",默认为 "sqlite";
    • hsot:数据库地址;
    • port:数据库端口;
    • pool:数据库连接池相关配置,为一个对象;
    • maxConnections:最大连接数,默认为 10;
    • minConnections:最小连接数,默认为 0;
    • maxIdleTime:单条链接最大空闲时间,默认为 30000 毫秒;
    • storege:仅对 SQLite 配置有效,数据库地址,默认为 ~/.cnpmjs/data.sqlite;
    • nfs:包文件系统处理对象,为一个 Node.js 对象,默认是 fs-cnpm 这个包,并且配置在 ~/.cnpmjs/nfs 目录下,也就是说默认所有同步的包都会被放在这个目录下;开发者可以使用别的一些文件系统插件(如上传到又拍云等),又或者自己去按接口开发一个逻辑层,这些都是后话了;
    • registryHost:暂时还未试过,我猜是用于 Web 页面显示用的,默认为 r.cnpmjs.org;
    • enablePrivate:是否开启私有模式,默认为 false;
      如果是私有模式则只有管理员能发布包,其它人只能从源站同步包;
      如果是非私有模式则所有登录用户都能发布包;
    • scopes:非管理员发布包的时候只能用以 scopes 里面列举的命名空间为前缀来发布,如果没设置则无法发布,也就是说这是一个必填项,默认为 [ '@cnpm', '@cnpmtest', '@cnpm-test' ],据苏千大大解释是为了便于管理以及让公司的员工自觉按需发布;更多关于 NPM scope 的说明请参见 npm-scope;
    • privatePackages:就如该配置项的注释所述,出于历史包袱的原因,有些已经存在的私有包(可能之前是用 Git 的方式安装的)并没有以命名空间的形式来命名,而这种包本来是无法上传到 CNPM 的,这个配置项数组就是用来加这些例外白名单的,默认为一个空数组;
    • sourceNpmRegistry:更新源 NPM 的 registry 地址,默认为 https://registry.npm.taobao.org
    • sourceNpmRegistryIsCNpm:源 registry 是否为 CNPM,默认为 true,如果你使用的源是官方 NPM 源,请将其设为 false;
    • syncByInstall:如果安装包的时候发现包不存在,则尝试从更新源同步,默认为 true;
    • syncModel:更新模式(不过我觉得是个 typo),有下面几种模式可以选择,默认为 "none";
      • "none":永不同步,只管理私有用户上传的包,其它源包会直接从源站获取;
      • "exist":定时同步已经存在于数据库的包;
      • "all":定时同步所有源站的包;
    • syncInterval:同步间隔,默认为 "10m" 即十分钟;
    • syncDevDependencies:是否同步每个包里面的 devDependencies 包们,默认为 false;
    • badgeSubject:包的 badge 显示的名字,默认为 cnpm;
    • userService:用户验证接口,默认为 null,即无用户相关功能也就是无法有用户去上传包,该部分需要自己实现接口功能并配置,如与公司的 Gitlab 相对接,这也是后话了;
    • alwaysAuth:是否始终需要用户验证,即便是 $ cnpm install 等命令;
    • httpProxy:代理地址设置,用于你在墙内源站在墙外的情况。

    阅读了上面的配置,你可能会编写一份如下的配置文件

      module.exports = {
          debug: false,
          enableCluster: true, // enable cluster mode
          mysqlServers: [
            {
              host: 'localhost',
              port: 3306,
              user: 'root',
              password: 'xxxxxx',
            }
          ],
          mysqlDatabase: 'cnpmjs',
          enablePrivate: true, // enable private mode, only admin can publish, other use just can sync package from source npm
          admins: {
            admin: 'example@example.com',
          },
          scopes:['@IModules'],
          syncModel: 'exist'// 'none', 'all', 'exist'
      };
    
  • 创建并初始化MySQL数据库

      $ mysql -u yourname -p
      mysql> use cnpmjs;
      mysql> source docs/db.sql
    
  • 启动CNPM服务器,默认会打开两个端口,7001用于NPM的注册服务,7002用于Web访问。

      node --harmony_generators dispatch.js
    

    或者
    npm run start
    npm run dev:调试模式启动;
    npm run test:跑测试;
    npm run start:启动 CNPM;
    npm run status:查看 CNPM 启动状态;
    npm run stop:停止 CNPM。

  • 浏览器访问CNPM私有仓库

      127.0.0.1:7002
    

终于正常了,这样就成功搭建了私有的NPM注册服务。

配置npm源为公司内部仓库

  • 配置npm 源为公司私有仓库

      npm config set registry http://cnpm.xxx.cn/ #这个是将上文IP映射的域名
    
  • 查看是否操作成功

      npm config ls
    

执行命令,来安装一个私有库(后面的文章会创建)

npm install --save @IModules/IUtils@0.2.0-snapshot

载的时候指定我们自己的私有库,这样就会从我们自己的私有库中下载。如果私有库没有对应的库,CNPM会自动同步到NPM 找到我们要下载的库和版本,先在CNPM中存一份,然后再传给客户端一份,运行原理和Maven的原理一样。
或者使用如下命令,临时安装 npm install winston --registry=http://127.0.0.1:7002

工具库

私有仓储建立起来了,后面就开始动手建立上文中提到的IUtils库并发布到私有仓储

这里我提供一份支持发布的私有库文件,具体的请参考这里

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 162,475评论 4 372
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 68,744评论 2 307
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 112,101评论 0 254
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 44,732评论 0 221
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 53,141评论 3 297
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 41,049评论 1 226
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 32,188评论 2 320
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,965评论 0 213
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,716评论 1 250
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,867评论 2 254
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,341评论 1 265
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,663评论 3 263
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,376评论 3 244
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,200评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,990评论 0 201
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 36,179评论 2 285
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,979评论 2 279

推荐阅读更多精彩内容