彻底删除git中没用的大文件

最近碰到个很难办的问题,无意中发现项目文件夹已经快1G了。。。
仔细一看,原来是.git文件夹占了80%。。。
思前想后也找不到原因,最后还是google了半天才找到问题:
之前为了方便把一个200M左右的sdk直接添加到了项目里,然后提交到git上了,更可怕的是sdk还换了好几个版本提交了好多次。。。
所以git中就有N多这个sdk修改的记录,占了很大空间;
为什么会出现这种情况呢,就是因为git的存储方式

git仓库下有一个名为 .git 的隐藏文件夹 ,从git初始化(git init)开始,所有仓库的变化都会记录在这个.git文件夹中;只要是git记录的文件(add 并且 commit),就会通过一定的算法保存到这里,
删除一个文件,只是记录了删除这个操作,但并不会把文件从.git文件夹删除。
所以直接删除项目中的文件,.git文件夹完全不会变小(理论上还会变大一点,因为多记录了一次删除操作。。。)
要想彻底删除git已经记录的文件,就必须用到一个高端命令:git filter-branch

官方解释可以看这里:

https://git-scm.com/docs/git-filter-branch

https://git-scm.com/book/en/v2/Git-Tools-Rewriting-History

具体怎么使用可以参考这两篇博客:

http://harttle.com/2016/03/22/purge-large-files-in-gitrepo.html

http://blog.csdn.net/lwfcgz/article/details/49453375

具体到我这儿,因为我添加了 XXX.framework的库,所以命令就是:

git filter-branch --force --prune-empty --index-filter 'git rm -rf --cached --ignore-unmatch XXX.framework' --tag-name-filter cat -- --all

各个参数的意思摘抄如下
filter-branch 是让git重写每一个分支,

--force 假如遇到冲突也让git强制执行,

--index-filter 选项指定重写的时候应该执行什么命令,要执行的命令紧跟在它的后面,在这里就是git rm --cached --ignore-unmatch password.txt ,让git删除掉缓存的文件,如果有匹配的话。

--prune-empty 选项告诉git,如果因为重写导致某些commit变成了空(比如修改的文件全部被删除),那么忽略掉这个commit。

--tag-name-filter 表示对每一个tag如何重命名,重命名的命令紧跟在后面,当前的tag名会从标注输入送给后面的命令,用cat就表示保持tag名不变。

紧跟着的-- 表示分割符,

最后的--all 表示对所有的文件都考虑在内。

等命令执行完了,要提交到远程再

git push --force --all

就可以了

在实际操作中,我还遇到点其他问题,一并记录下来~

  1. 因为XXX.framework其实是个文件夹,所以在 rm 命令之后必须 加上 -rf 参数,不然其实会漏删不少东西
  2. 命令里面的 --all 似乎不怎么管用,至少对分支是不管用的,(博客1里面说是对所有分支。。。貌似有点问题)
    一开始我项目有好几个分支,我直接在master上操作,完了之后push,结果.git文件夹确实有变小,但变小的很有限。。。
    后来我把其他的分支备份出来,然后删掉项目里的所有分支,只剩下master,再来了一遍,果然就可以了,远程仓库果然变小了超级多
    本地的.git文件夹依然没啥变化,这是因为有很多本地缓存,重新git clone远程就好了
  3. git push --force --all其实也是个很危险的操作 ,再执行这个之前,务必确保当前代码已经是最新,并且你开始操作后没有人提交过代码,
    不然这么一force,有一大片冲突是必然的。。。不说了,说多了都是泪。。。

教训:

sdk之类的大文件,尽量不要直接添加到git中,如果sdk不经常更新且不太大(多大算大多大算小看各自网速了),那直接添加进去问题也不大;
如果sdk比较大或者经常更新,那就真的注意不能玩git里面加了,目前想到的比较好的替代方案有:

  1. 把sdk写到.gitignore中,在readme等地方写清楚,项目用到了什么sdk,让用的人自己去下载;
    这个方法比较容易实现,不过对用的人来说不太友好。毕竟除了直接复制粘贴,直接git clone的代码是不能直接用的。。。

  2. 用pod来管理
    一般来说pods是不会放到git里面的,都是用的时候再pod install;所以可以给项目用到的sdk之类的大文件,专门建一个pod库,让项目通过pod依赖这些大文件。
    这也是我现在用的方案,效果还是很不错的~
    再加上pod还可以配置一些依赖库(方法可以参考https://github.com/Phelthas/LXMThirdLoginManager ,关键是.podspec文件),那就更加方便了!强烈推荐!!!

有什么问题,欢迎讨论~
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,847评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,208评论 1 292
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,587评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,942评论 0 205
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,332评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,587评论 1 218
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,853评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,568评论 0 198
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,273评论 1 242
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,542评论 2 246
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,033评论 1 260
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,373评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,031评论 3 236
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,073评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,830评论 0 195
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,628评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,537评论 2 269

推荐阅读更多精彩内容

  • 本片内容转自CSDN http://blog.csdn.net/ithomer/article/details/7...
    五娃儿阅读 4,832评论 2 88
  • Git是目前最流行的版本管理系统,也是最先进的分布式版本控制系统(distributed version cont...
    pro648阅读 5,587评论 1 17
  • 项目组件化、平台化是技术公司的共同目标,越来越多的技术公司推崇使用pod管理第三方库以及私有组件,一方面使项目架构...
    swu_luo阅读 20,529评论 0 39
  • 在天还是白亮白亮的时候,我出了门。走出来才想到出门的原因是因为突然颇有兴致想四处看看,仿佛这熟悉的地方是我第一次来...
    summer_78f8阅读 526评论 0 1
  • Hi,好久不见。 希望在遇到你时可以这样打招呼。 今天中午休息的时候又成了被讨论的话题,他们问我想找什么样的,还没...
    会飞的龙猫阅读 465评论 0 2