进击的深度强化学习——写在 Dota2 5v5 被AI攻克之前

Neil Zhu,简书ID Not_GOD,University AI 创始人 & Chief Scientist,致力于推进世界人工智能化进程。制定并实施 UAI 中长期增长战略和目标,带领团队快速成长为人工智能领域最专业的力量。
作为行业领导者,他和UAI一起在2014年创建了TASA(中国最早的人工智能社团), DL Center(深度学习知识中心全球价值网络),AI growth(行业智库培训)等,为中国的人工智能人才建设输送了大量的血液和养分。此外,他还参与或者举办过各类国际性的人工智能峰会和活动,产生了巨大的影响力,书写了60万字的人工智能精品技术内容,生产翻译了全球第一本深度学习入门书《神经网络与深度学习》,生产的内容被大量的专业垂直公众号和媒体转载与连载。曾经受邀为国内顶尖大学制定人工智能学习规划和教授人工智能前沿课程,均受学生和老师好评。

我们本着一种开放的心态来看看这次 OpenAI 的成功一 show,摇身变成世界 Dota2 单挑王。

Dota 曾给我们带来了很多欢乐,而后推出的 Dota2 虽说玩家数量比不上 LOL,但其在国际上受欢迎程度非同小可。因此 OpenAI 拿这个也没啥问题。

Elon Musk vs Mark Zuckerberg

就在前不久 Elon Musk 怼了 Mark Zuckerberg,说后者不知道现在 AI 达到什么 level 了,应该就是在说这件事。(说到这里为 Facebook 的小伙伴们捏了一把汗,老板被怼了,由于自己的研究没有到达最牛层次,锅就得背了。)

OpenAI Bot 背后使用的就是深度强化学习技术,这项技术被看作是实现通用人工智能[1]的一条光明大道。

深度强化学习技术是深度学习强化学习技术结合的产物。最早就是用在控制游戏上,那还是四年前,DeepMind 的团队设计了一个模型可以在几个游戏上超过人类玩家。(这也导致了 Google 对 DeepMind 的惊天收购,4亿英镑)后面的故事大家也都知道了。发 Nature,做 AlphaGo,击败欧洲围棋冠军樊麾,前世界冠军李世石,再到现在的世界冠军柯洁。这里的故事情节跌宕起伏,我们后面系列中会细细介绍。

DQN出现如同机关的开关被触发,众多相关的算法层出不穷。最终我们将这些新出来的方法称为深度强化学习技术,该技术实现了感知和决策的打通。好像我们人类被打通任督二脉一样,武功会上升几个层次。因此现在这个方面的研究已经成为大家关注的方向。在很多的重要人工智能学术会议(比如 ICML、NIPS、IJCAI 等)上,这个方向的 keynote、workshop 和 tutorial 均不断地出现,吸引了众多科学家和工程师关注。

说了这么多基础的理论历史,我们回到这次比赛上。相比较于围棋,Dota2 本身会有更多的不稳定因素掺杂,比如说里面的兵团和建筑,难度在于更多不确定未知的因素空间叠加。

我们在观看游戏的时候,DendiBoss 刚开始时好像并没有将 Bot 放在心上,还和主持人热情交互,也许这里对其发挥有所影响了吧。(人类有时候表面放松,但内在紧张)但很快第一局经过几次较量后,Bot 逐渐地稳定下来。

有人说 LOL 可不可以。当然可以。由于 Dota2 和 LOL 是类似的,LOL 的 1v1 的 AI Bot 如果用深度强化学习技术的话,虐一虐人类 top1 也就没啥问题了,因为他们本质上是一样的事情。

接下来在类似 Dota2 这类游戏上的挑战就是多人配合的 5v5,这肯定是需要完成一系列的突破然后整合成一个整体后战胜人类的。

最新消息,已有不少玩家找到了 Bot 的 bug,好像使用一些 trick 战胜了 Bot。但我觉得这些“雕虫小技”应该不是我们关注的焦点,不该拿这些沾沾自喜觉得人类还是厉害云云。技术之势无法阻挡人类设计 AI 征服这类游戏的脚步。从这点上看,Elon Musk 的担心不无道理,尽管目前看我们还没有完全解决多人游戏的难题,但已经在路上数十年之久了。

为何这么说,且听下回分解。

人和机器的感情又加深了一点点,因为大家都会玩 Dota 2 了哈。以后可以带几个 AI 帮你推塔了~


  1. artificial general intelligence,又称 strong AI,表示能够完成一般任务达到或者超过人类平均水平的 AI

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容