从2012年起,每一个飞跃性的进步都有他的身影。36岁就已经被评为皇家科学院院士。也是OpenAI的联合创始人。虽然试图挤走Sam Altman不成功。但是他的学术/业界履历是无敌的。
2012年AlexNet横空出世,宣告了GPU用于人工智能的成功。从此以后深度学习成为人工智能的主流。第一作者是Alex,导师是后来的图灵奖得主Hinton。而第二作者就是Ilya Sutskever。
2013年word2vec,创造性的发明了word embedding,将单词投影到嵌入空间,解决了语义表示的问题。现在每一个大模型都用到这个技术。后来CLIP更是将图片和语言嵌入到同一个空间,实现了文字生成图片。Mikolov是第一作者,第二作者依然是Ilya Sutskever。
2014年Sutskever以第一作者身份发表了seq2seq。神经机器翻译直接取代了过去的统计机器翻译。这也是大语言模型遵循的框架。
2014发明的dropout,有他的身影。
2016年的AlphaGo论文有他的身影。
2015年底,他离开google,参与创办了OpenAI。之后2018发表了"Improving language understanding by generative pre-training",也就是GPT-1的文章。之后不断迭代,模型越做越大,越来越智能,到2022年底ChatGPT震惊世界。
回看他2011年发表的论文Generating text with recurrent neural networks。也是用RNN生成文本,跟ChatGPT是同一个问题。十年时间专注一个问题,而且数次推动了大变革。
如果说有哪次没有他,就是2015年的attention(德国、加拿大发明的)和2017年的transfomer,他错过了。那时他已经离开谷歌。