百年清华

“三清才子”刘铁岩:用好奇心探求AI边界

2019-03-11 | 小羿 | 来源 公号“网易智能”2019-01-31 |

编者按:2018年12月28日,由网易智能、清华大学数据科学研究院和25家评审机构共同评出的“2018中国AI英雄风云榜”年度人物榜单揭晓,10位人工智能领域的从业者获奖。其中,微软亚洲研究院副院长刘铁岩凭借多项创新研究获得了本次评选的技术先锋奖。

刘铁岩,1994年考入清华大学电子工程系,分别于1998年、2000年、2003年获得学士、硕士、博士学位。微软亚洲研究院副院长,IEEE院士、ACM杰出会员。2018中国AI英雄风云榜技术创新人物先锋奖获得者。

“我觉得学者的宿命就是终身学习。”

坐在微软大厦的办公室中,没等记者开口,一向健谈的刘铁岩直接进入畅聊状态。

从“三清”学生到三次研究转型

从小在黑龙江长大,刘铁岩总是对新事物充满好奇心。1994年,他如愿考上了清华大学电子工程系,回忆起当时的情景,刘铁岩表示,清华大学是理科生梦想的地方,而电子工程系也是当时最理想的院系。

就这样,刘铁岩在清华大学电子系学习了9年,成为了典型的“三清”学生(本科、硕士、博士均在清华大学就读)。据刘铁岩回忆,读博期间,他做了很多关于多媒体信号处理的研究,但加入微软亚洲研究院之后的十几年里,他的研究涉足信息检索、机器学习、博弈论到强化学习等多个领域。“我们所处在的行业飞速发展,唯一不变的就是变化,逆水行舟不进则退,只有不断学习新知识、拥抱变化,才能保持学术青春。”

交叉、跨界、转型是刘铁岩不断探索新领域新技术的主题。

而作为学者,对新知识的好奇心,是刘铁岩敢于研究一个又一个新领域的重大驱动力。

刘铁岩的第一次研究转型在加入微软亚洲研究院之后。据其回忆,当时多媒体信号处理领域有一个公认的问题就是语义鸿沟。刘铁岩解释说,“我们能处理的多媒体信号,比如图像、视频,这些本身并不是包含语义的,但是我们希望从中得到的信息,比如图像分类,人脸识别、物体跟踪等,都是含有一定的语义信息的。这种底层的简单信号与高层的有语义的目标之间的差别就是语义鸿沟。”刘铁岩认为,当时大量的多媒体领域的研究人员都在做特征工程,用以弥补语义鸿沟,而不是关注算法和模型本身,刘铁岩感觉自己“偏科”了。

因为这些问题,刘铁岩开始关注文本信息处理。2004年,刘铁岩与卡内基梅隆大学的文本分类领域的资深专家杨颐明教授达成合作,他们共同搭建了当时世界上最大的、近三十万类的文本分类系统。此后,他还开展了大量的关于文本信息检索的研究。在信息检索领域,刘铁岩最为出名的就是引入机器学习的思想,创建了“排序学习”这一个学术流派。在2006到2009年,刘铁岩和他的团队在SIGIR、WWW、ICML、NIPS等顶级学术会议上发表了大量的关于排序学习的论文,事实证明,该研究给信息检索领域带来了重大变革。

刘铁岩借由排序学习的研究对机器学习领域有了非常深刻的认识,而随着这种认识的进一步深化,也开启了其第二次研究转型。

“在排序学习领域做了多年之后,我意识到主流的机器学习都会假设数据先于学习过程而存在的,并且不受学习过程的影响,但是这个假设与我们实践中的很多情况都不一致。比如说我们做的网页搜索、广告排序,很多数据都是人为产生的,当你把从这些数据中学到的模型运用到实践中,是会改变人的行为的。而人的行为变了,数据也就变了。”刘铁岩说,我们希望数据独立于模型而存在,但是数据会受到模型影响,这种情况下,我们学到的机器学习模型的效果可能会大打折扣。

为了解决这个问题,刘铁岩和他的团队开始研究博弈论,因为博弈论会考虑多个智能体行为的相互制约,以及机制对于智能体行为的长效影响。他们将博弈论的思想用在互联网广告和云计算的机制设计上,确定了很多研究成果,也为微软的相关产品转化了很多技术。

近几年,刘铁岩发现博弈论本身也存在一些问题,比如只能分析简单的过程、主要关心最坏的情况等。而实际中,我们面临的问题往往非常复杂,而且平均情况比最坏情况更有实际意义。为了解决这些问题,刘铁岩和团队又开始了第三次技术转型,把博弈的思想和基于数据的机器学习方法充分结合,通过深度学习、多智能体强化学习等最新技术手段,来综合解决问题。

刘铁岩自己总结说,“解决原有学科面临的挑战,是刺激我去研究新方向的主要动因。”但他同时表示,主动的学术转型和盲目追逐热点有着天壤之别。主动转型的目的是扩大知识面、开拓学术边界、增大实践价值。为此,常常需要从热点方向上转出来、去学习和研究一些目前相对小众的方向。这种转型是为了使学术实力更强大,为日后做出更了不起的研究打下基础。

“指哪打哪”研究流派与对偶学习

如果研究也有风格流派的话,刘铁岩将自己的研究风格总结为有着强烈直觉,“指哪打哪”的研究流派。他总结为以下两个方面:

第一,研究是要去解决重要问题的,要有一个非常明确的目标。

第二,解决问题的技术要有很强的逻辑链路作为支撑,要有规划、有设计,而不是误打误撞、盲目尝试。

他不仅自己践行着这种研究思路,也尽其所能,培养新一代年轻人的研究品味,并不断的影响和渗透。“我能够给与年轻研究员最多的不是研究的想法、写论文的套路,而是培养他们的研究品味,也就是选择什么值得做,什么不值得做,把好钢用到刀刃上。”比如面对大家都在追的风口,要保持冷静,听从自己内心的声音,不为发论文而发论文,而是要去解真正重要的问题,发明可以推广、可以形成体系的方法。

2017年,刘铁岩同时获选IEEE Fellow以及ACM杰出会员,并晋升微软亚洲研究院副院长。

保持好奇心和不断探索新领域、勇于转变研究方向的心态,让刘铁岩永远不会满足于既有的技术成就,相反,他时刻都在创新与突破的路上。

2018年3月,微软宣布中英机器翻译系统达到与人工翻译媲美的水平,是首个在新闻报道的翻译质量和准确率上可以比肩人工翻译的翻译系统。支撑这项成果背后的重要技术之一,便是刘铁岩和他的团队最新研发的技术——对偶学习。

对偶学习的产生是为了要解决现有深度学习方法过度依赖大量有标签训练数据的问题。据刘铁岩表述,人们关心的绝大部分AI任务都是为人服务的,但凡是需要交流的任务,就会有一个输入和输出,通常都会存在一个对偶结构。“两个任务,一个任务的输入恰好是另一个任务的输出,反之亦然。”刘铁岩举例说,比如机器翻译,中译英是一个任务,英译中是另外一个任务,两个任务互为输入和输出,形成对偶关系。再比如语音识别和语音合成,也是一组对偶任务。

也就是说,很多机器学习任务其实天然有结构对偶性,可以形成天然的闭环。一旦有闭环,就有反馈信号,就可以有效的去训练模型,这样就算只有很少的标注,也可以训练,从而解决了过度依赖数据训练的问题。

除此之外,刘铁岩还向网易智能介绍了自己最新的研究。第一个就是Learning to Teach,这个研究基于对现在机器学习框架局限性的反思,希望将机器学习的三个要素:训练数据、目标函数、模型空间变成可以优化、学习和改变的对象,从而提升训练效果。

第二个是G-spacelearning,这个研究是为了解决神经网络中由于使用ReLU激活函数带来的“病态”优化问题,告诉大家神经网络的权重空间存在很多冗余,在该空间中直接做优化是不好的,应该在更加紧致的链路空间中做优化,这样可以大幅提高模型的准确率。

新的机会

在微软亚洲研究院浸润了16年,对于研究工作本身,刘铁岩颇有感受。在他看来,自己之所以能取得如此多的成就并不断进行着新领域的研究,主要在于微软亚洲研究院的开放的、积极向上的环境。

“研究没有那么明确的KPI,因为它本身就是多元的,更多的时候,我们是靠着自己的研究素养来判断研究的价值。”

刘铁岩认为,作为学者,他们正在迎来一波新的机会。随着微软亚洲研究院成立创新汇,刘铁岩和团队得以在金融科技、物流等领域与国内龙头企业进行合作,真正将AI运用到这些领域,推动其数字化、智能化转型。

对于创新汇的项目,刘铁岩依然保持着强烈的好奇心。在他看来,虽然拥有AI技术的人和拥有领域知识的人来自两个世界,在合作的时候会经历一个痛苦的磨合期,但产业大幕只是刚刚拉开,任何的AI落地都不是那么简单的,双方都需要去了解对方。

“比如,金融市场是动态的,传统机器学习领域的基本假设在这个问题上不再成立。我们只有充分了解金融市场的内在规律,才能研究出全新的机器学习模型。我们有强烈的好奇心去学习金融领域的知识,并且为其量身定做出高效的机器学习方法。过去两年的实践表明,通过和合作伙伴的深入互动,我们已经开发出了行业领先的智能投资方法。”刘铁岩说到。


相关新闻

  • 042019.11

    黄鼎隆:用AI开拓未来零售边界

    宇宙当然有边界,科技的发展或许终有尽头,但我们探索未来与自我突破的勇气与决心是无界的。

  • 292022.04

    旷视,AI 让世界更美好

    如果您无法在线浏览此 PDF 文件,则可以下载免费小巧的 福昕(Foxit) PDF 阅读器,安装后即可在线浏览 或下载免费的 Adobe Reader PDF 阅读器,安装后即可在线浏览 或下载此 PDF 文

  • 102020.08

    腾讯多媒体实验室负责人刘杉:保持好奇心与专业态度

    刘杉(清华大学1991级电子系本科),腾讯多媒体实验室负责人,杰出科学家。在多媒体研究领域贡献突出,多项核心技术被国际标准采纳,或应用于千万级DAU产品中,拥有超过150项已授权全球专利。在中国,很多孩子都听过嫦娥奔月的神话:嫦娥吃下了长生不老之药后,就飞到了月宫,与自己的丈夫天各一方,每年只有中秋节才能团聚。当人们都为故事中“有情人被迫分离”而哀伤时,刘杉关注的重点却是“地球到月亮的距离”。刘杉对科学...

  • 222020.06

    孟祥夫校友在新闻与传播学院2020年毕业典礼上的发言∣坚守,好奇心和进取心

    离开校园,不是学习的结束,恰恰是新的学习的开始。社会是一个大染缸、大熔炉,大家毕业后能被锻造成什么样,往往取决于你是否一直葆有旺盛的好奇心和进取心。

  • 122020.08
  • 222008.11
  • 102020.08

    心中的歌——清华才子的音乐梦

    历来都有一种偏见,说是学理工科的学生大多只知道埋头读书,刻板迂腐,没有情趣。其实不然,清华才子童泽先学长就以他的亲身经历完全颠覆了社会对理工科学生的这种偏见。2011年底,从董淑琴学长和郑冶老学长那里知道了童泽先学长,知道了他的音乐情结,知道了他和郑老因音乐而结缘,以及贯穿40多年的师生情谊,并深为感动,只是一直没有机会和童学长见面。临近中午,忽然接到郑老夫人邓老师电话,说是今天中午童泽先学长、董淑...

  • 032024.01

    沈阳:AI与我

    从江西山村到武汉大学,再到清华大学;从计算机专业老师到数据新闻教授,再到用人工智能(AI)写作和绘画的学者……如今,清华大学新闻与传播学院教授沈阳的工作和生活已经离不开AI助手。不久前,沈阳及其团队用AI匿名创作了一部科幻小说——《机忆之地》,并在第五届江苏省青年科普科幻作品大赛中获二等奖。2023年,AI成为沈阳帮助爱人抗击癌症的得力助手。在2024年到来之际,沈阳和AI一起创作了一篇自述长文。我们节选部分内...

  • 082016.01

    汤家力:“三清”博士与大飞机

    2016年第一个工作日,中国商飞上海飞机设计研究院强度设计研究部机翼强度室副主任、高级工程师汤家力像往常一样,度过了紧张忙碌的一天。

  • 112020.08
Baidu
sogou
Baidu
sogou