刷新NLP纪录的谷歌科学家蓝振忠博士到访实在智能,受聘担任特聘讲师

10月19日,蓝博士专程到访「实在智能」,带来了一场精彩的学术演讲。他结合当前业界一流自然语言理解模型的研究进展,分享了ALBERT模型的原创思路,讲解了ALBERT相对于BERT模型三大优化的原因、尝试过程及效果对比。


2019年9月26日,OpenReview.net 发表了重磅论文——《ALBERT: A LITE BERT FOR SELFSUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。谷歌的全新预训练轻量级人工智能模型ALBERT在13项NLP(自然语言处理)任务中达到state of the art(最先进水平),在GLUE、RACE和SQuAD三大NLP基准测试中均以显著优势均取得第一,震撼业界。


该论文出炉一周后,「实在智能」算法团队即复现了论文代码,并在谷歌之前开源了中文预训练版本ALBERT模型,消息迅速传遍了国内科技圈和AI社区,并得到了一些重要媒体的报道。很短时间内在github上即获得了数百颗星,也引起了上述论文的第一作者、谷歌科学家蓝振忠博士的关注和点赞,双方一拍即合,约定时间进行充分的交流。



业界报道「实在智能」发布中文预训练ALBERT模型


10月19日,蓝博士专程到访「实在智能」,带来了一场精彩的学术演讲。他结合当前业界一流自然语言理解模型的研究进展,分享了ALBERT模型的原创思路,讲解了ALBERT相对于BERT模型三大优化的原因、尝试过程及效果对比。重点分析了基于因式分解和参数共享,使得参数显著减少的情况下,如何获得更好的模型效果。同时,从深度、广度等维度论证了ALBERT模型取得的优化效果,也提到在提升训练和预测速度方面的改进空间和进一步的探索方向。


在互动环节,蓝博士结合同学们提出的“小数据量如何训练优质模型”、“中英文任务对模型效果的影响”、“因式分解的其他方式”等问题做了详细解释和回答。


交流期间,蓝博士数次为「实在智能」在AI算法领域的探索和实践点赞,赞赏佐助同学(徐亮)开源中文预训练版本ALBERT模型的工作,并欣然担任“实在大学特聘讲师”。他引用母校CMU(美国卡耐基梅隆大学)的校训“My heart is in the work”与「实在智能」的同学们共勉,珍惜时光,奋发努力,点亮人生。


后续,蓝博士会和「实在智能」在中文开源社区领域开展一系列联合研究,推进ALBERT模型在中文方面的应用和发展。


蓝博士担任「实在大学特聘讲师」


蓝博士在「实在智能」进行学术分享


「实在智能」算法团队积极交流互动


「实在大学」特聘讲师简介


蓝振忠,美国卡耐基梅隆大学博士。现任Google科学家,曾任美国智能监控公司的首席科学家, 对视频和多媒体的智能分析有深入研究。他曾代表卡耐基梅隆大学在美国国家标准总局(NIST)举办的视频智能分析大赛中连续多年进入前三。先后在NIPS、CVPR、ICCV、IJCAI、ICDM等国际顶级会议上发表过25篇以上的论文,论文引用次数上千。


《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》论文第一作者。