2021年11月26日下午，由12bet手机端app官网主办的12bet手机端app官网前沿学术论坛第二十期通过网络顺利举行。本期论坛邀请到粤港澳大湾区数字经济研究院（IDEA）讲席科学家、认知计算与自然语言研究中心负责人张家兴博士做主题为“从深度学习到大模型”的学术报告。讲座由信息科学技术学院副经理侯士敏教授主持，100余名师生线上参加了本次学术报告。

张家兴博士

讲座伊始，张家兴博士首先为我们介绍了深度学习的基本概念。随后张家兴博士指出，近十年深度学习的发展揭示出深度学习的研究一直聚焦在两大主线：网络结构设计与模型训练。在网络结构设计方面，RAM（Recurrent、Attention、Memory）一直是主导思想。Recurrent是为了应对变长输入，Attention是为了选择合适的输入，而Memory则通过key-value的形式存储和检索有用的信息。当前Transformer结构是集大成者，在其中可以看到RAM的完美结合，是最主流的一种网络结构，在自然语言处理领域最为流行，也在逐渐统一计算机视觉等方向。在模型训练方面，随着技术的发展，模型越来越深，参数数量也越来越多。深度学习的重大突破，包括AlexNet、ResNet、BERT、GPT-3等都伴随着更大的模型结构和更强的算力需求。这是历史的规律，也预示了未来，深度学习的发展不可避免地会追求更大的网络结构；而且，这些重大突破的工作都提出了一个新的研究方向，与已有研究相比具有截然不同的方法。深度学习已经成为众多机器学习方法中的绝对主流，远超SVM、GBDT等其他机器学习方法。张家兴博士认为，这背后的原因有四点：1）深度学习模型可做大，因为可以引入任意数量的神经元；2）可以设计网络结构，这可以使领域专家的经验转化成适合特定任务的网络结构设计；3）可以预训练，这大大降低了对每个下游任务训练的难度；4）适应于GPU架构，深度学习和硬件结构形成了协同发展。

接着张家兴博士为我们讲解了大模型给认知智能带来的机遇。当前深度学习技术发展迅速，预训练大模型的参数规模近乎以每年10倍的速度呈爆炸式增长。各大公司纷纷入局，尤其是GPT-3这样的千亿参数大模型的出现，使我们进入了真正的大模型时代。张家兴博士提出，人脑认知有五大要素，分别为语法、记忆、知识、先验和类比；而大模型让机器也拥有了这些要素，给其带来了重大突破。大模型可以存储数据，并且通过生成来检索出存储的数据。模型即数据，这让我们对什么是数据有了新的思考。大模型也可以学习知识，而知识以参数的形式存储在模型中。尽管对模型如何存储知识还不可解释，但是在行为上模型可以像知识图谱一样进行事实判断、实体链指和问答。模型即知识，这促使我们思考：在知识表示和使用这条道路上，知识图谱是否是最好的方式、是否大模型可以取代知识图谱等。

张家兴博士还讲到，深度学习的发展目前也面临着两大本质性瓶颈：算力和人才。针对这两个问题，张家兴博士也给出了他们的解决方案，包括“封神榜”大模型开源计划与模型生产平台。业界共同合作开源，让每个人都可以在前人的基础上继续训练自己的大模型，并且鼓励大家将自己研发的新的大模型也开源，这可以极大地减少大模型领域的整体算力消耗。模型生产平台，将最前沿的算法领域研究成果固化到平台内，平台可以接受用户针对具体任务的少量训练数据，实现针对这个任务的模型自动化无人生产，这将减少对算法工程师的依赖，从而突破人工智能领域的人才瓶颈。张家兴博士也展望了未来AI的新架构，曾经依赖系统搭建的架构都在逐步的模型化，一切曾经认为理所当然的架构都可能被颠覆。

讲座最后，张家兴博士为同学们分享了他多年来对于商业的思考，特别是对技术、产品与商业之间联系的认知。在陈述了技术、产品、商业双循环的运行逻辑之后，张家兴博士提出了自己的三个观点：成功的商业模式非常稀缺、伟大的公司都有伟大的产品、重大技术突破产生新的产品和商业。如果某个商业和产品所依赖的技术突破发生的时间过于久远，那么这个行业就有可能已经走向了平台期甚至衰落期。张家兴博士希望这些思考能够对同学们的未来发展有所帮助。

在提问环节，参会师生积极提问、同张家兴博士进行了互动交流。针对同学们提出的跨行业的可能性与挑战、AI的局限性、AI会替代哪些工作等问题，张家兴博士进行了精彩、细致的回答。针对电子类专业同学进入AI领域所具备的优势，张家兴博士认为我们的优势在于具备了良好的数学基础和物理思维，尤其是对世界建模的物理思维是人工智能的核心思维方式。对于AI会替代哪些工作这个问题，张家兴认为没有什么工作是绝对“安全”的，甚至AI算法工程师本身也会被替代；或许只有人的情感不会被替代，而这也仅仅是因为消费者更愿意选择人来服务，拒绝机器来服务。老的工作都在被AI替代中，但同时技术的发展和人力的富余也会产生新的工作机会，在新的工作中AI将助力人类发展。至于技术的发展是否可以完全脱离人类、算法能否研究更好的算法以及机器能否制造更好的机器，对此张家兴博士保持了理性乐观的态度，认为技术有发展自我的“动机”，对人的依赖的比例也会越来越少，但是人永远是技术发展闭环中不可或缺的关键节点。