本网讯(人工智能学院)4月25日,中国科学院院士、西安交通大学教授徐宗本应邀来我校交流,在材料科学大楼A101作题为《大模型极限理论:解读智能涌现与尺度律》的专题报告。报告会由校党委副书记、校长孙长银主持,学校相关专业教师和学生参加报告会。
徐宗本院士指出,以大模型为特征的生成式人工智能近年来迅猛发展,正深刻影响并变革着科学技术的研究范式与工业革命进程。按照流行的认识,大模型的能力之所以强大源自它可能存在的智能涌现(Intelligent Emergence)。报告中使用一个数学框架和数学理论来对此加以解析,创新性提出通过 “无限” 系统的行为来认识 “有限” 大模型的新颖视角,构建了研究极限架构存在性、度量大模型架构性能的全新数学工具。报告中指出,大模型泛化性能与模型规模的尺度率在亚指数率与指数律之间,大模型泛化性能与训练数据规模的尺度率为亚指数率,当大模型的权值最优设定,而且其基块满足相应条件时,模型规模、训练数据规模趋于无穷将导致大模型出现智能涌现。
徐宗本院士的报告为科学研究与构建大模型提供了重要的理论依据和实践指南,拓宽了师生的学术视野,进一步激发了大家投身到大模型研究的热情。报告结束后,师生们积极与徐宗本院士进行交流。