FLINT 研究组 · 上海交通大学 [English]

FLINT Lab @ SJTU — Foundations of Learning in Nonlinear Transformations — Theory that sparks practice

Theory that sparks practice
以理论点亮实践
Foundations of Learning in Nonlinear Transformations

FLINT 由上海交通大学刘方辉组建,围绕机器学习数学理论与大语言模型的机理分析开展研究。刘方辉在自然科学研究院与数学科学学院联合任职。

我们研究非线性模型中学习的数学基础,将逼近、优化与泛化的理论认识,连接到现代学习系统的设计与理解。 我们的核心视角是学习效率:在理论层面刻画与处理非线性,并以这些认识指导精确、高效的学习方法。

[成员与指导经历] · [[positions.html

研究方向

我们的研究围绕学习理论与大语言模型的机理分析,主要包括以下两个紧密联系的方向:

学习理论与非线性逼近

非线性模型能够表示什么、学到什么?其统计与计算代价是什么?

  • 高维逼近、泛化与函数空间理论。

  • 计算与统计效率鸿沟,以及学习效率。

  • 尺度泛化与模型的有效容量。

大语言模型的机理分析

训练、微调与推理如何发挥作用?对其机制的理解如何指导方法设计?

  • 预训练尺度律、训练动力学与稳定性。

  • 微调:何时、何处,以及多大程度的适配有效。

  • 推理、Lean 形式化与面向机器学习理论的 AI。

代表工作与项目

以下工作由刘方辉与合作者开展,构成研究组的研究基础。完整论文列表仍在个人研究主页维护。

从函数空间的视角理解逼近与学习。

将数学理解与大语言模型的高效适配相联系。

研究级推理,以及概率、统计与机器学习在 Lean 中的形式化基础。

成员与加入机会

了解我们的成员与指导经历,以及围绕现代学习的理论与实践开展研究的机会。 当前招生状态、申请条件与中文申请说明,统一在Open Positions页面更新。