破解机器学习中的维数灾难：从可辨识性谈起.pdf

破解机器学习中的维数灾难：从可辨识性谈起 林伟 北京大学 北京智源人工智能研究院 2019 年5 月9 日 个人背景 个人经历 应用数学（统计学）博士，美国南加州大学，2011 博士后，美国宾夕法尼亚大学，2011–2014 研究员，北京大学数学科学学院、统计科学中心，2014 至今 研究兴趣：高维统计、机器学习、因果推断、成分数据分析、生存 分析、统计遗传学与基因组学 代表性工作 系统地发展了高维成分数据分析的新方法和新理论：变量选择、两样 本均值检验、协方差矩阵估计、主成分分析 基于高维工具变量的因果推断：两阶段正则化方法、无效工具变量 1/26 代表性工作 Zhang, J. and Lin, W. (2019). Scalable estimation and regularization for the logistic normal multinomial model. Biometrics, to appear. Uematsu, Y., Fan, Y., Chen, K., Lv, J. and Lin, W. (2019). SOFAR: Large-scale association network learning. IEEE Trans. Inform. Theory, to appear. Cao, Y., Lin, W. and Li, H. (2019). Large covariance estimation for compositional data via composition-adjusted thresholding. J. Amer. Statist. Assoc., to appear. Cao, Y., Lin, W. and Li, H. (2018). Two-sample tests of high-dimensional means for compositional data. Biometrika, 105, 115–132. Lin, W., Feng, R. and Li, H. (2015). Regularization methods for high-dimensional instrumental variables regression with an application to genetical genomics. J. Amer. Statist. Assoc., 110, 270–288. Lin, W., Shi, P., Feng, R. and Li, H. (2014). Variable selection in regression with compositional covariates. Biometrika, 101, 785–797. Lin, W. and Lv, J. (2013). High-dimensional sparse additive hazards regression. J. Amer. Statist. Assoc., 108, 247–264. Lin, W. (2009). Asymptotic behavior of periodic Cohen-Grossberg neural networks with delays. Neural Computation, 21, 3444–3459. 2/26 高维统计 高维统计：研究高维数据或高维（过参数化）模型的统计学 高维：变量或参数个数 接近或远大于样本量 理论框架 经典大样本理论： 固定， 基于随机矩阵理论的高维统计： 基于集中不等