贝叶斯统计

传媒大数据专业,大三上, 掌握基本的贝叶斯建模和分析方法, 2022

课前阅读材料:贝叶斯的博弈 数学、思维与人工智能,人民邮电出版社,2021

贝叶斯思维-统计建模的Python学习法,人民邮电出版社,2015

相关辅助信息

贝叶斯机器学习路径

机器学习里的贝叶斯方法

机器学习和概率模型

主题模型

NLP里的贝叶斯分析

Advanced NLP(Bayesian Methods)

英文名称:Bayesian Statistics

先修课程:高等代数、概率论、数理统计

教学方式:课堂讲授

考核方式:考试,总评成绩计算方法如下:(1)平时成绩占20%+考勤10% ;(2)期中考试成绩占20%+期末50%

课程简介:贝叶斯统计是近几十年来迅速发展起来的一个统计学重要分支,在机器学习中被大量使用。贝叶斯方法与经典统计方法的主要不同之处在于进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。贝叶斯方法的研究已渗透到了统计学与数据科学的几乎所有领域,并广泛应用在经济、金融、生物、医学、自然科学和社会科学等诸多领域。本课程主要讲授贝叶斯统计的基本概念、基本方法和基本理论,内容包括先验分布的选取、常见统计模型参数的后验分布、后验分布的计算方法、估计及假设检验、贝叶斯统计决策方法等。

教学目的:通过本课程的教学,使学生了解贝叶斯统计的基本思想,了解贝叶斯学派与频数学派的联系与区别,了解贝叶斯统计的最新研究进展和在大数据技术中的应用,能够系统的掌握贝叶斯统计的基本理论与基本方法,培养学生应用贝叶斯统计方法与软件分析与解决实际问题的能力,以及创新意识与创新能力。

教学要求:要求学生了解贝叶斯统计理论的基本观点,掌握贝叶斯统计推断与统计决策方法及其在应用中的一般处理技术和原则,理解大数据技术中贝叶斯方法的诸多应用及其原理,能够结合统计软件灵活应用贝叶斯统计基本理论对现实中的各种实际问题进行数据分析与预测。

教学内容与学时分配

第一章 绪论(2学时)

1.1 引言

1.2 贝叶斯统计推断的若干基本概念

1.3 贝叶斯统计决策的若干基本概念

1.4 一些基本统计方法及理论的简单回顾

重点内容:贝叶斯学派与频数学派的区别、贝叶斯统计推断、决策的基本概念

第二章 先验分布的选取(6学时)

2.1 主观概率

2.2 利用先验信息确定先验分布

2.3 利用边缘分布$m(x)$确定先验分布

2.4 无信息先验分布

2.5 共轭先验分布

2.6 分层先验(多阶段先验)

重点内容:确定超参数的方法、共轭分布的基本概念、分层先验

第三章 常见统计模型参数的后验分布(6学时)

3.1 后验分布与充分性

3.2 正态总体参数的后验分布

3.3 一类离散分布和多项分布参数的后验分布

3.4 寿命分布参数的后验分布

3.5 泊松分布和均匀分布参数的后验分布

重点内容:正态总体参数的后验分布

第四章 贝叶斯统计推断(6学时)

4.1 贝叶斯点估计

4.2 区间估计

4.3 假设检验

4.4 预测推断

4.5 假设检验与模型选择

重点内容:利用贝叶斯方法求解点估计和区间估计、假设检验的基本方法

第五章 贝叶斯统计决策(6学时)

5.1 引言

5.2 后验风险最小原则

5.3 一般损失函数下的贝叶斯估计

5.4 假设检验和有限行动(分类)问题

重点内容:后验风险与贝叶斯风险的关系、后验风险最小原则、贝叶斯估计

第六章 贝叶斯统计计算方法(6学时)

6.1 引言

6.2 蒙特卡洛抽样方法

6.3 MCMC中马尔可夫链的一些基本概念

6.4 MCMC方法简介

6.5 Metropolis-Hastings算法

6.6 Gibbs抽样方法

6.7 R与WinBUGS软件

重点内容:MCMC方法、M-H算法、Gibbs抽样

建议教材

[1] 吴喜之. 贝叶斯数据分析-基于R和Python的实现. 北京:中国人民大学出版社,2020.

[2] 韦来生. 贝叶斯统计. 北京:高等教育出版社,2016.

参考资料

[1] 茆诗松,汤银才. 贝叶斯统计(第2版). 北京:中国统计出版社,2012.

[2] 约翰K.克鲁斯克. 贝叶斯统计方法:R和BUGS软件数据分析示例. 北京:机械工业出版社,2015.