小象学院《视觉SLAM-无人驾驶》视频教程

天亮说晚安

课程简介：
本次的SLAM课程主要包括以下三个部分：
1. 以快速入门和理解为主，讲解SLAM的基本概念和知识，包括传感器、滤波、刚体的坐标系与运动、李群与李代数。其中传感器主要涉及视觉和激光两部分。视觉部分将介绍相机模型以及底层、中层、高层图像处理。
' z) y, [  p  t  n2. 围绕当前研究的热点和重点来解答一下几个问题：SLAM与无人机有什么联系？SLAM与无人驾驶存在那些技术和未知的探索？AR/VR为什么需要凭借SLAM，又可以为我们带来什么？ 我们生活的实践中，SLAM助力盲人导航？
3. 以程序示例来进行模块化演示和强化理解，抛开那些所谓的多视几何、随机估计、计算几何等困扰，简化理解，快速找寻兴趣点。不管是从事机器视觉、激光雷达，还是VINS都将在这里找到自己的部分回答。  
3 _/ p. K8 u% x4 i6 P" n面向人群：
# f  z; @7 j3 [9 R- f  ?1. 想了解激光、视觉SLAM的学习者
2. 希望学习SLAM技术并结合机器人、无人驾驶等技术人群；
3. 想转行从事AR/VR开发以及无人驾驶的人群；
. w$ u8 }. a2 D( u4. 对计算机视觉、概率论有一定了解的人群。
$ h' A! s! @8 T4 x* T学习收益：
6 g) R& [! }8 B% L* Z! J通过本课程的学习，学员将会收获：
1. 帮助学员系统性的掌握基于视觉和激光SLAM的基本概念、基本原理和机器人、AR/VR之间的知识链接
- U1 }- R" }+ B8 ?, L: a2. 了解如何进行跟踪、定位、构图，并且给出一个新的应用场景如何利用现有的技术进行嫁接
3. 了解国内外经典的开源项目以及应用场景和优缺点
4. 实践与理论结合，快速积累基本的项目经验
课程大纲：

$ N7 i& I, U$ p- t9 L  c第一课：SLAM概论和架构            
1. 从机器人的体系结构讨论SLAM的提出和发展
' f9 h# D# B  s. z. _; F0 a: i6 G2. 滤波器是什么，谁真正的推动了SLAM？
3. SLAM的新突破-图优化
$ e+ l! D# O: ~, A! ~  d/ B4. SLAM的完整知识体系结构介绍，基于Linux和ROS进行SLAM的进行本课程学习
5. ROS 基础：RGB-D点云示例
; F6 K/ S. S7 s+ G( V! f第二课：SLAM基本理论一：坐标系、刚体运动和李群     

1. SLAM的数学表达
2. 欧式坐标系和刚体姿态表示
3. 李群和李代数
4.  实例：Eigen和Sophus在滤波器上的应用
, z$ t( V# l3 v% {第三课：SLAM基本理论二：从贝叶斯开始学滤波器
6 p: e; N5 W/ K
$ X5 P! f" Z4 [. l1. 随机状态和估计
$ ^8 h+ v: ?$ L4 b2. 卡尔曼滤波器
3. 扩展卡尔曼滤波器和SLAM
4. 粒子滤波器和SLAM
/ K8 C) O! C! L7 y5. 实例：基于卡尔曼滤波器的SLAM实例
/ T( Q+ d2 m* s  P; j/ Q; ~
  d2 u+ }: |3 X2 h6 N! E  S第四课：SLAM基本理论三：图优化

* {1 e; S$ |# \! K1. 从滤波器的痛来谈图优化
$ m; @2 M$ R$ y! J& ~* x2.  Covisibility Graph和最小二乘
# V5 u' V5 v* ]* h! U3. 浅谈Marginlization
) D+ l% s8 [: W& |0 u3 u8 X. [4. 实例：G2O图优化实战   

! C& q) c" i5 [! U第五课：SLAM的传感器

1. SLAM传感器综述
" u. z7 x5 e4 Q2. 视觉类传感器（单目、双目和RGBD相机）
7 `/ M% j, z$ fa. 相机模型和标定
+ r0 D' j5 _& Y8 M; P* ~b. 特征提取和匹配
3. 主动类传感器-- 激光
6 E) X9 H( \, d  Pa.  激光模型和不同激光特性
b.  激光特征和匹配
4. 实例：
' D% J8 k5 P" o* T- S: Ja. 特征提取和立体视觉的深度结算；
; _+ Y( X# a: I% d* J& Eb. 激光数据的基本处理  

" X+ m% l- N+ m4 ]第六课：视觉里程计和回路检测
# Z) q0 X9 n) q: u6 p. M# f1. 视觉里程计的综述
, `& {, ?3 M. s# |2. 基于特征法的视觉里程计：PNP
/ Z9 I. L5 M1 y8 A3.  基于直接法的视觉里程计：Photometric Error
4. 基于立体视觉法的: ICP
% r: S. S" v% h4 r) E8 p: N9 s6 C5. 基于词袋模型的回路检测
6. 实例：
a. PNP位姿估计
$ r. X+ ^% q2 y, B& F6 @/ \b. 直接法位姿估计
c. 回路检测
# j& ]* `# ~, k
第七课：激光里程计和回路检测
5 u5 B. `& S; L9 y1 P# C  S1. 激光里程计简介
2. 激光里程计算法LOAM和VLOAM简单介绍
3. 激光回路检测的特殊性和主要难点
4. 伯克利的BLAM和谷歌Cartographer中回路检测的核心思路介绍
5. 实例: LOAM, Cartographer测试

" B3 G# R5 x. p; |; _第八课：地图以及无人驾驶系统
# N+ |; L2 g) o+ a5 I% q8 S0 Z
1. SLAM中的不同地图系统介绍
0 A7 n4 z, @/ a- J2. 高精度地图介绍
3. 语义地图介绍
4. 拓扑地图介绍
8 {+ Y# L# L/ m& \4 }5. 实例：粒子滤波定位实现

第九课：视觉和无人机、室内辅助导航和AR/VR

1. 视觉SLAM的整体重述和实战
' E7 C* \7 B9 P7 H& n, N  v2. SLAM、无人机和状态机
3. Google Tango 和盲人导航
4. SLAM的小刺激：AR/VR
2 z8 \3 j: m7 V& j# b. o5. 实例：视觉SLAM的AR实例
* Z. {# u* {+ J

第十课：深度学习和SLAM

9 b& o" E1 g: d# y, I% L1. SLAM的过去、现在和未来
2.  长航程SLAM的可能性
% T. F- Q9 k# P! ?: ?3.  单目深度估计和分割和场景语义
" q4 X% E1 |% @4. 动态避障
% ?, @9 u/ c; [% B+ _3 r5. 新的特征表达
6. 课程总结
导学课（必看）
* T+ L- i4 i( k% w; r4 RSLAM概论和架构
$ e* y' m" C8 u* w& @3 V& SSLAM基本理论一：坐标系、刚体运动和李群
& y& G. T: P. u+ H1 U! y% {6 wSLAM基本理论二：从贝叶斯开始学滤波器
SLAM基本理论三：图优化
5 w) r% ]5 w, Q" y. U7 D: HSLAM的传感器
视觉里程计和回路检测
7 |' \8 G/ c: ^  _激光里程计和回路检测
6 |: c" i1 \) r( R, |地图以及无人驾驶系统
视觉和无人机、室内辅助导航和ARVR
深度学习和SLAM
7 c. B4 C; `; G3 X# {- ?: f% O