小象学院《视觉SLAM-无人驾驶》视频教程

天亮说晚安

课程简介：
本次的SLAM课程主要包括以下三个部分：
: m. j  C7 D4 j* x/ h1. 以快速入门和理解为主，讲解SLAM的基本概念和知识，包括传感器、滤波、刚体的坐标系与运动、李群与李代数。其中传感器主要涉及视觉和激光两部分。视觉部分将介绍相机模型以及底层、中层、高层图像处理。
. @) J4 z4 Z+ P2 s5 S3 k( A2. 围绕当前研究的热点和重点来解答一下几个问题：SLAM与无人机有什么联系？SLAM与无人驾驶存在那些技术和未知的探索？AR/VR为什么需要凭借SLAM，又可以为我们带来什么？ 我们生活的实践中，SLAM助力盲人导航？
3. 以程序示例来进行模块化演示和强化理解，抛开那些所谓的多视几何、随机估计、计算几何等困扰，简化理解，快速找寻兴趣点。不管是从事机器视觉、激光雷达，还是VINS都将在这里找到自己的部分回答。  
面向人群：
1. 想了解激光、视觉SLAM的学习者
2. 希望学习SLAM技术并结合机器人、无人驾驶等技术人群；
3. 想转行从事AR/VR开发以及无人驾驶的人群；
- W, l9 O3 A  i8 P8 L1 C4. 对计算机视觉、概率论有一定了解的人群。
- D& U2 X7 v. e* n; r学习收益：
: P' j! e; T( d& S# q通过本课程的学习，学员将会收获：
9 y8 L3 }8 |1 Y) \1 @+ P, ]3 z, v1. 帮助学员系统性的掌握基于视觉和激光SLAM的基本概念、基本原理和机器人、AR/VR之间的知识链接
2. 了解如何进行跟踪、定位、构图，并且给出一个新的应用场景如何利用现有的技术进行嫁接
3 P  P' l; _* f% V8 }# R6 O3. 了解国内外经典的开源项目以及应用场景和优缺点
% J0 x0 O; V5 K! n. y* O' ]4. 实践与理论结合，快速积累基本的项目经验
课程大纲：
% l( R! p) |8 t* y8 C! H( g8 G
5 [1 O1 N  p* j8 `  Q* B6 b第一课：SLAM概论和架构            
1. 从机器人的体系结构讨论SLAM的提出和发展
' n# F  a7 H8 P2. 滤波器是什么，谁真正的推动了SLAM？
) j0 \- R$ r) `$ x3. SLAM的新突破-图优化
/ E# Q* B4 \( E+ F% P0 `* T: B4. SLAM的完整知识体系结构介绍，基于Linux和ROS进行SLAM的进行本课程学习
5. ROS 基础：RGB-D点云示例
9 ^) X& T- d  e7 ]8 R5 S第二课：SLAM基本理论一：坐标系、刚体运动和李群     

1. SLAM的数学表达
8 `" e3 n) x" N0 G2. 欧式坐标系和刚体姿态表示
3. 李群和李代数
: p$ s3 W+ w! E4.  实例：Eigen和Sophus在滤波器上的应用
第三课：SLAM基本理论二：从贝叶斯开始学滤波器
; x  z; L1 w( Q- s. C/ P0 D
" N6 W0 [! }5 @) v9 C. {! Y1. 随机状态和估计
7 W" S( V2 [9 L) T0 k2. 卡尔曼滤波器
8 K" S! {; R  t& \9 N8 k3. 扩展卡尔曼滤波器和SLAM
4. 粒子滤波器和SLAM
5. 实例：基于卡尔曼滤波器的SLAM实例
- q. n* P3 Y0 s1 c: {
6 ^. J- `. a4 @' n第四课：SLAM基本理论三：图优化
0 \9 B8 @) Y6 ]& s% B& Z& V7 y
1. 从滤波器的痛来谈图优化
4 a- M9 F6 d* j, ~% W, E( K2.  Covisibility Graph和最小二乘
- B: W( v7 w7 u% m5 h3. 浅谈Marginlization
4. 实例：G2O图优化实战   
8 K" H9 d* ]6 u2 b
$ R# I" r5 j9 p# M3 |+ ~2 E第五课：SLAM的传感器
/ U2 W* }7 ~0 G/ K, A3 Y8 G
4 I2 M* M  E; ?2 p5 o7 t1. SLAM传感器综述
$ i# t7 f( t# _4 [2. 视觉类传感器（单目、双目和RGBD相机）
: T' X; ^0 K$ V7 B( Ia. 相机模型和标定
1 w8 i4 I& d* F; N! r5 Yb. 特征提取和匹配
6 Q& F5 A  U# ?3. 主动类传感器-- 激光
0 Q/ v+ [5 |; _& Z: I* ?. ga.  激光模型和不同激光特性
: [5 @1 B/ O3 Q7 y  W" R! Mb.  激光特征和匹配
4. 实例：
a. 特征提取和立体视觉的深度结算；
/ ?" Z& [( F9 Mb. 激光数据的基本处理  
! G5 S* s2 `: }
第六课：视觉里程计和回路检测
1. 视觉里程计的综述
2. 基于特征法的视觉里程计：PNP
3.  基于直接法的视觉里程计：Photometric Error
0 k. ?/ g5 P' }0 d) _4. 基于立体视觉法的: ICP
5. 基于词袋模型的回路检测
9 ~# s: J& q! f1 Q5 ]6. 实例：
a. PNP位姿估计
5 k- T+ Q+ ~' L; |0 h0 z3 P. j, y* Sb. 直接法位姿估计
c. 回路检测

3 @: U# H1 @8 o$ X% R8 y第七课：激光里程计和回路检测
1. 激光里程计简介
2. 激光里程计算法LOAM和VLOAM简单介绍
! X. |& e) z- O. i" G9 W* {$ m3. 激光回路检测的特殊性和主要难点
4. 伯克利的BLAM和谷歌Cartographer中回路检测的核心思路介绍
: k5 O" Z. M1 s: z  W. e  k. k* }5. 实例: LOAM, Cartographer测试
$ ?! Y$ L% Q* l! i1 {8 w
第八课：地图以及无人驾驶系统
  M/ p( T3 d9 A4 C( a! u) H2 g
1. SLAM中的不同地图系统介绍
6 E! }. w/ t$ S4 a8 p! Z2. 高精度地图介绍
3. 语义地图介绍
( [' g0 V5 D& S4. 拓扑地图介绍
" R# z- w9 j! }9 ~3 F5. 实例：粒子滤波定位实现
. W" L1 _5 M: p, R& ]& V. Y0 Z$ Y
第九课：视觉和无人机、室内辅助导航和AR/VR
, f/ m7 r  f: @4 {
1. 视觉SLAM的整体重述和实战
2. SLAM、无人机和状态机
3. Google Tango 和盲人导航
* Y4 F2 {* j- {, m& b- ?4. SLAM的小刺激：AR/VR
) y# S+ H5 a, H5. 实例：视觉SLAM的AR实例
  @6 L% B0 ~6 Z7 m2 S/ Z

第十课：深度学习和SLAM

1. SLAM的过去、现在和未来
8 ~4 h6 _8 g) B2.  长航程SLAM的可能性
3.  单目深度估计和分割和场景语义
' @1 S$ l1 y9 ~* ~4. 动态避障
  F. ~% j/ u$ t8 c0 R7 l# J$ T5. 新的特征表达
6. 课程总结
5 P) q4 v% T4 p, M; n导学课（必看）
) f3 S$ C8 ~7 h5 T- y4 e" vSLAM概论和架构
5 h  U" u$ F; d0 B; d( ^2 b8 a1 H% }SLAM基本理论一：坐标系、刚体运动和李群
SLAM基本理论二：从贝叶斯开始学滤波器
SLAM基本理论三：图优化
SLAM的传感器
视觉里程计和回路检测
5 `2 A( k# _. V激光里程计和回路检测
地图以及无人驾驶系统
视觉和无人机、室内辅助导航和ARVR
深度学习和SLAM
1 O! H1 n7 T+ u/ l3 }+ W8 \/ D