小象学院《视觉SLAM-无人驾驶》视频教程

天亮说晚安

课程简介：
本次的SLAM课程主要包括以下三个部分：
1. 以快速入门和理解为主，讲解SLAM的基本概念和知识，包括传感器、滤波、刚体的坐标系与运动、李群与李代数。其中传感器主要涉及视觉和激光两部分。视觉部分将介绍相机模型以及底层、中层、高层图像处理。
2. 围绕当前研究的热点和重点来解答一下几个问题：SLAM与无人机有什么联系？SLAM与无人驾驶存在那些技术和未知的探索？AR/VR为什么需要凭借SLAM，又可以为我们带来什么？ 我们生活的实践中，SLAM助力盲人导航？
- h+ Z7 P: S% u: i" W3. 以程序示例来进行模块化演示和强化理解，抛开那些所谓的多视几何、随机估计、计算几何等困扰，简化理解，快速找寻兴趣点。不管是从事机器视觉、激光雷达，还是VINS都将在这里找到自己的部分回答。  
! a# |% Q! w, J- q7 N4 H, a面向人群：
1. 想了解激光、视觉SLAM的学习者
5 P- j4 B. H" d2 K7 V; V9 V4 v8 R2. 希望学习SLAM技术并结合机器人、无人驾驶等技术人群；
3. 想转行从事AR/VR开发以及无人驾驶的人群；
4. 对计算机视觉、概率论有一定了解的人群。
8 M- M- x& z  D1 N' k" B- G9 C# R学习收益：
9 p3 m- v; v7 d通过本课程的学习，学员将会收获：
1. 帮助学员系统性的掌握基于视觉和激光SLAM的基本概念、基本原理和机器人、AR/VR之间的知识链接
2. 了解如何进行跟踪、定位、构图，并且给出一个新的应用场景如何利用现有的技术进行嫁接
3. 了解国内外经典的开源项目以及应用场景和优缺点
4. 实践与理论结合，快速积累基本的项目经验
课程大纲：
' \+ H) @  ?  ]
第一课：SLAM概论和架构            
- r+ I! N0 k. @3 m; d1. 从机器人的体系结构讨论SLAM的提出和发展
. w/ q$ o7 w2 }' j9 _2. 滤波器是什么，谁真正的推动了SLAM？
3. SLAM的新突破-图优化
7 c8 ?. B! ~8 N( M4 @4. SLAM的完整知识体系结构介绍，基于Linux和ROS进行SLAM的进行本课程学习
5. ROS 基础：RGB-D点云示例
2 p8 ?# [% ?' H$ ?9 l0 }4 R* I) {+ G第二课：SLAM基本理论一：坐标系、刚体运动和李群     
2 O. G* L3 k& p: Y# ~0 z1 `6 T
- y$ V& p/ K% M8 N& O1. SLAM的数学表达
3 V. R2 F/ U% C2 n! |2. 欧式坐标系和刚体姿态表示
0 [3 v2 Q: X3 ?, m% S  t: m3. 李群和李代数
4.  实例：Eigen和Sophus在滤波器上的应用
& x+ `8 e) k* {6 U第三课：SLAM基本理论二：从贝叶斯开始学滤波器

1. 随机状态和估计
2. 卡尔曼滤波器
8 l9 G, c& D  c) `3. 扩展卡尔曼滤波器和SLAM
6 K5 _5 Q) G# q3 j+ p6 [7 T$ @4. 粒子滤波器和SLAM
/ \  G6 `3 }" X; Z8 _7 M5 A' H9 M% h5. 实例：基于卡尔曼滤波器的SLAM实例

. j1 q4 G/ \# v第四课：SLAM基本理论三：图优化

1. 从滤波器的痛来谈图优化
9 ^" c; q) }, {! ~: ~1 X2.  Covisibility Graph和最小二乘
3. 浅谈Marginlization
  V; A7 p% E9 z9 M1 g/ D# }4. 实例：G2O图优化实战   

3 u; Y' J2 L1 Z9 @, |6 W0 n4 j第五课：SLAM的传感器

1. SLAM传感器综述
2. 视觉类传感器（单目、双目和RGBD相机）
  }) {8 C- b5 q+ qa. 相机模型和标定
b. 特征提取和匹配
3. 主动类传感器-- 激光
1 c2 w! {2 B6 l# F: sa.  激光模型和不同激光特性
b.  激光特征和匹配
4. 实例：
4 ]9 l/ K7 J% y" c" G1 N! I5 [8 Va. 特征提取和立体视觉的深度结算；
b. 激光数据的基本处理  

( G1 W" `3 j3 }第六课：视觉里程计和回路检测
3 _0 _4 ^! A; T7 c5 `" m/ J; f" V1. 视觉里程计的综述
8 H( e7 ~* k" d& \" H2. 基于特征法的视觉里程计：PNP
3.  基于直接法的视觉里程计：Photometric Error
$ F' p* U; l% M& k5 ?4. 基于立体视觉法的: ICP
7 |; N9 u; R' V6 r5. 基于词袋模型的回路检测
2 I3 K, s; r4 v+ F; p) z2 G6. 实例：
a. PNP位姿估计
b. 直接法位姿估计
' ?9 R" Y4 {% K- m- Hc. 回路检测

$ k( ~& D# e& `第七课：激光里程计和回路检测
1. 激光里程计简介
2. 激光里程计算法LOAM和VLOAM简单介绍
3. 激光回路检测的特殊性和主要难点
6 h# Q$ ~6 V3 i) A4. 伯克利的BLAM和谷歌Cartographer中回路检测的核心思路介绍
5. 实例: LOAM, Cartographer测试

第八课：地图以及无人驾驶系统

8 z9 d3 x& ^+ u/ [. D+ R6 b% f1. SLAM中的不同地图系统介绍
2. 高精度地图介绍
3. 语义地图介绍
3 U: H) e& x6 o7 U$ ^: S5 m6 O$ Y4. 拓扑地图介绍
5. 实例：粒子滤波定位实现

) q# q1 K" f1 E& J4 i, w" I2 g1 n第九课：视觉和无人机、室内辅助导航和AR/VR

& z, i1 g& I- h" D2 o1. 视觉SLAM的整体重述和实战
) @- v! [% C1 H4 \2 s7 ?2. SLAM、无人机和状态机
3. Google Tango 和盲人导航
/ H6 m& A& z- E: s: I4. SLAM的小刺激：AR/VR
  \2 ]6 u$ z, b% X* i/ n5. 实例：视觉SLAM的AR实例
+ z8 ?( H3 T9 V; R4 x7 D" U, c0 Q
; R( V: `  G6 t( J) i- `
/ v- r; {) \5 @4 a" ^第十课：深度学习和SLAM

; Y# d( w7 \+ l1. SLAM的过去、现在和未来
$ r  d' g$ v& M7 E/ V9 P2.  长航程SLAM的可能性
* |. D8 I8 A7 ?! ]+ {3.  单目深度估计和分割和场景语义
4. 动态避障
5. 新的特征表达
+ x8 S! C  I) P1 Q" y: v* R9 V$ z6. 课程总结
3 R2 p  ^# Y# S: j导学课（必看）
8 X1 m5 G* ^, vSLAM概论和架构
SLAM基本理论一：坐标系、刚体运动和李群
( o& y- e/ T; o* ?. n( eSLAM基本理论二：从贝叶斯开始学滤波器
. F) h( Q; V  `' i0 q, D7 ySLAM基本理论三：图优化
9 P+ ~5 F# g5 iSLAM的传感器
7 G( p! X0 e; n+ ~$ r) X% L9 v6 W视觉里程计和回路检测
& c. b7 t) y7 K/ B激光里程计和回路检测
% U2 Z2 Q; `: j% B地图以及无人驾驶系统
视觉和无人机、室内辅助导航和ARVR
深度学习和SLAM

3 Z8 z2 h2 T8 e, k2 o