小象学院-视觉SLAM-殷鹏

摘要： 主讲老师：杨亮纽约城市大学博士毕业于中国科学院机器人学国家重点实验室，正在纽约城市大学机器人实验室攻读第二博士学位。研究领域包括视觉SLAM，机器人运动规划以及机器学习。在机器人顶...

主讲老师：

杨亮纽约城市大学博士

毕业于中国科学院机器人学国家重点实验室，正在纽约城市大学机器人实验室攻读第二博士学位。研究领域包括视觉SLAM，机器人运动规划以及机器学习。在机器人顶级会议IROS以及IEEE Transaction及子刊发表多篇文章，获得IEEE ICMA最佳学生论文奖以及ICIRA最佳学生论文决赛奖，同时他还是ICRA，IROS，ICCV，KBS, IJRA等会议和期刊的审稿人。参与过Tango支持项目。

殷鹏 卡耐基梅隆大学联合培养博士

中国科学院机器人学国家重点实验室和卡耐基梅隆大学联合培养博士，正在卡内基梅陇大学机器人研究所做SLAM方向研究。研究领域包括针对于无人驾驶的激光SLAM，激光里程计，基于SLAM和视觉信息的场景识别问题。ICRA，IROS等会议和期刊的审稿人。曾在某顶级无人驾驶组实习。

课程简介：

本次的SLAM课程主要包括以下三个部分：
1. 以快速入门和理解为主，讲解SLAM的基本概念和知识，包括传感器、滤波、刚体的坐标系与运动、李群与李代数。其中传感器主要涉及视觉和激光两部分。视觉部分将介绍相机模型以及底层、中层、高层图像处理。

2. 围绕当前研究的热点和重点来解答一下几个问题：SLAM与无人机有什么联系？SLAM与无人驾驶存在那些技术和未知的探索？AR/VR为什么需要凭借SLAM，又可以为我们带来什么？ 我们生活的实践中，SLAM助力盲人导航？

3. 以程序示例来进行模块化演示和强化理解，抛开那些所谓的多视几何、随机估计、计算几何等困扰，简化理解，快速找寻兴趣点。不管是从事机器视觉、激光雷达，还是VINS都将在这里找到自己的部分回答。

面向人群：

1. 想了解激光、视觉SLAM的学习者

2. 希望学习SLAM技术并结合机器人、无人驾驶等技术人群；
3. 想转行从事AR/VR开发以及无人驾驶的人群；
4. 对计算机视觉、概率论有一定了解的人群。

学习收益：

通过本课程的学习，学员将会收获：

1. 帮助学员系统性的掌握基于视觉和激光SLAM的基本概念、基本原理和机器人、AR/VR之间的知识链接

2. 了解如何进行跟踪、定位、构图，并且给出一个新的应用场景如何利用现有的技术进行嫁接

3. 了解国内外经典的开源项目以及应用场景和优缺点

4. 实践与理论结合，快速积累基本的项目经验

课程大纲：

第一课：SLAM概论和架构

1. 从机器人的体系结构讨论SLAM的提出和发展

2. 滤波器是什么，谁真正的推动了SLAM？

3. SLAM的新突破-图优化

4. SLAM的完整知识体系结构介绍，基于Linux和ROS进行SLAM的进行本课程学习

5. ROS 基础：RGB-D点云示例

第二课：SLAM基本理论一：坐标系、刚体运动和李群

1. SLAM的数学表达

2. 欧式坐标系和刚体姿态表示

3. 李群和李代数

4.实例：Eigen和Sophus在滤波器上的应用

第三课：SLAM基本理论二：从贝叶斯开始学滤波器

1. 随机状态和估计

2. 卡尔曼滤波器

3. 扩展卡尔曼滤波器和SLAM

4. 粒子滤波器和SLAM

5. 实例：基于卡尔曼滤波器的SLAM实例

第四课：SLAM基本理论三：图优化

1. 从滤波器的痛来谈图优化

2.Covisibility Graph和最小二乘

3. 浅谈Marginlization

4. 实例：G2O图优化实战

第五课：SLAM的传感器

1. SLAM传感器综述
2. 视觉类传感器（单目、双目和RGBD相机）
a. 相机模型和标定
b. 特征提取和匹配
3. 主动类传感器– 激光

a.激光模型和不同激光特性

b.激光特征和匹配

4. 实例：

a. 特征提取和立体视觉的深度结算；

b. 激光数据的基本处理

第六课：视觉里程计和回路检测

1. 视觉里程计的综述

2. 基于特征法的视觉里程计：PNP

3.基于直接法的视觉里程计：Photometric Error

4. 基于立体视觉法的: ICP

5. 基于词袋模型的回路检测

6. 实例：

a. PNP位姿估计

b. 直接法位姿估计

c. 回路检测

第七课：激光里程计和回路检测

1. 激光里程计简介

2. 激光里程计算法LOAM和VLOAM简单介绍

3. 激光回路检测的特殊性和主要难点

4. 伯克利的BLAM和谷歌Cartographer中回路检测的核心思路介绍

5. 实例: LOAM, Cartographer测试

第八课：地图以及无人驾驶系统

1. SLAM中的不同地图系统介绍

2. 高精度地图介绍

3. 语义地图介绍

4. 拓扑地图介绍

5. 实例：粒子滤波定位实现

第九课：视觉和无人机、室内辅助导航和AR/VR

1. 视觉SLAM的整体重述和实战

2. SLAM、无人机和状态机

3. Google Tango 和盲人导航

4. SLAM的小刺激：AR/VR

5. 实例：视觉SLAM的AR实例

第十课：深度学习和SLAM

1. SLAM的过去、现在和未来

2.长航程SLAM的可能性

3.单目深度估计和分割和场景语义

4. 动态避障

5. 新的特征表达

6. 课程总结