1. 模块一:基础理论—具身智能机器人发展趋势综述
2024.11.25 周一晚8点-9点
学习目标:全面了解具身智能机器人的发展趋势,探索行业现状与未来发展方向
学习内容:
- 具身智能的核心概念与应用场景。
- 行业发展现状与全球趋势,包括服务机器人、工业机器人等多个领域。
- 前沿技术的应用实例分析,了解技术落地的挑战与解决方案。
学习任务:环境准备
需要完成安装(本地/云端)(若本地有nvidia显卡且显存在4G以上,就在本地安装)(版本不强制要求):
- rust 链接:https://www.rust-lang.org/zh-CN/learn/get-started
- dora 版本:>3.6.0 在rust安装成功后,终端执行"cargo install dora-cli"。
- rerun 版本:>0.20.0 同上,终端执行"cargo install rerun-cli --locked"。
- cuda 版本:12.4(部分旧的显卡驱动可能不支持这个版本,可以尝试用更低的版本或者视情况更新驱动)
- conda 版本:>24.9.0 链接:最新最全(亲测)的conda安装教程和虚拟环境安装环境配置-CSDN博客 安装完成后创建一个python3.11的虚拟环境:"conda create --name Dora-Camp python=3.11"。然后切换到这个环境:"conda activate Dora-Camp"。
- pytorch (在Dora-Camp环境内安装)版本:根据本地cuda版本选择 链接:https://pytorch.org/。pip安装时,如果遇到read time out报错,可以试着加上 --default-timeout=3600试试
- transformer (在Dora-Camp环境内安装)链接:https://github.com/huggingface/transformers/blob/main/i18n/README_zh-hans.md
2. 模块二:核心课程—AI多模态大模型,数据采集、训练和推理
2024.11.27 周三晚8点-9点
学习目标:学习端侧多模态大模型的高效构建与应用
学习内容:
- 认识多模态大模型在人工智能领域的里程碑式突破及作为重要基础设施的作用。
- 分析当前多模态大模型云侧部署的计算资源消耗过大的局限性及其对实际应用推广和自身持续演进的挑战。
- 学习构建端侧部署的高质量多模态大模型的方法。
- 探索端侧多模态大模型对端侧设备广泛赋能的途径。
- 思考如何缓解纯云侧部署多模态大模型存在的问题。
学习任务:尝试本地运行LLM大模型
在hf-mirror.com (huggingface的镜像站)上选择适合的大模型,并在云端或本地尝试运行。
3. 模块三:预备课程—开发环境搭建与实践流程基础
2024.11.29 周五晚8点-9点
学习目标:搭建具身智能开发所需的硬件与软件环境
学习内容:
- 硬件设备安装与调试,包括机器人底盘、机械臂和摄像头等设备的配置。
- 软件环境的配置与安装,包括必要的编程工具、库与调试工具。
- 系统的运行流程介绍,帮助学员理解整体开发流程与测试要点。
学习任务(可选):语音识别
尝试在本地电脑上运行语音识别(或调用云端api)。实现语音转机械臂命令文本。
4. 模块四:进阶课程—Dora机器人系统的介绍、讲解和学习
2024.12.2 周一晚8点-9点
学习目标:掌握Dora机器人中间件的核心概念与操作方法
学习内容:
- Dora系统框架:深入学习Dora中间件的架构设计与功能模块。
- 节点通信与数据流管理:掌握Dora系统中的数据流、节点管理及任务调度,理解其高效协作机制。
- Dora应用示例:通过应用场景演示如何配置与管理Dora系统,提升操作理解力。
学习任务:尝试运行dora示例
在dora成功安装后尝试运行dora的简单示例。参考链接:https://dora-rs.ai/docs/guides/getting-started/conversation_py
5. 模块五:实战课程—Dora机器人系统实操演练
2024.12.4 周三晚8点-9点
学习目标:机器人开发套件应用演示
学习内容:
- 项目展示与问题解决:通过项目展示总结课程所学,并进行系统优化与性能提升。
学习任务(可选):opencv颜色识别
尝试在本地电脑上运行opencv图像识别,实现特定颜色的识别,并将其框出。