TidyBot开发者指南从环境搭建到代码运行完整部署教程【免费下载链接】tidybotTidyBot: Personalized Robot Assistance with Large Language Models项目地址: https://gitcode.com/gh_mirrors/ti/tidybotTidyBot是一款结合大型语言模型的个性化机器人助手本指南将帮助开发者快速完成从环境搭建到代码运行的全流程部署。通过详细的步骤说明和可视化配置即使是新手也能轻松上手这款强大的机器人系统。准备工作环境与依赖配置 系统要求与基础环境TidyBot推荐使用Ubuntu 20.04.6 LTS系统并通过Conda管理虚拟环境。项目需要创建三个独立环境以分别运行不同模块确保依赖隔离和系统稳定性。核心依赖安装项目主要分为robot和server两个核心模块分别需要安装对应依赖机器人端依赖位于robot/requirements.txtOpenCV 4.6.0.66计算机视觉处理Redis 4.3.4消息队列与缓存服务端依赖位于server/requirements.txtOpenAI 0.26.1语言模型接口PyTorch 1.12.1深度学习框架OpenCV-contrib-python 4.6.0.66增强版计算机视觉库CLIP图像-文本匹配模型快速部署分步安装指南 ⚡1. 代码获取首先克隆项目仓库到本地git clone https://gitcode.com/gh_mirrors/ti/tidybot cd tidybot2. 机器人端环境配置# 创建并激活conda环境 conda create -n tidybot-robot python3.9 conda activate tidybot-robot # 安装基础依赖 conda install numpy1.23.1 pip install kortex_api-2.3.0.post34-py3-none-any.whl pip install -r robot/requirements.txt3. 服务端环境配置# 创建并激活conda环境 conda create -n tidybot-server python3.9 conda activate tidybot-server # 安装基础依赖 conda install numpy1.23.1 conda install pytorch1.12.1py3.9_cuda11.3_cudnn8.3.2_0 cudatoolkit11.3 -c pytorch pip install -r server/requirements.txt # 编译最短路径算法模块 cd server/shortest_paths python setup.py build_ext --inplace cd ../../4. 硬件校准与参数配置相机校准TidyBot使用天花板安装的Logitech C930e摄像头进行环境感知需要通过以下步骤完成校准图1相机校准前的初始安装状态需确保镜头垂直向下运行校准工具python server/camera_alignment.py按照工具提示标注工作区域的四个角落系统将自动完成图像坐标到物理坐标的映射。校准完成后效果如下图2校准后的相机视图可清晰识别地面标记网格参数配置文件根据实际硬件修改以下配置文件机器人参数robot/constants.py服务端参数server/constants.py相机参数server/camera_params/目录下的YAML文件功能验证核心模块测试 ✅标记检测功能运行标记检测测试验证相机能否准确识别地面标记python server/detect_markers.py图3标记检测系统成功识别地面 fiducial markers精度达厘米级机器人控制测试启动控制器测试程序验证机械臂和移动底盘的基本运动python robot/controller.py高级配置优化与扩展 性能优化建议摄像头分辨率调整虽然C930e支持1080p但推荐使用720p以提高处理速度电机校准定期校准移动底盘电机通过robot/driver/motor-offsets-*.txt文件缓存配置Redis缓存优化可提升系统响应速度robot/requirements.txt中已包含Redis依赖功能扩展路径场景配置通过server/scenarios/目录下的YAML文件定义新的任务场景模型更新修改server/vild.py文件集成新的目标检测模型交互界面扩展server/demo.py实现自定义控制界面常见问题解决 ️相机无法识别标记检查相机焦距是否正确对焦到地面确保工作区域光线均匀避免反光重新运行camera_alignment.py校准程序依赖冲突解决如果遇到PyTorch与CUDA版本不匹配问题可尝试conda install cudatoolkit11.2 cudnn8.1.0 -c conda-forge pip install torch1.12.1cu113 torchvision0.13.1cu113 --extra-index-url https://download.pytorch.org/whl/cu113总结通过本指南您已完成TidyBot从环境搭建到功能验证的全部流程。如需深入了解某一模块可参考机器人控制逻辑robot/controller.py标记检测算法server/marker_detector_server.py场景配置文件server/scenarios/TidyBot的模块化设计使其易于扩展您可以根据需求添加新的传感器支持或任务逻辑打造个性化的机器人助手系统。【免费下载链接】tidybotTidyBot: Personalized Robot Assistance with Large Language Models项目地址: https://gitcode.com/gh_mirrors/ti/tidybot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考