《张新宇-RLChina-具身智能论坛-2023-11-26_watermark.pdf》由会员分享,可在线阅读,更多相关《张新宇-RLChina-具身智能论坛-2023-11-26_watermark.pdf(38页珍藏版)》请在三个皮匠报告上搜索。
1、智能体精细灵巧操作的几个问题智能体精细灵巧操作的几个问题张新宇智能机器人实验室教育部软硬件协同设计与应用工程中心华东师范大学 软件工程学院2023-11-26背景背景机器人对物体灵巧操作机器人对物体灵巧操作背景背景机器人对物体灵巧操作机器人对物体灵巧操作背景背景机器人对物体灵巧操作机器人对物体灵巧操作背景背景虚实环境物体灵巧操作虚实环境物体灵巧操作背景背景虚实环境物体灵巧操作虚实环境物体灵巧操作背景背景虚实环境物体灵巧操作虚实环境物体灵巧操作研究难点研究难点1 1手的灵巧性手的灵巧性相对简单难度高parallel gripperthree-finger handmulti-finger dex
2、terous hand研究难点研究难点2 2物体的复杂性物体的复杂性简单复杂高度复杂相对简单难度高研究难点研究难点3 3数据收集不易、可扩展性差数据收集不易、可扩展性差光学追踪数据手套视频驱动研究难点研究难点4 4计算抓取稳定性定义模糊计算抓取稳定性定义模糊被抓物体的形状抓取动作的规划手跟物体的碰撞,防止发生穿透手与物体接触点的信息抓取的稳定性度量一些初步的研究成果一些初步的研究成果处理复杂物体处理复杂物体物体简化物体简化/分解分解El-Khoury et al.2008Herzog et al.2012Miller et al.2003Goldfeder et al.2007处理复杂物体处理
3、复杂物体高复杂物体高复杂物体处理复杂物体处理复杂物体高复杂物体高复杂物体我们通过计算二者构成的位姿空间,利用机器学习和粒子群优化计算抓取的稳定姿态简化成在位姿空间搜索抓取空间简化成在位姿空间搜索抓取空间虚拟环境中的物体灵巧操作虚拟环境中的物体灵巧操作精细操作时的碰撞规避精细操作时的碰撞规避精细操作时的碰撞规避精细操作时的碰撞规避时间距离机械臂A和机械臂B之间的距离机械臂A和B是否碰撞的判断依据如下所示,0,1 ,0非碰撞碰撞AB ,精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型时间距离机械臂A和机械臂B之间的距离 0,1 ,距离函数dist的下边界函数为 dist,且满足 机械臂A和
4、B在给定时段 0,1内运动,其碰撞检测的判断依据如下所示,0上边界下边界非碰撞碰撞 dist精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型111222A21泰勒模型精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型精细操作时的碰撞规避精细操作时的碰撞规避泰勒模型泰勒模型遮挡情况下的抓取遮挡情况下的抓取移除遮挡物的任务规划移除遮挡物的任务规划杂乱场景下的抓取杂乱场景下的抓取相关论文相关论文 SIGGRAPH,ICRA,TRO,iROSSIGGRAPH,ICRA,TRO,iROS 1 Pan Jia,Zhang Xinyu,Manocha Denish,Efficient Pene
5、tration Depth Computation using Active Learning,ACM SIGGRAPH ASIA,November,2013.(ACM Transactions on Graphics)(CCF-A)2 Xinyu Zhang and Young J Kim.2014.Scalable Collision Detection using p-partition Fronts on Many-core Processors.IEEE Transactions on Visualization and Computer graphics 20,3(2014),44
6、7456.(CCF-A)3 Zhang Xinyu,Kim Young J.,Manocha Denish,Continuous Penetration Depth,SIAM Conference Solid and Physical Modeling(Journal of Computer-Aided Design),2013.(CCF-B)4 Tian Hao,Wang Changbo,Manocha Dinesh,Zhang Xinyu(通讯作者),Realtime Hand-Object Interaction using Learned Grasp Space for Virtual
7、 Environments,IEEE Transactions on Visualization&Computer Graphics,2019.(CCF-A).5 Tian Hao,Zhang Xinyu,Wang Changbo,Manocha Dinesh,Pan Jia.Efficient Global Penetration Depth Computation using for Articulated Models,Journal of Computer-Aided Design,October 12-14,2015.(CCF-B)6 Tian Hao,Wang Changbo,Ma
8、nocha Dinesh,Zhang Xinyu,Transferring Grasp Configurations using Active Learning and Local Replanning,IEEE International Conference on Robotics and Automation,May 2019,Montreal,Canada.(CCF-B)7 Tian Hao,Wang Changbo,Manocha Dinesh,Zhang Xinyu.Interactive Grasping for High-genus Objects using Configur
9、ation Space Learning,International Conference on Intelligent Robots and Systems(IROS),October,1-5,2018 Madrid,Spain(CCF-C)8 Hao Tian,Chaoyang Song,Changbo Wang,Xinyu ZHANG,Jia Pan.Sampling-based Object Retrieval Planning in Cluttered Scenes using Hierarchical Graphs,IEEE Transactions on Robotics,202
10、3,39(1)(CCF-A)9 Mingze Wei,Yaomin Huang,Zhiyuan Xu,Ning Liu,Zhengping Che,Xinyu Zhang(通讯作者),Chaomin Shen,Feifei Feng,Chun Shan,and Jian Tang.CMG-Net:An End-to-End Contact-based Multi-Finger Dexterous Grasping Network,IEEE International Conference on Robotics and Automation(ICRA),May 29-June 2 2023,L
11、ondon,UK.(CCF-B)10 Zhou Miaoying,Zhang Xinyu,Fast Collision Checking for Dual-Arm Collaborative Robots Working in Close Proximity,IEEE International Conference on Robotics and Automation(ICRA),May 23-27 2022,Philadelphia(PA),USA.(CCF-B)进行中的研究进行中的研究精细操作精细操作单手复杂操作单手复杂操作精细操作精细操作单手复杂操作单手复杂操作精细操作精细操作单手复杂
12、操作单手复杂操作智能体精细灵巧操作的几个问题智能体精细灵巧操作的几个问题智能机器人运动与视觉实验室华东师范大学 软件工程学院2023-11-26张新宇Mechanism,Mobility,Manipulation智能机器人运动与视觉实验室华东师范大学 软件工程学院2023-11-26张新宇四足机器狗四足机器狗复杂环境复杂环境四足机器狗四足机器狗经典控制经典控制 v.s.强化学习强化学习四足机器狗四足机器狗单相机强化学习单相机强化学习四足机器狗四足机器狗复杂环境复杂环境四足机器狗四足机器狗复杂环境复杂环境开源开源 GiteeGitee/GithubGithub 强化学习控制算法与系统(昇腾机器人实验室)1 https:/ https:/