手是人类与世界交互的重要部分,手的缺失(如上肢残障)会大大影响人类的正常生活。
北京大学董豪团队通过将扩散模型和强化学习结合,使机械手能根据人手腕部的移动轨迹,自适应的抓取物体的不同部位,满足人类多样化的抓取需求,目前该工作已被NeurIPS2023接收。
有了这个机械手,只要动动手腕,机械手就能按照人类想要的方式抓起物体,比如抓取杯身和杯壁。
由于人类行为的复杂与多变性和真实世界物体的多样性,仅仅根据人手腕部的移动轨迹来不断预测人类想法是一件非常困难的事情。
新方法真正实现了灵巧的抓取,能在真实世界中对于不同的物体,不同的抓取姿态,不同的抓取轨迹进行泛化。
1. 如何抓: 考虑到人类和物体当前的相对姿势,机械手应该如何抓取物体?
2. 何时抓: 机械手应该根据用户历史运动轨在何时、以什么速度执行抓取动作?
首先,如上图所示,新方法将学习人类想要「如何抓取物体」,定义为从一个包含各种抓取姿态的数据集中,学习抓取梯度场Grasping Gradient Field(GraspGF)。
基于当前人手腕部和物体的相对关系,GraspGF会输出一个梯度,这个梯度代表最快提高「抓取可能性」的方向。这个梯度可以转化为对每个手指关节的原始控制,使手指能够通过不断迭代达到适当的抓取姿态。
这样的梯度场可以随着人手腕部和物体的关系的变化,而不断的输出新的梯度指示当前人类的抓取意图,即意向抓取的物体区域及抓取姿态。
然而,只知道「如何抓」并不够完备,如果不知道要「何时抓」(如上图所示),虽然最终的抓取姿态是合理的,但是在达到抓取姿态的过程中会和物体发生碰撞。
如上所示,为了解决「何时抓取」的问题,新方法还训练了一个基于强化学习的残差策略,它首先会输出一个「缩放动作」,根据手腕轨迹的历史,米乐M6 米乐决定手指关节应该以多快的速度沿着原始动作的方向移动。
此外,因为原始策略是基于最终抓取姿态数据集离线训练得到的,原始策略并不了解环境的物理约束 ,残差策略还会输出一个「残差动作」来进一步校正原始动作。
通过结合残差策略,模型能够通过残差策略学习到的「何时抓」更好地实现原始策略学习到的「如何抓」。
该方法在奖励函数的设置上不需要过多的human design,因为原始动作已经提供了一个比较好的「如何抓」的引导,在训练强化学习模型时,除了给定成功抓取和抓取后的高度变化奖励,仅仅只需要一个奖励函数去鼓励机械手跟随原始动作即可。
该方法仅需要成功抓取的抓取姿态数据集用于训练,与需要专家演示的方法相比,不需要大量的人工标注或者工程工作。
GraspGF借助了扩散模型强大的条件生成建模能力,这使它能够根据新颖的用户意图输出有效的原始动作。
残差学习的设计改善了强化学习探索效率低下的问题,提升了强化学习模型在未见过物体和轨迹上的泛化能力。
最终在4900多个物体,200条不同的人类移动轨迹上,新方法都优于基准。
经过测试,该模型在GTX1650的显卡上,能达到150fps的推断速度,能做到与人类的实时交互,也许未来能真正用于辅助手部缺失的人更好地进行日常生活。
本次研究的通讯作者董豪是北京大学的助理教授、博导、博雅青年学者、智源学者,其创立并领导北大超平面实验室(Hyperplane Lab)。
论文一作吴天昊,现为北京大学博士生,导师为董豪老师,研究方向为灵巧手操纵算法。
11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
近日,BCG全球50强榜单正式发布,在前20名中,中国仅有两家企业入选,它们分别为华为和比亚迪,其中华为位列榜单第8名,比亚迪紧随其后,位列第9名。来看具体榜单,1-6名均为美国企业,它们分别为苹果、特斯拉、亚马逊、Alphabet、微软和莫德纳。近日为了冲击年销量300万台,比亚迪海针对旗下王朝、海洋等多款车推出了限时优惠,最高力度超万元,有需要购车的朋友可以重点关注下。
2023TGA游戏大选来了!2023TGA游戏大选投票已经正式开启,各个类别的提名游戏也已经公布,那么2023TGA游戏大选投票在哪里投呢?下面为大家带来2023TGA游戏大选投票的官网地址和国内投票地址。年度最佳游戏提名分别是心灵杀手2、博德之门3、漫威蜘蛛侠2、生化危机4、超级马里奥兄弟奇迹、塞尔达传说王国之泪。
今晚8点,2023天猫双11预售活动将正式启动。今年天猫双11将为消费者带来双重惊喜:跨店满300减50的基础上,增加了官方立减直降商品,满足不同消费者的购物需求。万件爆款商品直降优惠不停歇,每天都有惊喜等你来抢购。
2023年中国内地电影市场累计票房已突破500亿元。国产影片包揽了票房前十名,分别为《满江红》、《流浪地球2》、《孤注一掷》、《消失的她》、《封神:朝歌风云》、《八角笼中》、《长安三万里》、《熊出没·伴我“熊芯”》、《坚如磐石》和《人生路不熟》。其中,国产影片的票房达到了417亿元,占比高达83.4%,而进口影片的票房为83亿元,占比为16.6%。值得一提的是,今
据灯塔专业版,截止11月13日,2023年度电影总票房突破500亿,你贡献几张电影票?当前全年票房中,国产片票房占83.4%,为近10年最高,引进片票房占比16.6%。张艺谋在北影节上表示,《满江红》票房超出他的预料,现在拍电影和过去不太一样,现在经常要预估票房,我当时说过20亿就是伟大胜利。
元象XVERSE宣布开源650亿参数高性能通用大模型XVERSE-65B,无条件免费商用。XVERSE-65B是由深圳元象科技开发的一种支持多语言的大型语言模型。训练框架:自主研发多项关键技术,包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等,让训练效率更高,模型稳定性强,在千卡集群上的峰值算力利用率位居业界前列。
乘联会秘书长崔东树最新发文称,2023年中国汽车市场面临逐步向好的走势。图源备注:图片由AI生成,图片授权服务商Midjourney据悉,今年1-2月,受春节因素和补贴退出等对汽车销量产生了了很大的影响,3-5月受到去年低基数的推动全面同比暴增,6-10月的出口和国内需求较强推动高增长。燃油车方面,2023年10月传统狭义乘用车销量156万台,较去年同期同比增3%,环比上月下降。
艾睿光电SR4红外全景光电搜跟系统荣获多项大奖10月25日,全球备具影响力的安防盛会第十九届中国国际社会公共安全产品博览会暨全球数字城市产业博览会在深圳福田会展中心隆重开幕。艾睿光电携系列新品及全场景产品解决方案精彩亮相,IRS-SR4红外全景光电搜跟系统首秀并斩获数项大奖。InfiRay艾睿光电将持续致力于技术创新和产品升级,为客户提供更加先进、可靠和高效的红外热成像产品和解决方案,充分发挥技术和品牌优势,为实现智慧安防贡献我们的力量。
为加快推进汽车电子高质量发展,以汽车电子创新发展持续推进新型工业化,在广州市人民政府、广东省工业和信息化厅、中国电子信息产业发展研究院指导下,由汽车电子产业联盟、广州市白云区人民政府、广州展联展览服务有限公司、广州工业投资控股集团有限公司联合主办的汽车电子创新周活动将于 2023 年 11 月 20 日- 25 日在广州开幕。本次活动由赛迪传媒、万力轮胎
10月26日,2023领星ERP纵横·增长跨境卖家增长峰会在深圳落下帷幕,超过1000位跨境卖家共聚一堂,共探跨境业务纵横增长的机会与方式。领星ERP携手跨境行业大卖、组织管理专家、品牌营销专家、财税管理专家等为跨境卖家带来了纵横增长打法分享,包含跨境趋势、品牌打造、财税合规、数据价值、组织管理、企业战略、AI创新、广告打法等内容,助力跨境卖家开启纵横增长之
AI 语音检测器是一个 AI 检测工具,可帮助您检测音频是否由人工智能生成还是真实人类生成。保护自己免受音频篡改。
Giiso 写作机器人是一款内容创作 AI 辅助工具,提供热点写作、提纲写作、汽车写作等类型写作,具备智能写作、智能推荐素材、稿件改写、稿件查重、稿件纠错等功能。Giiso 写作机器人是自媒体、新媒体写作的好帮手。Giiso 写作机器人的优势包括智能推荐素材和稿件改写功能,能够提高写作效率和稿件质量。Giiso 写作机器人的定价根据用户需求而定,详情请咨询客服。
easygift.ai是一款利用人工智能技术的礼品推荐服务。它通过分析用户的礼物接受者的个人资料和兴趣,快速为用户推荐量身定制的礼物。用户只需填写一些简单的信息,就能获得个性化的礼品建议,省去了寻找礼物的时间和烦恼。
Lars Solaris是一个每日更新的比特币预测平台。它汇总了你最喜欢的加密货币意见领袖的预测,并每日发送到你的邮箱。你可以了解到最新的比特币价格预测、行情分析和市场趋势。
United GPTs是一个社区合作的列表,提供了最新的GPTs供ChatGPT免费使用。它包括功能、优势、定价、定位等详细介绍。
Framify是一个专为Bubble和Webflow打造的UI组件库,可以极大地提高网站和应用开发效率。它提供大量预设组件、工作流模板和页面布局,开发者可以快速搜索、复制粘贴来重用,大大节省开发时间。Framify定期更新组件,也支持开发者分享自己设计的组件到社区。
Paillor是一个AI助手平台,利用智能AI简化操作和支持现代工作场所。它可以与250多个Saas应用程序无缝集成,提供可嵌入到常用应用程序(如Slack和MS Teams)和内部网的灵活解决方案。Paillor可以管理员工请求,并通过使用机器学习模型来优化工作流程。
Rivit是一个无代码AI工具构建平台。它允许用户使用自己喜欢的模型和集成,在几分钟内构建AI工具。用户可以轻松地与团队或公众共享他们的工具。
Business Plan Factory是一个由专家培训的AI商业顾问,旨在为您的创业成功提供支持。通过分享您的商业创意,您将获得对其潜力的全面评估,并获得可操作的商业计划,所有这些都只需几分钟的时间。
Fastlane AI是一个功能强大的AI助手,可以帮助用户提高生产力。无论是写作、研究学术论文、学习新语言还是编写新应用程序,Fastlane AI都能帮助用户更快地达到目标。它提供各种强大的工具和附加功能,包括与文档聊天、生成精美图片、搜索互联网等。用户可以上传PDF、图书、代码、网页等文件,无需浪费时间即可深入研究。Fastlane AI还支持文档和链接摘要,让用户在几秒钟内获取关键要点。
AltIndex从互联网上下载和分析公司数据,并在一个免费且易于使用的仪表板中进行聚合。它使用多种替代数据点,包括招聘岗位、网站流量、客户满意度评级、应用程序下载量、社交媒体关注者和其他关键指标来跟踪和比较公司的绩效。AltIndex提供独特的AI股票推荐、股票预警和成千上万个替代洞察力,帮助您做出更好的投资决策。
GPTs Hunt是一个为用户寻找适合各种需求的GPT(生成对抗网络)的平台。它提供了多种GPT模型供用户选择,包括OpenAI的ChatGPT4和DALLE3等。用户可以根据自己的需求浏览不同的GPT模型,了解它们的功能、优势、定价和定位等信息,并选择最适合自己的GPT模型。
CustomGPTsList是最大的精选Custom GPTs集合,可一键添加,为您的ChatGPT赋予超能力。该网站提供500多个Custom GPTs,包括GPT函数、网络浏览、图片生成、代码解释器、自定义操作、API等。您可以探索各种Custom GPTs,提高生产力、娱乐、解决问题、创造内容等。CustomGPTsList还提供API接口,可方便地添加到ChatGPT中使用。快来体验吧!
ChatCody是一个在GitHub中嵌入的AI工程师,可以帮助开发者提高生产力。它可以自动处理代码贡献、提供详细的Pull Request审查、优化代码等。ChatCody还具有与开发者交流的能力,可以回答问题、提供实时代码调整等。ChatCody提供简单的安装和使用方式,并注重数据安全和隐私保护。
TalkToHire是一个AI驱动的面试模拟平台,提供深入练习和见解,帮助用户掌握面试技巧。平台提供全面的问题和答案培训,涵盖各种主题和公司相关信息。用户可以获得即时的AI反馈,提高面试技巧。平台还提供行为面试指导和公司特定信息,帮助用户应对不同的面试场景。
Videofast是一个自动生成字幕的工具,可以帮助用户提高视频的观看次数和用户参与度。它可以让观众更容易理解视频内容,并且能够吸引观众的注意力。Videofast还提供其他功能,如定价和定位等。
Mind Your Now是一个易于使用的应用程序,用于管理您的日常任务和活动。它与Google日历和Microsoft Outlook集成,帮助您专注于正确的事情。它还提供智能AI驱动的任务计划,让您更好地控制您的未来。通过Mind Your Now,您可以减少心理负担,更轻松地完成更多任务。
Qosma是一款革命性的AI美容助手,为用户提供个性化推荐、专家洞察和社区驱动的美容技巧。它使用先进的人工智能技术,帮助用户找到最适合他们的美容产品和护肤方案。Qosma提供多种功能,包括个性化推荐、专家洞察、社区交流和定制化护肤方案。它是用户在美容领域的可靠顾问,帮助用户解决美容问题,获得专业的美容建议。
Pixite是一款革命性的时尚产品,利用人工智能驱动的设计,可以定制个性化的T恤、袜子等,通过我们创新的电子商务平台体验时尚的未来。在Pixite上,你的风格与尖端技术相遇。
Summio是一款基于AI的销售自动化工具,能够自动化销售过程中的潜在客户开发、资格认定和会议安排,帮助销售团队提高效率。它能够根据潜在客户在网上的信息自动发送个性化的电子邮件,并处理异议和回答问题。Summio还能够快速跟进高意向的潜在客户,进行资格认定,只与符合特定标准的潜在客户安排会议。Summio就像一个24x7工作的虚拟销售代表,始终准备好为您安排会议。