鹅厂新员工，靠手吃饭

衡宇 发自 凹非寺

量子位 | 公众号 QbitAI

注意看，这个机器人灵巧手，主打的就是能和人手灵活程度媲美的操作能力。

可适应不同场景，灵活规划动作，还能自主完成操作。

它的名字叫TRX-Hand，是腾讯Robotics X实验室公布的最新机器人研究进展，同时亮相的还有自研机器人机械臂TRX-Arm——这是Robotics X实验室首次展示在灵巧操作领域的成果。

与灵巧手不同，机械臂TRX-Arm主要针对人居环境研发，拥有七自由度和拟人的特性，具有灵巧、爆发力强、触控一体以及柔顺安全等特点。

8个可独立控制关节

展示过程中，设定了一个花式调酒的场景。

要调制一杯酒，机器人需要对多种物体连续进行30多次操作，不仅涉及瓶子、杯子、搅拌棒等多种常见物体，还需要机器人用多种动作操作这些物体。

其中，既有抓、放、倒这些常规操作，还有旋转、摇晃等双手协同动作，以及更高难度的抛接、翻转等动态操作和插孔、穿刺、搅拌等精细操作动作。

一般来说，机器人技术根据智能程度可分为三个阶段：

• 只能完成固定命令的程序机器人；
• 能够感知周围环境的自适应机器人；
• 能够自主学习和决策的智能机器人。

常见的工厂流水线机械臂以及拉面机器人等，属于第一阶段，只能在单一的场景内重复固定动作。

具备灵巧操作能力的机器人则属于第二和第三阶段，现实生活中有大量操作场景，如拾取物品、倒水等。

想要在各类场景里灵活操作物体，机器人必须能感知环境、理解物体、评估状态、预测行为并自主规划完成物体操作，这意味着机器人必须得感知丰富、能决策、执行力可靠。

运动能力方面，得益于创新的刚柔混合驱动专利技术和自研高功率密度驱动器，腾讯灵巧手TRX-Hand兼具高灵巧和高负载速度的特性。

它拥有8个可独立控制关节，自重仅1.16千克，最大持续指尖力可达15牛，最大关节速度不低于600度/秒，可轻松应对不同形状尺寸物体的抓取和操作，对高动态的抛接动作也游刃有余。

同时，柔性驱动的指尖设计有效提升了手指的抗冲击能力。

多传感器融合

在感知能力上，灵巧手在指尖、指腹和掌面均覆盖了自研的高灵敏度柔性触觉传感器阵列，掌心处安装有微型激光雷达和接近传感器。

同时每一个关节均集成了角度传感器，保证灵巧手在抓取和操作过程中能准确地感知自身与物体状态信息。

考虑到人居环境中充斥着透明、反光、细小的物体，以及由遮挡、光照、打滑等因素造成的各种不确定性，机器人想要精准可靠地获取物体信息，就需要结合多种传感信息，如视觉、接近觉、触觉和力觉等。

这些不同模态传感信息各有各的特点——

如，相机可以看到场景全貌，为机器人做全局运动规划提供必要信息；

接近觉在机器人靠近环境物体过程中提供更实时的反馈，弥补系统建模的误差，使机器人更精准地获取物体；

触觉可以感知相机无法看到的接触细节，包括接触位置和形状，实时感知手内物体的状态；

力觉使机器人感知与环境/物体交互时的整体受力情况，使交互更为轻柔和自然。

腾讯Robotics X实验室对不同传感器进行了建模与标定，采用多传感器信息融合技术，使机器人能在各种操作任务中更全面及时地感知物体信息、自身运动状态以及与环境的物理交互，从而更可靠地完成任务。

软硬结合，让机器人“动手”

造机器人，不仅对本体和传感器等硬件有着极高要求，软件算法也核心要件之一。

Robotics X本次展示的机器人能够顺畅完成一系列操作，是因为在六自由度工业机械臂上搭载灵巧机器手TRX-Hand以及自主开发的感知与控制算法。

针对抓放物体与倒水等常规动作，首先基于视觉和触觉对物体进行实时识别与定位，利用在线规划算法，让机器人能够计算出臂手的最佳构型与安全运动轨迹。

随后，在执行中利用手上三种传感器进行自适应调整，进一步保证动作执行的精度与可靠性，同时借助机械臂末端六维力传感器感知与环境的交互力，避免猛烈碰撞。

让机器人的“双手”在高速运动的同时保持协同极具挑战，协同失误会产生过大冲击或应力，损伤被操作物体甚至机器人本身。

调酒过程中，腾讯Robotics X实验室展示的机器人结合视触觉融合的手内物体姿态估计与基于机械臂末端力传感信号的力位混合控制，实现了酒瓶与摇酒器高速旋转倒酒、大小摇酒器相扣摇酒等双手协同动作。

本次展示中，腾讯Robotics X实验室让机器人顺利完成“抛接”等高难度的动作，这类动作有很高的实时性要求，感知或执行上的细微误差都会导致操作失败。

这个过程中，研究团队创新性地提出了基于机器人本体感知的抓抛过程建模与物体飞行轨迹预测方法，有效弥补传统视觉算法在短距离、强遮挡、高动态操作场景下的局限性，实现了高精度、高时效的抓抛物体飞行轨迹预测。

此外，团队还提出了飞行物体的最优拦截时间、最优拦截位姿与最优拦截轨迹的计算方法，以动作持续时间、机器人运动能量以及与物体的接触力为优化目标，能在数毫秒内完成计算，实现对快速飞行物体的平稳拦接。

在搅拌棒插孔和使用签子插葡萄的任务中，不锈钢搅拌棒和金属签子都是无纹理、高反光的细长物体，搅拌棒直径8mm，与孔直径相差仅1mm，签子直径不足2mm，这给物体的识别与定位带来不少挑战。

尤其是搅拌棒在经过一系列搅拌动作后并不一定停留在原来的手内位置，其在接近孔时会对孔造成遮挡，它的反光表面更会倒映出孔造成视觉的混淆。

对此，研究团队在仅依靠机器人头部相机的条件下，通过对物体间相对位置的估计，并融入触觉感知，获得了稳定的搅拌棒、孔和签子的识别与定位。

此后，通过力觉感知到插孔失败后能抬起手臂再次尝试，通过几次试探使搅拌棒逐渐接近真实孔位、确保完成插孔操作，展示了机器人能实时感知任务状态，识别失败并自主调整策略，最终成功完成任务的调整和容错能力。

此外，高分辨率的指尖触觉让机器人精巧的手内操作成为可能。

所谓手内操作，指的是仅利用手指来操控手里的物体，改变其位姿和状态。这是一种充分发挥手指运动能力的技能，能以最小能耗达到操作物体的目的，同时也对手部的感知能力和控制精度有极高要求，是“灵巧”性的集中体现。

人类在日常生活中大量使用手内操作，例如搅拌汤勺、写字、使用筷子等。但对于机器人来说，手内操作非常有挑战性，在“感知——控制”回环的任一部分稍有差池，就会造成物体掉落和任务失败。

演示中，机器人以指尖抓住一根细长的搅拌棒，先以臂手协同的方式大力搅拌杯子里的液体，然后静止手臂，以纯手指运动的方式平滑柔顺地搅拌。

其中，后者的手内操作结合了深度强化学习和sim2real等技术，使用了指尖传感器实时反馈接触状态，生成三个手指的协同运动，同时对搅拌棒施加合适的力，在保证搅拌棒不掉落的前提下，驱动搅拌棒按期望轨迹搅拌杯子里的液体，充分展现机器人的灵巧操作能力。

绳索传动与差分驱动相结合的机械臂

腾讯自主研发的高性能七自由度拟人机械臂TRX-Arm也首次对外亮相。

不同于传统的协作型机械臂，TRX-Arm采用了绳索传动与差分驱动相结合的方式，不仅有效降低了传动摩擦和运动惯量，还实现了多电机多关节协同驱动，具有高动态运动的能力。

其最大速度7.4m/s，最大加速度44.5m/s（2），可负载6kg以上。同时，其前臂集成了768点的触觉阵列，其刷新频率高达1000Hz，以此实现了酒瓶在滚动和平衡过程中的高频实时定位。

据悉，腾讯Robotics X实验室将继续推动自研机器人灵巧手TRX-Hand和机械臂TRX-Arm的融合，并引入深度学习等前沿算法，提升机器人的灵巧操作能力和解决复杂问题的能力，让其更好地服务现实需求。

腾讯Robotics X实验室致力于机器人前沿技术的研究，打造人机共存、共创和共赢的未来，此前已经推出多模态四足机器人Max和轮腿式机器人Ollie等多款自研机器人。

接下来，腾讯将继续探索机器人前沿技术，推动机器人技术在养老护理、居家服务、智能制造等领域的落地应用。