Robbyant/lingbot-touch

项目介绍

LingBot-Touch 是一个基于 JEPA 的触觉表征模型，面向真实机器人灵巧操作。它在磁性、压阻和视觉触觉三类传感器信号上学习统一的隐空间，使在某一类触觉传感器上预训练的模型无需额外训练即可迁移到不同硬件。本仓库提供冻结的目标编码器、传感器适配器和推理工具，用于提取 token 级特征，不包含预训练代码。适合从事触觉感知与具身智能研究的开发者。

快速使用

先从 Hugging Face 或 ModelScope 下载 LingBot-Touch-Tiny 或 LingBot-Touch-Small 匹配的 config.json 与 encoder.pt，放入 checkpoints/lingbot-touch-tiny/ 或 checkpoints/lingbot-touch-small/。然后在 Linux / Python 3.12 环境安装：

conda create -n lingbot-touch python=3.12.13 pip=26.0.1 -y
conda activate lingbot-touch
python -m pip install "torch==2.11.0" --index-url https://download.pytorch.org/whl/cu130
python -m pip install .

用仓库自带的 Sharpa 样例跑视觉触觉分支：

mkdir -p outputs/sharpa
python infer.py --input-format sharpa \
  --bundle checkpoints/lingbot-touch-tiny \
  --input sample_data/sharpa/001_left.pt \
  --output outputs/sharpa/001_left_features.pt \
  --device cpu

输出文件包含形状为 [B,N,C] 的 latent，以及逐一标注 token 时间、手指和空间位置的 time_id、finger_id、pos_xyz。XHand 样例用 --input-format xhand 走磁性分支，步骤相同。仓库还提供两个平台共 120 个单手样例文件，可按 示例 中的循环批量处理。

数据要求

输入需要先对齐适配器要求的格式：Sharpa 样例为 [1,16,5,200] 标量值，XHand 样例为 [1,16,5,120,3] 三轴值并带已验证的 layout_id。新的原始 taxel 布局需要先拿到经验证的指尖标定参数（旋转、原点、半径、偏移），再走几何归一化；仅张量形状匹配不够，XHand 的映射也只适用于其特定的点序和信号轴约定。可选重采样支持各模态特定的预训练点数。读取特征时，README 建议用注意力查询所有 token，而不是均值/最大值池化或逐 token 线性投影，因为 JEPA token 已混合了时空上下文。输入契约和标定用法见数据接口指南。

HotRepo 点评

在 2026-11-10 首次进入新项目榜时，仓库在约一小时的观测窗口内新增 12 星，从 105 升到 117。窗口很短，不足以判断趋势。可确认的是交付形态：有论文链接、两个平台上的开放权重、冻结编码器推理代码、两个传感器平台的样例，以及 Apache-2.0 许可。仓库明确不包含预训练部分，因此它更像是表征的使用工具链，而不是完整训练栈。