Goal Selector（LLM code generation 将指令分解为目标）、Planning & Control（D* + MPPI）、Event Descriptor（多模态 LMM 描述事件）、Emotion Evaluator（LLM few-shot 评估 upsetness + guiltiness）。
基于 E2Map 论文的系统架构介绍、E2Map 数学定义与情绪模型（高斯混合场）
理解 E2Map 的四模块架构、E2Map 的张量表示，以及基于高斯混合的情绪模型
建议具备概率论（高斯分布）和机器人导航（栅格地图、D* 算法）基础。
🎯 本讲主题
机器人导航中，传统地图缺少对"经验"和"情绪"的记忆。E2Map 将交互经验编码为地图上的情绪场，使导航决策具备自反性（self-reflective）。本讲覆盖论文的系统架构、E2Map 的数学定义和初始情绪模型。
📄 论文依据
本讲内容全部基于 E2Map: Experience-and-Emotion Map for Self-Reflective Robot Navigation with Language Models (Kim et al., SNU & Stanford, 2024/2025)。所有公式、架构、数据均来自原文。代码：e2map.github.io
传统导航地图（如占据栅格地图、语义地图）只包含静态的空间信息——哪里是障碍物、哪里是空地、哪里有什么物体。这些地图无法回答一个关键问题：
🤔 关键缺失
曾经在某条走廊摔倒过的机器人，下次经过时应当如何调整行为？传统地图只能告诉它"这里没有障碍物"，却无法表达"这里曾发生过不好的事"。
人类的导航行为受情绪和经验深刻影响。一次惊吓经历会让人主动避开某条路，即使那条路从几何上看完全可行。E2Map 的目标是让机器人也具备这种自反性（self-reflective navigation）：
E2Map 的灵感来自认知科学和心理学——情绪体验会调节空间记忆和行为决策。论文引入 Weber-Fechner 定律（心理物理学中描述感知强度与物理刺激关系的经典定律）来建模情绪强度的"感知增长"，我们将在下一讲深入讨论。
| 标题 | E2Map: Experience-and-Emotion Map for Self-Reflective Robot Navigation with Language Models |
| 作者 | Chan Kim, Keonwoo Kim et al. (Seoul National University, Stanford) |
| 代码 | https://e2map.github.io/ |
| 核心思想 | 将 LLM/LMM 评估的情绪分数编码到地图中，实现自反式导航 |
E2Map 系统由四个核心模块组成，协作完成"语言指令 → 导航执行 → 事件评估 → 地图更新"的闭环：
利用 LLM code generation 将自然语言指令分解为可执行的目标列表。例如"去厨房拿一瓶水" → [到达厨房, 抓取水瓶]。
输入：自然语言指令 → 输出：目标列表
用 D* algorithm 做路径规划（以情绪为代价），MPPI（Model Predictive Path Integral）做底层控制。
输入：目标 + E2Map → 输出：控制信号
多模态 LMM（类似 GPT-4o），输入事件发生前/中/后三张图像，输出事件描述文本 $l_{\text{evt}}$。
输入：前中后 3 张图像 → 输出：事件描述
LLM few-shot prompting，评估事件描述的二维情绪：upsetness (0–3) + guiltiness (0–3)，总分 $s_{\text{emo}} \in [0, 6]$。
输入：事件描述 → 输出：情绪分数
🔄 工作流
语言指令 → Goal Selector → 按目标列表执行 → 导航中遇到事件 → Event Descriptor 拍摄三张图并描述 → Emotion Evaluator 评分 → 更新 E2Map → 路径重规划 → 调整行为。整个过程实现 one-shot behavior adjustment：一次事件就能改变机器人的后续路径选择。
E2Map 是一个多通道的张量，定义为：
俯视栅格地图（top-down grid map）的空间尺寸。将三维环境投影到二维俯视图上。
视觉-语言特征维度。用 LSeg（语言驱动分割 VLM）编码 RGB 图像，将像素级语义特征映射到栅格。
情绪参数维度。每个栅格存储情绪模型的参数（高斯分布的均值和协方差）。
E2Map 由两部分拼接而成：
这种双通道设计使得 E2Map 同时具备语义理解和情绪记忆两种能力——前者回答"这是什么"，后者回答"这里发生过什么感受"。
E2Map 的情绪模型不是简单的成功/失败计数器，而是一个基于多元高斯分布加权和的连续场：
其中各符号的含义如下：
| 符号 | 含义 | 说明 |
|---|---|---|
| $\mathcal{N}_{p_i}(x)$ | $\mathcal{N}(x \mid \mu_{p_i}, \Sigma_{p_i})$ | 以占据栅格 $p_i$ 为中心的二维高斯分布 |
| $\mu_{p_i}$ | $[x, y]^{\mathsf{T}}$ | 高斯分布的中心位置（栅格 $p_i$ 的坐标） |
| $\Sigma_{p_i}$ | $\operatorname{diag}(\sigma_x^2, \sigma_y^2)$ | 对角协方差矩阵，控制情绪传播的空间范围 |
| $w_{p_i}$ | $1 / N_{\text{val}_{p_i}}$ (式2) | 有效高斯分布数量的倒数，确保归一化 |
💡 设计思想
每个栅格 $p_i$ 的情绪用一个高斯分布表示，均值在栅格中心，协方差决定情绪影响的空间范围。所有高斯分布加权求和形成一个连续的情绪场。权重 $w_{p_i} = 1 / N_{\text{val}}$ 确保所有有效高斯分布对情绪场的贡献总和归一化。
情绪分数 $s_{\text{emo}}$ 的生成过程如下：
🔜 下一讲预告：E2Map 更新机制
情绪场如何更新？E2Map 的更新机制基于 Weber-Fechner 心理物理学定律：
其中 $v_k$ 是事件发生时机器人朝向的方向分量，$T$ 是 temperature 参数。负面情绪（$s_{\text{emo}} < 4$）导致高斯分布协方差扩展，情绪影响范围增大；正面情绪使分布收缩。这是下一讲（0026）的核心内容。
E2Map 的完整导航流程（Algorithm 1 in paper）包含以下步骤：
⚡ One-Shot Behavior Adjustment
E2Map 的关键优势：一次负面事件就能立即调整后续的导航行为。传统方法需要多次统计才能学会避开某个区域；E2Map 通过情绪评价和 Weber-Fechner 更新，单次事件就能改变路径规划的行为偏好。
完整的算法细节、实验设置和仿真/真实世界结果将在下一讲（0026）中详细介绍。
E2Map 系统包含哪四个核心模块？
Goal Selector（LLM code generation 将指令分解为目标）、Planning & Control（D* + MPPI）、Event Descriptor（多模态 LMM 描述事件）、Emotion Evaluator（LLM few-shot 评估 upsetness + guiltiness）。
E2Map 的张量维度是什么？每个维度的含义是什么？
$M \in \mathbb{R}^{\bar H \times \bar W \times (C_{\text{lang}} + C_{\text{emo}})}$。$\bar H \times \bar W$ 是俯视栅格地图的空间尺寸；$C_{\text{lang}}$ 是 LSeg 编码的视觉-语言特征维度；$C_{\text{emo}}$ 是情绪参数维度。
E2Map 的情绪模型是如何定义的？
施老师大课堂 · 组内分享 · 张健强 · E2Map：架构与经验场 · 内容基于 E2Map 论文 (Kim et al., SNU & Stanford, 2024/2025)