思维盆地实验室

同一个 agent 跑 8 次,为什么差 30 分——八次独立运行台 · 盆地地图 · 追加算力实验 · Fork-and-Flush 策略台

IDEA BASIN · 记忆越多,搜索越窄

思维盆地实验室

同一个 autoresearch agent、同一个任务、同一套参数,独立跑 8 次——终点能差几十分。 而给跑得差的那次追加再多算力,它也在原地打转。 本页把「记忆会把搜索锁死」这件事做成一个可以亲手拨滑杆的玩具。

68.3 → 100.0
📖 论文 8 次终分区间
5
📖 论文盆地数
+66.0%
📖 等预算相对提升
47.7
🧮 本站 8 次分差
⚠️ 论文数值与本站 toy 数值不可比:上面前三项是 arXiv:2610.07447v1 的真实实验结果(📖), 最后一项是本站 8 维多峰景观上的模拟读数(🧮)。两者只有形状与方向对齐,量级没有对应关系。

🎛️ 参数(改任一项,8 条轨迹全部重跑)

每个运行总共能做多少次评估

接受更差提议的概率

局部扰动的标准差

每次打分叠加的观测噪声

历史质心把下一步提议往回拉的 strength —— 本工具的主角

只改 agent 的随机数,不改景观——8 条轨迹的 seed 由它派生

🧮 同一景观、同一套参数,跑 8 次

景观固定 · seed 只改 agent 随机数
0255075100迭代次数 →best-so-far 分数
#1 · 85.9 · 跳出 1 次#2 · 67.6 · 跳出 0 次#3 · 38.2 · 跳出 2 次#4 · 63.5 · 跳出 0 次#5 · 54.8 · 跳出 1 次#6 · 74.6 · 跳出 0 次#7 · 75.9 · 跳出 2 次#8 · 50.5 · 跳出 0 次

末端分数分布

138442505626268274180中位 65.5

🧮 三个真算出来的量

最差 / 最好38.2 / 85.9差 47.7 分
中位数65.58 次里有一半在这之下
总跳出盆地次数68 条轨迹加起来
⭐ 8 条曲线各自的 plateau 高度是真算出来的,不是硬编码:不同的随机初值把它们送进了不同的吸引域, 而「记忆锚定 + 步长随上下文衰减」让每条轨迹一旦落进某个盆地就基本不再出来。
🧮 本站真算 · 📖 论文真值(arXiv:2610.07447v1)· ⚠️ 教学模型。 本工具不调用任何 LLM:8 条轨迹由确定性 PRNG(mulberry32)驱动,改参数即变、同参数必同结果。