ShiyuZhang/Large-scale_Agent_Network_Simulation_Modeling
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

新增实验代码等

Browse Source
This commit is contained in:
Ian_SY_Zhang
2026-08-13 16:17:59 +08:00
parent 718e371eb5
commit 2897b32d0d
56 changed files with 19641 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
deliverables/01_整体设计思路.md
+357
View File
@@ -0,0 +1,357 @@
---
title: "大规模多智能体网络流量建模与预测"
subtitle: "整体设计思路（参赛材料初稿）"
author: "参赛团队：待填写"
date: "2026年8月"
toc: true
toc-title: "目录"
number-sections: true
---
# 本次修订说明
**修订日期：2026年8月13日**
本版本在原有整体设计框架上增加了“模拟实验设计流程”，主要改动如下：
- 在“数据与参数设计”章节新增 **5.3 模拟实验设计流程**；
- 增加“场景定义—大模型生成行为画像—参数校验—结构化日志生成—训练集估参—验证集调参—测试集评估—实验输出”的完整闭环；
- 说明大模型只生成少量任务行为画像，本地程序负责扩展大量事件日志，以保证消息关系、时间顺序和统计口径一致；
- 增加模拟实验各环节的工作内容和质量控制表；
- 明确实验支持无 API Key 的本地画像模式和兼容 OpenAI 接口的 LLM 模式；
- 将答辩 PPT 建议由 14 页调整为 15 页，新增“模拟实验设计流程”展示页；
- 强调模拟数据用于快速验证模型机制，不等同于真实生产日志，后续需要使用真实数据校准。
对应实验代码位于 `agent_traffic_experiments/`，可生成事件日志、估计参数并运行预测验证、基线对比、压力和重试实验。
# 项目摘要
随着大语言模型从单体问答逐步发展为多智能体协作系统，任务拆分、Agent 间协商、工具调用、数据查询、结果回传和超时重试会产生大量内部消息。系统规模扩大后，通信流量不再只由用户请求量决定，还受到节点能力、任务阶段、网络拓扑、队列负载和故障重试的共同影响。传统的静态流量估算或单一排队模型难以还原这种“业务行为驱动网络流量”的动态过程。
本项目提出一套面向大规模 Agent 网络的流量建模与预测方案。方案以动态通信图描述节点连接，以外层状态机描述消息跨节点传播，以内层状态机描述节点接收、排队、思考、调用、等待、重试和发送等行为，并采用离散事件仿真计算节点流量、链路负载、端到端时延、队列长度和故障放大效应。模型参数可从小规模 Agent 运行日志和压力测试中估计，再通过分层参数和能力特征推广到更大规模网络。
> 核心设计：动态通信图 + 双层随机状态机 + 消息队列 + 离散事件仿真 + 分层参数学习 + 流量与拥塞评估。
# 一、研究背景与问题提出
## 1.1 背景
典型的多智能体系统通常包含协调 Agent、执行 Agent、检索服务、工具服务、数据库以及模型推理服务。一次外部任务可能经历如下过程：
1. 协调节点解析任务并拆分子任务；
2. 多个执行节点并行处理；
3. 执行节点调用工具或查询数据；
4. 工具结果返回后继续推理；
5. 失败请求触发超时、重试或改道；
6. 协调节点汇总结果并返回用户。
因此，一条外部请求可能放大为数十条内部消息。随着 Agent 数量和并发任务增加，系统会出现热点节点、队列堆积、链路拥塞、超时重试放大等现象。若无法提前预测这些行为，就难以完成容量规划、资源调度和可靠性设计。
## 1.2 现有方法的不足
- **静态倍数估算**只能给出平均流量，不能描述任务阶段和故障状态下的变化。
- **单纯拓扑模型**只能说明节点是否可达，不能说明节点为何产生新消息。
- **单一排队模型**能够分析等待时间，但难以表达拆分、工具调用和多轮协作。
- **完全数据驱动模型**需要大量大规模真实日志，冷启动成本高且解释性不足。
## 1.3 核心问题
本项目试图解决三个问题：
1. 如何用统一模型描述不同 Agent、工具和服务的通信行为？
2. 如何从小规模日志估计参数，并推演大规模网络的流量和延迟？
3. 如何刻画“拥塞—超时—重试—流量增加”的动态反馈过程？
# 二、项目目标与应用价值
## 2.1 建模目标
给定网络拓扑、节点能力、外部任务负载及行为参数，模型输出：
- 每个节点的入站和出站消息率、字节流量；
- 每条链路的消息数、字节数及带宽利用率；
- 任务平均时延以及 P95、P99 尾延迟；
- 节点队列长度、资源利用率和吞吐量；
- 消息平均跳数、任务内部消息数和流量放大系数；
- 超时、失败和重试条件下的额外流量；
- 热点节点、瓶颈链路和系统容量拐点。
## 2.2 应用价值
| 应用场景 | 模型提供的能力 | 可支持的决策 |
|---|---|---|
| 上线前容量规划 | 预测不同任务量下的节点与链路负载 | 配置并发数、实例数和带宽 |
| Agent 编排优化 | 比较不同拓扑和路由策略 | 减少跳数、热点与无效协作 |
| 故障与可靠性设计 | 模拟节点故障、超时和重试 | 选择重试次数、退避策略和备用节点 |
| 在线运维 | 根据日志校准模型并识别偏差 | 发现异常流量和潜在拥塞 |
| 成本评估 | 估计内部消息量、字节量和工具调用次数 | 对比不同架构的通信与计算成本 |
# 三、总体设计框架
## 3.1 总体技术路线
项目分为数据层、参数层、模型层、仿真层和评估层。
```text
Agent运行日志、拓扑配置、压力测试数据
↓
数据清洗、任务链还原、特征提取
↓
状态转移概率 / 持续时间 / 消息大小 / 失败与重试参数
↓
动态通信图 + 外层传播状态机 + 内层节点状态机 + 队列模型
↓
离散事件仿真
↓
节点流量 / 链路流量 / 延迟 / 吞吐量 / 拥塞 / 可靠性
↓
实测对比、基线对比、消融和压力实验
```
## 3.2 五层架构
| 层次 | 主要内容 | 关键产物 |
|---|---|---|
| 数据层 | 采集任务、消息、状态、队列和链路日志 | 标准化事件日志 |
| 参数层 | 估计概率、分布、容量和路由参数 | 参数配置与置信度 |
| 模型层 | 图模型、双层状态机、队列和流量公式 | 数学模型 |
| 仿真层 | 事件队列、状态更新、消息生成和统计 | 可运行仿真器 |
| 评估层 | 正确性、精度、扩展性和鲁棒性验证 | 实验报告与图表 |
# 四、核心模型设计
## 4.1 动态通信图
系统表示为随时间变化的有向图：
$$
G(t)=(V(t),E(t))
$$
其中节点可以是 Agent、模型服务、工具或数据库，边表示允许的通信关系。节点不被永久划分为固定角色，而是通过能力向量描述：
```text
can_reason, can_split_task, can_call_tool,
can_query_database, can_forward, max_concurrency
```
同一个节点可以在不同任务阶段承担协调、执行、查询或转发功能，从而提高模型对异构系统和新节点的适应能力。
## 4.2 外层状态机：消息如何跨节点传播
外层状态机描述消息当前所在节点、路径位置、交互上下文以及下一目标节点。它回答“消息去哪里”的问题。
```text
外部任务 → 协调节点 → 执行节点 → 工具节点
↓ ↑
等待结果 ← 返回结果
↓
协调节点 → 外部系统
```
目标节点选择同时考虑可达性、节点能力、网络距离、队列负载和链路利用率。
## 4.3 内层状态机：节点收到消息后做什么
模型严格区分节点资源状态和消息处理状态：节点资源状态 $q_v\in\{Idle,Busy,Saturated,Failed\}$ 描述节点整体的资源占用情况；消息处理状态 $q_m$ 描述一条消息或任务处理上下文当前所处的业务阶段。下面的状态机属于 $q_m$，同一节点可以同时维护多个 $q_m$，但活跃上下文数量不得超过 `max_concurrency`。
所有节点共享一套通用状态集合：
```text
Idle → Receive → Queue → Think
├→ Send
├→ Split → Wait
├→ CallAgent → Wait
├→ CallTool → Wait
├→ Query → Wait
└→ Forward → Wait
Wait → Think / Retry → Failed
Send / Failed → Idle
```
能力和拓扑先决定某个动作是否可行，条件概率模型再在可行动作中选择下一状态。例如，没有工具调用能力或邻域中没有可用工具时，`Think → CallTool` 的概率直接为零。
## 4.4 分层参数与小样本泛化
状态转移概率不是所有节点共用的固定常数，而是由任务、阶段、能力、拓扑和负载共同决定：
$$
P(q'\mid q,c,x_v,z_v,m,\ell_v)
$$
采用“全局基础参数—任务修正—阶段修正—能力修正—拓扑与负载修正”的分层结构。新任务或新节点数据不足时，先回退到相似类别或全局参数，并记录参数来源和可信度；获得新日志后再增量校准。
## 4.5 消息队列与拥塞反馈
节点队列随到达和服务动态变化：
$$
Q_v(t+\Delta t)=\max\{0,Q_v(t)+A_v(t)-D_v(t)\}
$$
其中 $Q_v(t)$ 只统计已经到达节点、但尚未获得活跃处理资源的消息；正在 `Think`、`CallTool` 或 `Wait` 中的上下文不计入队列。$D_v$ 表示从等待队列取出并开始处理的消息数，而不是处理完成数。队列采用有界、按 `priority` 优先且同优先级按到达顺序处理的规则。默认情况下 `Wait` 状态仍占用并发槽；若实际系统等待期间释放资源，应显式配置 `wait_holds_slot=false`。
当到达率接近或超过处理能力时，等待时间增加并可能触发超时。超时产生重试消息，进一步增加队列和链路负载，从而形成反馈闭环：
```text
负载上升 → 排队增长 → 延迟上升 → 超时增多
↑ ↓
└──────── 重试消息增加 ←───────────┘
```
## 4.6 离散事件仿真
采用事件驱动方式，只在事件发生时更新状态。主要事件包括外部任务到达、消息到达、处理开始、状态完成、发送完成、工具返回、请求超时、重试和故障。
每次处理事件时：
1. 读取节点、消息、任务阶段和当前负载；
2. 过滤不可行的状态转移；
3. 计算并抽样下一状态及持续时间；
4. 生成输出消息并选择目标节点；
5. 更新节点队列、链路状态和流量统计；
6. 把后续事件加入全局优先队列。
# 五、数据与参数设计
## 5.1 最小日志字段
| 字段组 | 字段 | 主要用途 |
|---|---|---|
| 标识 | task_id、message_id、parent_message_id、correlation_id、attempt_id | 还原任务调用链、匹配请求响应并区分重试尝试 |
| 时间 | timestamp、state_start、state_end | 估计状态时间和端到端延迟 |
| 路由 | source、destination、next_hop、path、hop | 区分逻辑终点与实际下一跳，统计有向链路流量 |
| 业务 | task_type、task_phase、message_type | 分层估计参数 |
| 状态 | state_before、state_after | 估计状态转移概率 |
| 负载 | queue_length、concurrency、link_utilization | 估计排队和拥塞效应 |
| 结果 | message_size、success、retry_count | 估计字节流量与可靠性 |
## 5.2 参数来源
- 系统配置：节点能力、并发上限、队列容量和链路带宽；
- 小规模日志：状态转移、消息大小、目标选择和处理时间；
- 压力测试：高负载下服务速度、超时率和失败率；
- 场景假设：尚无数据参数的初始范围；
- 仿真校准：根据验证集误差选择分布和调整参数；测试集仅用于最终评估。
## 5.3 模拟实验设计流程
在真实大规模 Agent 日志暂不充足的阶段，项目采用“大模型生成行为画像、本地程序扩展结构化日志、状态机模型完成仿真验证”的快速实验路线。大模型不直接逐行编造数万条日志，而是生成少量可解释的任务行为参数，再由受约束的数据生成器保证消息关系、时间顺序和流量统计一致。
```text
设定任务类型与网络场景
↓
大模型生成任务行为画像
工具调用率 / 拆分率 / 子任务数 / 处理时间 / 消息大小 / 超时率
↓
画像校验与参数约束
概率范围检查 / 必填字段检查 / 缺失参数回退
↓
本地随机引擎生成结构化事件日志
task_id / message_id / 状态转移 / 节点路径 / 字节数 / 时间戳
↓
训练集估计模型参数，验证集选择分布和调整参数
↓
测试集仅保留为模拟实测值并用于最终评估
↓
运行双层状态机与离散事件仿真
↓
基线对比 / 压力实验 / 重试放大实验
↓
输出 CSV、参数 JSON 和报告图表
```
| 环节 | 主要工作 | 质量控制 |
|---|---|---|
| 场景定义 | 设置简单问答、工具研究、多 Agent 协作等任务 | 保证任务复杂度具有明显梯度 |
| LLM 画像生成 | 生成状态概率、处理时间、消息大小和故障参数 | 限定字段、单位和数值范围 |
| 日志扩展 | 将画像扩展为可统计的任务与消息事件 | 保证 ID 唯一、父子消息可追踪、时间单调 |
| 参数估计 | 从训练日志估计分层模型参数 | 测试数据不参与估参 |
| 模型实验 | 执行预测、基线、压力和重试实验 | 固定随机种子，多次重复 |
| 结果解释 | 形成误差表、容量曲线和重试热力图 | 明确标注为模拟数据，不替代真实验证 |
当前实验工程支持两种模式：没有 API Key 时使用内置行为画像立即跑通；配置兼容 OpenAI 接口后，由大模型生成画像。后续获得真实日志时，可以保持实验流程不变，只替换或校准画像和参数。
# 六、方案创新点
## 6.1 双层状态机实现业务行为与网络传播解耦
外层描述消息路径，内层描述节点行为。两层分别清晰、组合后又能完整计算流量，避免把所有节点和动作塞入一个不可维护的巨型状态机。
## 6.2 能力驱动的统一节点表示
使用能力向量和上下文决定行为，不依赖固定节点类型，使模型能够支持新节点、角色动态变化和异构 Agent 网络。
## 6.3 小规模日志到大规模网络的分层推广
通过共享基础参数、条件修正和回退机制减少对海量真实数据的依赖，同时保留参数解释性和可信度标记。
## 6.4 显式描述重试流量放大闭环
模型不仅计算正常通信，还刻画排队、超时、失败、重试对流量的反向影响，可用于发现系统容量拐点和故障雪崩风险。
# 七、验证思路
验证工作分为五个层次：
1. **程序正确性**：三节点手工算例与仿真逐事件对账；
2. **预测准确性**：训练日志估参、测试日志比较节点流量和延迟；
3. **模型必要性**：与静态倍数、纯拓扑和简单排队基线比较；
4. **模块贡献**：移除队列、阶段、拓扑或重试模块进行消融；
5. **大规模能力**：在 10 至 100000 个仿真节点上测试时间和内存开销。
主要指标包括 MAE、RMSE、MAPE、P95/P99 延迟误差、热点识别准确率、事件处理吞吐量和内存占用。
# 八、预期成果
## 8.1 软件成果
- 网络场景与参数配置模块；
- 日志解析和参数估计模块；
- 双层状态机离散事件仿真器；
- 节点、链路和任务级统计模块；
- 实验脚本和可视化看板。
## 8.2 文档成果
- 整体设计思路；
- 数学建模方案；
- 验证与评估报告；
- 用户说明、参数字典和复现实验说明。
## 8.3 预期图表
- 总体技术路线图和双层状态机图；
- 网络节点负载热力图与链路流量图；
- 预测值与实测值对比图；
- 到达率—吞吐量—延迟曲线；
- 超时概率—重试流量放大曲线；
- 节点规模—仿真运行时间/内存曲线。
# 九、实施计划与风险控制
| 阶段 | 工作内容 | 阶段产物 |
|---|---|---|
| 第一阶段 | 固化问题、状态和参数定义 | 建模方案 V1 |
| 第二阶段 | 实现 3—10 节点最小仿真 | 可运行原型与手工对账 |
| 第三阶段 | 构造日志、完成参数估计和基线 | 数据集与实验脚本 |
| 第四阶段 | 压力、消融、故障和规模实验 | 实验结果与图表 |
| 第五阶段 | 完成报告、PPT和答辩材料 | 正式参赛材料 |
主要风险及应对措施：
- **真实日志不足**：先使用可解释的合成场景，明确标注参数来源，再逐步替换为实测参数；
- **大规模运行开销过高**：使用事件驱动、稀疏图、节点聚合和分区仿真；
- **状态空间过大**：保持通用状态机，具体差异放入能力和参数，而非无限增加状态；
- **结果可信度不足**：保留参数来源、置信区间、基线对比和误差分析；
- **比赛叙事过于技术化**：用“容量规划、热点定位、重试雪崩预警”贯穿展示。
# 十、答辩PPT映射建议
本设计书可以压缩为 15 页答辩 PPT：
1. 项目背景；2. 核心痛点；3. 建模目标；4. 总体架构；5. 动态通信图；6. 外层状态机；7. 内层状态机；8. 分层参数；9. 离散事件仿真；10. 模拟实验设计流程；11. 输出指标；12. 验证方案；13. 创新点；14. 应用价值；15. 总结与展望。
# 结论
本项目以 Agent 的业务行为作为网络流量产生机制，用双层随机状态机连接“任务执行”和“消息传播”，再结合队列、拓扑和离散事件仿真形成可解释、可校准、可扩展的流量预测框架。方案既能服务比赛中的数学建模与仿真验证，也具有容量规划、架构优化和故障预警等工程价值。
deliverables/02_建模方案.md
+642
View File
@@ -0,0 +1,642 @@
---
title: "大规模多智能体网络流量建模方案"
subtitle: "基于双层随机混合自动机的离散事件仿真"
author: "参赛团队：待填写"
date: "2026年8月"
toc: true
toc-title: "目录"
number-sections: true
---
# 本次修订说明
**修订日期：2026年8月13日**
本版本补充了基于大模型模拟数据开展快速实验的技术方案，主要改动如下：
- 在“参数估计与数据方案”章节新增 **7.4 模拟实验设计流程（基于大模型）**；
- 定义任务行为画像向量，包括工具调用概率、任务拆分概率、平均子任务数、超时与失败概率、处理时间和消息大小参数；
- 说明采用“大模型生成行为画像 + 本地受约束随机引擎生成事件日志”的混合方法，而不是让大模型直接逐行生成海量日志；
- 补充 `task_id`、`message_id` 和 `parent_message_id` 驱动的消息因果链构造方法；
- 增加概率范围、正值参数、事件时间顺序、消息守恒、训练/验证/测试隔离和随机种子等质量约束；
- 补充静态均值基线、无上下文模型、完整双层状态机模型、压力实验和重试放大实验的闭环；
- 明确模拟数据的用途是验证模型实现和实验方法，正式结论仍需真实日志或可控 Agent 实验校准。
上述流程已在 `agent_traffic_experiments/` 中实现，模型输入输出字段和本方案中的状态机、参数估计及评估指标保持对应。
# 摘要
本文面向大规模多智能体系统中的通信流量预测问题，建立由动态通信图、双层随机混合自动机、消息队列、路由与目标选择模型、离散事件调度器和流量统计模型组成的统一框架。外层自动机描述消息在节点之间的传播位置和交互路径，内层自动机描述节点接收、排队、思考、任务拆分、工具调用、等待、重试和发送等行为。模型通过节点能力、任务上下文、局部拓扑及系统负载共同决定状态转移概率、状态持续时间、输出消息数量和消息大小。
参数主要由小规模运行日志、系统配置和压力测试数据估计；对于新任务、新阶段和新节点，采用分层参数共享、特征表示和回退机制实现组合泛化。最终利用离散事件仿真，计算节点与链路流量、任务时延、吞吐量、队列长度、流量放大系数以及故障重试效应，为大规模 Agent 网络的容量规划和架构优化提供依据。
**关键词：** 多智能体系统；网络流量；随机混合自动机；离散事件仿真；排队模型；分层参数
# 1 问题定义
## 1.1 研究对象
研究对象为由 Agent、工具服务、数据库、模型服务等计算与通信实体构成的异构网络。外部任务进入网络后，节点会根据任务阶段和自身能力进行推理、拆分、协作、查询、转发或返回结果，并产生新的内部消息。
系统需要根据有限规模日志和配置参数，预测更大规模或更高负载条件下的网络行为。
## 1.2 输入
模型输入包括：
- 网络拓扑及其动态变化规则；
- 节点能力、并发上限、服务速度和队列容量；
- 外部任务类型、阶段、到达过程和优先级；
- 状态转移、状态持续时间和下游消息数量参数；
- 不同消息类型的大小分布；
- 链路带宽、传播时延和传输失败参数；
- 超时阈值、最大重试次数和退避策略。
## 1.3 输出
在时间窗口 $T$ 内，输出包括：
1. 节点入站/出站消息数和字节数；
2. 链路累计流量、平均速率和利用率；
3. 任务完成时间及平均、P95、P99 延迟；
4. 节点队列长度、利用率、吞吐量和丢弃数；
5. 平均跳数、内部消息数和流量放大系数；
6. 超时率、失败率、重试次数和故障影响范围；
7. 热点节点、瓶颈链路和系统稳定区间。
## 1.4 建模边界
本模型主要描述应用层消息及其引发的计算、排队和路由行为。若比赛数据只提供逻辑消息大小，则不额外精确建模 TCP/IP 包头、分片和底层重传；如能获得网络层数据，可在逻辑消息大小之上增加协议开销系数。
# 2 基本假设
为构建可计算模型，作如下基础假设：
1. 系统可表示为随时间变化的有向图，节点和链路属性在事件发生时更新；
2. 消息是仿真的基本通信对象，每条消息具有来源、目的、类型、大小和任务关联；
3. 节点共享通用状态集合，但可执行动作和参数因能力、上下文与负载不同；
4. 状态持续时间和消息大小服从从日志估计的经验分布或参数分布；
5. 外部任务到达可按实测时间序列重放；无日志时，基线场景采用泊松或非齐次泊松过程；
6. 节点处理资源和链路带宽有限，负载超过容量会形成队列或丢弃；
7. 超时与失败可触发有限重试，重试策略由最大次数和退避规则控制；
8. 不同随机实验使用独立随机种子，并通过多次重复估计均值和置信区间。
# 3 系统对象与符号定义
## 3.1 动态通信图
系统在时刻 $t$ 表示为：
$$
G(t)=(V(t),E(t))
$$
$V(t)$ 为节点集合，$E(t)$ 为有向通信边集合。对链路 $e=(u,v)$，定义：
$$
g_e(t)=(C_e,d_e,u_e(t),p_e^{fail})
$$
其中 $C_e$ 为带宽，$d_e$ 为基础传播时延，$u_e(t)$ 为利用率，$p_e^{fail}$ 为传输失败概率。
## 3.2 节点
节点 $v$ 表示为：
$$
v=(x_v,q_v,G_v,z_v,r_v,Q_v)
$$
其中：
- $x_v$：能力和静态资源向量；
- $q_v$：节点级资源状态，取 `Idle`、`Busy`、`Saturated` 或 `Failed`，不表示某条消息所处的业务处理阶段；
- $G_v$：局部拓扑子图；
- $z_v$：从局部拓扑提取的度数、距离、邻居能力和负载特征；
- $r_v$：并发数、处理资源占用及可用容量；
- $Q_v$：等待队列。
能力向量示例：
```text
x_v = {
can_reason: true,
can_split_task: true,
can_call_tool: true,
can_query_database: false,
can_forward: true,
max_concurrency: 4
}
```
## 3.3 消息
消息定义为：
$$
m=(message\_id,task\_id,parent\_message\_id,correlation\_id,
attempt\_id,source,destination,next\_hop,message\_type,
message\_size,priority,path,h,retry\_count,t_{create})
$$
其中 `destination` 是逻辑最终接收节点，`next_hop` 是本次传输实际到达的下一跳；$h$ 是消息已完成的跳数。`parent_message_id` 用于还原消息触发关系，`task_id` 用于关联同一次任务，`correlation_id` 用于匹配请求、响应、错误和超时，`attempt_id` 用于区分同一逻辑请求的不同发送尝试。
## 3.4 任务上下文
任务上下文 $c$ 包含任务类型、任务阶段、复杂度、可靠性要求、实时性要求等。为了支持未知类别，除离散标签外，还可使用如下可解释特征：
```text
long_context, needs_external_tool, collaboration_degree,
realtime_requirement, reliability_requirement, result_complexity
```
# 4 双层随机混合自动机
## 4.1 外层自动机
外层自动机描述消息的网络位置和交互关系。外层状态可写为：
$$
S_m^{outer}(t)=(v_t,path_m,h_m,c_m)
$$
当节点内部状态转移生成新消息时，外层模型选择目标节点或下一跳，并计算传输完成时间。目标选择模型为：
$$
P(dst=u\mid v,type,c,z_v,\ell)=
\frac{\exp(r_u)}{\sum_{k\in\mathcal N_v^{feasible}}\exp(r_k)}
$$
评分 $r_u$ 可以综合能力匹配、跳数、队列长度、链路利用率和历史成功率：
$$
r_u=\theta_1 match_u-\theta_2 distance_u-\theta_3 queue_u
-\theta_4 utilization_{vu}+\theta_5 reliability_u
$$
## 4.2 内层自动机
节点内部状态集合定义为：
$$
\mathcal Q=\{Idle,Receive,Queue,Think,Split,CallAgent,
CallTool,Query,Forward,Wait,Retry,Send,Failed\}
$$
该集合表示消息或任务处理上下文状态 $q_m$，不是节点整体资源状态 $q_v$。同一节点可同时维护多个 $q_m$，其数量和资源占用由 $r_v$ 与 `max_concurrency` 约束。
主要状态转移如下：
```text
Idle → Receive
Receive → Queue / Think
Queue → Think
Think → Send / Split / CallAgent / CallTool / Query / Forward
Split / CallAgent / CallTool / Query / Forward → Wait
Wait → Think / Retry
Retry → Think / Failed
Send / Failed → Idle
```
每次状态转移可同时产生状态持续时间、输出消息集合和流量增量。因此，模型属于含离散状态、连续时间和随机输出的混合自动机。
## 4.3 可行转移过滤
设状态 $q$ 的候选动作集合为 $\mathcal A(q)$，根据能力、拓扑和资源得到可行集合：
$$
\mathcal A(X)=\{a\in\mathcal A(q):constraint(a,x_v,z_v,r_v,c)=1\}
$$
例如：
- `can_call_tool=false` 时移除 `CallTool`；
- 无可用数据服务时移除 `Query`；
- 队列或并发已满时进入等待、拒绝或转发分支；
- 达到最大重试次数后移除继续重试分支。
## 4.4 条件状态转移概率
对于可行转移 $j$，定义评分：
$$
s_j=\beta_j+\alpha_{task,j}+\gamma_{phase,j}
+\eta_{cap,j}+\delta_{topology,j}+\rho_{load,j}
$$
通过 softmax 得到：
$$
P(j\mid X)=\frac{e^{s_j}}
{\sum_{k\in\mathcal A(X)}e^{s_k}}
$$
若日志样本较少，可采用带平滑的频率估计作为初始值：
$$
\hat P_{ij}=\frac{N_{ij}+\alpha}{\sum_k N_{ik}+K\alpha}
$$
其中 $\alpha$ 为平滑系数，$K$ 为候选转移数量。
## 4.5 状态持续时间
不同状态采用不同持续时间分布。正值且右偏的数据可使用对数正态分布：
$$
\log T_q\sim \mathcal N(
\mu_q+\alpha_{task}+\gamma_{phase}+\eta_v+\rho_{load},\sigma_q^2)
$$
当样本量充足时，优先保存经验累积分布，并报告均值、中位数、P95 和 P99，避免只使用平均值掩盖长尾。
## 4.6 输出消息模型
一次转移产生的消息数量为 $N_{out}$，消息集合为：
$$
M_{out}=\{m_1,m_2,\ldots,m_{N_{out}}\}
$$
任务拆分的 $N_{out}$ 可采用经验离散分布或泊松、负二项分布。消息大小按类型和阶段建模：
$$
\log S_m\sim\mathcal N(\mu_{type,phase},\sigma_{type,phase}^2)
$$
# 5 队列、链路与时间模型
## 5.1 节点队列
节点 $v$ 在时间窗口内的队列动态为：
$$
Q_v(t+\Delta t)=\min\left\{Q_v^{max},
\max[0,Q_v(t)+A_v(t)-D_v(t)]\right\}
$$
当队列达到 $Q_v^{max}$ 时，根据系统策略执行丢弃、拒绝、限流或改道。
$Q_v(t)$ 仅包含已经到达节点但尚未分配到活跃处理资源的消息；$D_v(t)$ 表示窗口内从等待队列取出并开始处理的消息数。队列采用有界、按 `priority` 优先且同优先级按到达顺序处理的规则。默认 `Wait` 上下文仍占用并发槽；实际系统若在等待期间释放资源，应设置 `wait_holds_slot=false`，并在响应到达后重新申请并发槽。
若某基线场景满足泊松到达和指数服务，可用 M/M/1 结果进行理论校验：
$$
\rho=\frac{\lambda}{\mu},\qquad
W=\frac{1}{\mu-\lambda},\qquad \lambda<\mu
$$
正式仿真不强制要求指数分布，可直接使用经验处理时间和多并发服务资源。
## 5.2 链路传输时间
消息 $m$ 经过链路 $e$ 的基础传输时间为：
$$
T_{e,m}=d_e+\frac{S_m}{C_e}+T_e^{queue}
$$
如需更细致地表达利用率导致的非线性排队，可设：
$$
T_e^{queue}=\kappa_e\frac{u_e}{1-u_e+\varepsilon}
$$
该形式需要通过压力测试校准，不应在无数据时声称为真实网络规律。
## 5.3 超时和重试
请求在超时阈值 $T_{timeout}$ 前未收到有效响应时进入 `Retry`。若单次成功概率为 $1-p$，允许最多 $R$ 次重试，则理论期望请求次数为：
$$
E[N_{request}]=\sum_{k=0}^{R}p^k=
\frac{1-p^{R+1}}{1-p}
$$
超时概率本身可以随队列和链路利用率变化：
$$
logit(p_{timeout})=omega_0+omega_1 Q_v+omega_2 u_e+omega_3 T_{service}
$$
# 6 流量与性能指标
## 6.1 节点流量
时间窗口 $T$ 内节点入站和出站字节数：
$$
B_v^{in}(T)=\sum_{m:dst(m)=v}S_m,
\qquad
B_v^{out}(T)=\sum_{m:src(m)=v}S_m
$$
对应平均速率为 $B/T$。
## 6.2 链路流量
$$
B_e(T)=\sum_{m:e\in path(m)}S_m,
\qquad
R_e(T)=\frac{B_e(T)}{T}
$$
链路利用率为：
$$
U_e(T)=\frac{R_e(T)}{C_e}
$$
## 6.3 任务级指标
任务 $i$ 的端到端延迟：
$$
L_i=t_i^{finish}-t_i^{arrival}
$$
任务内部流量放大系数定义为：
$$
AF_i=\frac{\text{任务 }i\text{ 产生的内部总字节数}}
{\text{任务 }i\text{ 的外部输入字节数}}
$$
也可分别计算消息数量放大系数、工具调用放大系数和重试放大系数。
## 6.4 系统稳定性
对每个节点检查有效到达率与服务能力：
$$
\rho_v=\frac{\lambda_v^{eff}}{\mu_v}
$$
其中 $\mu_v$ 按基准模型定义为节点的总单位时间处理能力，已经综合节点并发槽、资源竞争和消息类型差异，不能再默认乘以 `max_concurrency`。若实测参数是单槽服务率，则必须先根据并发竞争和资源共享关系换算为节点总处理能力。多个关键节点长期满足 $\rho_v\ge 1$ 时，系统通常进入队列持续增长区间。由于任务拆分和重试会改变 $\lambda_v^{eff}$，稳定性需要通过迭代或仿真而非只看外部到达率判断。
# 7 参数估计与数据方案
## 7.1 日志模式
每条事件至少包含：
| 字段 | 含义 |
|---|---|
| timestamp | 事件时间 |
| task_id、message_id、parent_message_id | 任务与消息触发关系 |
| correlation_id、attempt_id | 请求响应匹配与重试尝试区分 |
| source、destination、next_hop | 逻辑发送端、逻辑接收端与实际下一跳 |
| task_type、task_phase、message_type | 业务上下文 |
| state_before、state_after | 状态转移 |
| state_duration | 状态持续时间 |
| message_size | 消息字节数 |
| queue_length、concurrency | 节点负载 |
| link_utilization | 链路负载 |
| success、retry_count | 结果与重试 |
## 7.2 估计流程
1. 根据 task_id 和 parent_message_id 还原任务调用树；
2. 校验时间戳顺序、重复消息和缺失字段；
3. 按状态、任务、阶段、能力和负载分组；
4. 估计转移概率、持续时间和消息大小分布；
5. 使用压力测试估计高负载下的服务率和超时率；
6. 划分训练集、验证集和测试集；
7. 记录每个参数的样本量、来源、版本和置信度。
## 7.3 未知类别与回退
运行时依次尝试：
```text
类别专属参数
→ 相似类别或特征组合参数
→ 同任务类型的上级参数
→ 全局状态基础参数
```
回退结果应附带 `parameter_source=fallback` 和较低置信度，避免把缺少数据的预测解释为高可信结论。
## 7.4 模拟实验设计流程（基于大模型）
在尚未获得足量真实 Agent 运行日志时，采用“大模型生成行为画像 + 规则约束生成事件日志”的混合数据构造方法。大模型用于提供不同任务类型的语义差异和合理参数组合，本地生成程序负责生成大规模、结构一致且可重复的日志。
### 7.4.1 流程设计
```text
步骤1：定义任务类型、网络节点和实验负载
↓
步骤2：大模型生成任务行为画像
↓
步骤3：执行结构与数值约束校验
↓
步骤4：本地生成器扩展任务、状态和消息事件
↓
步骤5：按任务划分训练集、验证集与测试集
↓
步骤6：训练集估计状态机和分布参数
↓
步骤7：验证集选择分布和调整参数
↓
步骤8：测试集作为模拟实测值进行最终预测验证
↓
步骤9：执行基线、压力和重试实验并输出图表
```
大模型生成的单个行为画像包括：
$$
profile=(p_{tool},p_{split},E[N_{subtask}],p_{timeout},p_{fail},
\mu_T,CV_T,\mu_{req},\mu_{resp},CV_S)
$$
分别表示工具调用概率、任务拆分概率、平均子任务数、超时概率、失败概率、处理时间均值和变异系数、请求与响应消息大小均值以及消息大小变异系数。
### 7.4.2 结构化事件扩展
行为画像通过本地随机引擎扩展为事件日志。每个任务生成唯一 `task_id`，每条消息生成唯一 `message_id`，并通过 `parent_message_id` 记录任务拆分、工具请求和返回结果之间的因果关系。生成器按照状态机约束生成：
```text
外部任务到达 → 协调节点思考 → 拆分或调用执行节点
→ 可选工具调用 → 超时与有限重试 → 执行结果返回
→ 协调节点汇总 → 最终响应
```
生成过程中同时维护时间戳、状态持续时间、消息大小、来源节点、目标节点、队列长度、成功状态和重试次数。
### 7.4.3 数据质量约束
- 概率参数限制在 $[0,0.95]$，不可行状态转移概率设为零；
- 子任务数量、消息大小和处理时间必须为正，并设置合理上限；
- 消息标识唯一，父消息必须存在或为空；
- 同一任务的事件时间保持因果顺序；
- 发送、接收、在途、丢弃和外部输出之间满足消息守恒；
- 训练集、验证集和测试集按完整任务划分，避免消息级数据泄漏；
- 保存生成模型、提示词版本、配置文件和随机种子。
### 7.4.4 实验闭环
训练事件用于估计状态转移概率、持续时间分布、消息大小分布和重试参数；验证事件用于选择分布和调整参数；测试事件只按任务聚合为模拟实测值并用于最终评估。随后分别运行静态均值基线、无任务上下文模型和完整双层状态机模型，并比较内部流量、任务延迟、消息数、工具调用数和流量放大系数。压力实验通过提高外部到达率观察队列和容量拐点，重试实验通过组合超时概率与最大重试次数观察成功率和流量放大。
该流程的定位是快速验证模型实现、实验方法和指标体系。模拟数据不得表述为真实生产数据；正式结论仍需真实日志或可控 Agent 实验进行校准。
# 8 离散事件仿真算法
## 8.1 事件类型
- ExternalArrival：外部任务到达；
- MessageArrival：消息抵达目标节点；
- ServiceStart：节点获得处理资源；
- StateComplete：状态处理完成；
- TransmissionComplete：消息传输完成；
- ResponseArrival：协作或工具结果返回；
- Timeout：请求超时；
- Retry：重新发送或改选目标；
- Failure/Recovery：节点或链路故障与恢复；
- Snapshot：周期性统计快照。
## 8.2 核心状态
仿真器维护：全局时钟、优先事件队列、节点状态、节点等待队列、链路状态、未完成请求表、任务状态表以及流量统计器。
## 8.3 核心伪代码
```text
初始化拓扑、节点、参数和随机种子
生成外部任务到达事件
while 事件队列非空 且 当前时间 < 仿真终止时间:
event = 弹出时间最早的事件
clock = event.time
if event 为消息到达:
更新目标节点入站流量
若有处理资源则安排处理，否则进入队列
if event 为状态完成:
读取任务、阶段、能力、拓扑和负载
过滤不可行转移
计算条件概率并抽样下一状态
抽样持续时间、输出消息数量和消息大小
更新节点状态、队列和资源
为输出消息选择目标并安排传输事件
必要时安排超时事件
if event 为响应或超时:
取消互斥事件或触发重试/失败
更新任务、节点、链路和全局指标
```
## 8.4 事件冲突处理
响应和超时可能同时存在于事件队列。为每个请求维护唯一 `request_id` 和状态标记；先发生的有效事件更新请求状态，后续互斥事件到达时被忽略，防止同一请求既成功又重试。
## 8.5 可复现性
所有随机源由统一种子管理。实验配置保存为版本化文件，包含拓扑、参数、仿真时长、预热期、重复次数和种子列表。报告中的每张图应能由对应配置和脚本重新生成。
# 9 大规模仿真优化
## 9.1 事件驱动
不按固定毫秒更新所有节点，只处理实际事件，复杂度主要与事件数量有关。若总事件数为 $M$，二叉堆优先队列的调度复杂度约为 $O(M\log M)$。
## 9.2 稀疏拓扑与局部查询
采用邻接表存储通信图，节点选择只遍历可行邻居，避免建立 $|V|^2$ 的全连接矩阵。
## 9.3 节点聚合
对于能力、参数和连接模式相同的大量节点，可在宏观实验中按节点群组聚合；在需要尾延迟和热点分析的局部区域保留细粒度仿真。
## 9.4 分区与并行
可按网络社区或业务域进行分区，跨区消息作为边界事件交换。并行化时必须保证事件因果顺序，比赛原型阶段可先完成单机确定性版本，再扩展并行实现。
# 10 三节点算例
设外部任务大小为 2 KB，路径为：
```text
外部 → Node_A → Node_B → Node_C → Node_B → Node_A
```
其中：
- A→B 任务请求 3 KB；
- B→C 工具请求 1 KB；
- C→B 工具响应 4 KB；
- B→A 最终结果 2 KB；
- B 调用工具的基础概率为 0.7。
若一次任务实际进入工具调用分支，则节点间链路累计流量为：
$$
B_{AB}=3+2=5\text{ KB}
$$
$$
B_{BC}=1+4=5\text{ KB}
$$
若外部任务到达率为每秒 100 条，忽略排队和失败，则期望链路流量近似为：
$$
R_{AB}=100\times5=500\text{ KB/s}
$$
$$
R_{BC}=100\times0.7\times5=350\text{ KB/s}
$$
该算例用于验证计数和事件实现。正式实验将引入随机消息大小、处理时间、队列、有限带宽和超时重试。
# 11 验证设计概述
模型验证分为：
1. 手工算例逐事件对账；
2. 小规模日志训练/验证/测试集预测；
3. 与静态倍数、纯拓扑和 M/M/1 基线比较；
4. 移除分层阶段、局部拓扑、队列或重试模块的消融实验；
5. 到达率、带宽、并发数、超时率和重试上限敏感性分析；
6. 10—100000 仿真节点的性能扩展实验。
预测误差使用 MAE、RMSE 和 MAPE；尾延迟单独比较 P95/P99；热点识别使用 Precision、Recall 和 F1；仿真性能报告运行时间、内存峰值和每秒处理事件数。
# 12 模型局限与改进方向
- 小规模日志不能直接覆盖大规模系统中的新拥塞机制，需要压力实验校准；
- 泊松到达只适合作为无实测数据时的基线，突发任务应使用实测序列或批量到达模型；
- 参数之间可能存在相关性，独立抽样会低估极端事件，后续可引入联合分布或条件生成模型；
- 若新能力引入流式通信、广播或长期连接，需要扩展状态机结构；
- 超大规模精细仿真计算成本较高，可研究多分辨率和代理模型加速；
- 模型预测代表给定假设和参数下的仿真结果，必须同步报告参数来源和置信度。
# 13 最终模型定义
消息处理事件在时刻 $t$ 的完整状态表示为：
$$
s_m(t)=(v,q_v,q_m,x_v,z_v,c,m,path,h,Q_v(t),r_v,\tau_v,retry\_count)
$$
一次状态更新为：
$$
(s_{t+\Delta t},M_{out},\Delta F)=f(s_t,g_e(t),\xi_t)
$$
其中 $\xi_t$ 表示状态选择、持续时间、消息大小、目标选择和故障等随机变量，$\Delta F$ 表示节点及链路流量增量。
因此，整体模型可概括为：
$$
\boxed{\text{随机混合自动机}+\text{消息队列}+\text{动态通信图}
+\text{事件调度器}+\text{路由模型}+\text{流量统计}}
$$
# 结论
本方案将 Agent 的任务行为转化为可观测、可估计的消息生成机制，并通过双层状态机与动态网络连接起来。模型既保留状态、路径、参数和流量之间的可解释关系，又能通过事件仿真表达队列、拥塞、超时和重试的非线性反馈。下一阶段应以最小可运行仿真器和标准化实验为重点，用数据检验模型精度、模块必要性和大规模运行能力。
deliverables/03_验证与评估实验计划.md
+554
View File
@@ -0,0 +1,554 @@
---
title: "大规模多智能体网络流量模型"
subtitle: "验证与评估实验计划（待执行）"
author: "参赛团队：待填写"
date: "2026年8月"
toc: true
toc-title: "目录"
number-sections: true
---
# 本次修订说明
**修订日期：2026年8月13日**
本版本在实验总体框架中加入了可立即执行的模拟实验方案，主要改动如下：
- 在“验证总体框架”后新增 **1.3 模拟实验设计流程**；
- 将模拟过程拆分为场景定义、LLM 行为画像生成、画像校验、结构化日志生成、训练/验证/测试隔离、参数估计、快速实验和结果输出八个环节；
- 设置简单问答、工具研究和多 Agent 协作分析三类初始任务场景；
- 规定 LLM 输出固定 JSON 画像，并在缺少 API Key 或请求失败时使用版本化本地画像回退；
- 明确训练集用于估计参数、验证集用于选择分布和调整参数、测试集只用于最终评估，避免任务级数据泄漏；
- 增加预测验证、模型基线、到达率压力和超时重试四类快速实验的输入输出说明；
- 规定保存原始事件 CSV、行为画像 JSON、估计参数 JSON、实验结果 CSV、图表、配置文件和随机种子；
- 强调最终报告必须把模拟结果标注为“模拟数据”，获得真实日志后使用同一实验管线重新验证。
配套实验工程位于 `agent_traffic_experiments/`，当前已经能够自动生成数据并输出预测对比图、压力曲线和重试流量放大热力图。
# 文档说明
本文是验证与评估报告的前置计划，不包含尚未实际获得的准确率、性能或显著性结论。实验执行后，应将本计划中的“预期图表、数据表和验收标准”替换或补充为真实结果，并保留失败实验和误差解释。
实验目标是回答四个问题：
1. 仿真程序是否正确实现了数学模型？
2. 模型能否预测真实或半真实 Agent 网络的流量与延迟？
3. 双层状态机、队列、拓扑和重试模块是否确有必要？
4. 模型能否在更大规模网络中保持可接受的运行开销与稳定性？
# 1 验证总体框架
## 1.1 验证层次
| 层次 | 核心问题 | 主要方法 | 输出 |
|---|---|---|---|
| V1 实现正确性 | 事件、消息和流量是否算对 | 手工算例、单元测试、守恒检查 | 对账表 |
| V2 参数可信度 | 参数是否由日志稳定估计 | 分布拟合、Bootstrap、训练/验证/测试划分 | 参数表与区间 |
| V3 预测准确性 | 能否预测测试场景 | 实测或重放对比 | 误差指标与拟合图 |
| V4 模型有效性 | 完整模型是否优于简化模型 | 基线和消融实验 | 对比表 |
| V5 鲁棒与扩展性 | 高负载、故障和大规模下表现如何 | 压力、故障、敏感性和规模实验 | 容量与性能曲线 |
## 1.2 实验原则
- 所有实验配置、随机种子和软件版本可追踪；
- 训练数据不得进入测试集；
- 每个随机场景至少重复多次，并报告均值和 95% 置信区间；
- 真实数据、合成数据和假设参数必须清楚标注；
- 不仅报告平均值，还报告 P95、P99 和最差场景；
- 不删除对模型不利的异常结果，应分析其原因和适用边界。
## 1.3 模拟实验设计流程
在真实日志尚不足以覆盖全部任务类型、网络规模和故障条件时，先通过受约束的大模型模拟构建实验数据，快速验证模型与代码闭环。流程如下。
```text
任务与场景设计
↓
LLM生成行为画像
↓
画像合法性校验与默认参数回退
↓
本地随机引擎扩展结构化事件日志
↓
按任务划分训练集 / 验证集 / 测试集
↓
训练集估计状态机参数
↓
验证集选择分布和调整参数
↓
测试集聚合为模拟实测值
↓
完整模型、无上下文模型、静态均值基线对比
↓
压力实验与重试放大实验
↓
自动输出数据表、参数文件、指标和图表
```
### 1.3.1 第一步：定义模拟场景
首轮至少设置三类具有复杂度梯度的任务：
| 任务类型 | 主要特点 | 预期通信行为 |
|---|---|---|
| 简单问答 | 单节点推理为主 | 消息少、时延短、很少调用工具 |
| 工具研究 | 需要搜索或数据查询 | 工具调用率高、响应消息较大 |
| 多 Agent 协作分析 | 任务拆分和结果汇总 | 子任务多、路径长、队列和重试影响明显 |
同时定义 Agent 数量、工具数量、并发容量、队列容量、链路带宽和基础时延。
### 1.3.2 第二步：LLM生成行为画像
大模型不直接输出海量日志，而是为每类任务生成有限的行为参数：工具调用概率、拆分概率、平均子任务数、处理时间、请求/响应大小、超时率和失败率。输出必须采用固定 JSON 字段，并经过范围检查。
若没有 API Key 或模型调用失败，使用版本化的内置画像回退，以保证实验可离线复现；报告中记录本次实际使用的是 LLM 画像还是本地回退画像。
### 1.3.3 第三步：生成结构化日志
本地程序根据画像运行受约束的随机状态机，为每个任务生成外部到达、Agent 请求、工具请求、工具响应、Agent 返回、超时、重试和最终响应事件。日志必须保留：
- 任务 ID、消息 ID、父消息 ID、请求响应关联 ID 和发送尝试 ID；
- 任务类型、任务阶段和消息类型；
- 来源节点、逻辑目标节点、实际下一跳和状态转移；
- 时间戳、状态持续时间和队列长度；
- 消息大小、成功状态和重试次数。
### 1.3.4 第四步：训练与测试隔离
按完整任务划分训练集、验证集与测试集。训练集只用于估计参数；验证集用于选择持续时间和消息大小分布、调整模型参数；测试集不得用于调参，只按任务聚合得到内部字节数、端到端延迟、消息数、工具调用数、重试数和成功率，作为最终模拟实验的对照值。
### 1.3.5 第五步：快速实验
| 实验 | 自变量 | 主要输出 |
|---|---|---|
| 预测验证 | 任务类型 | 流量、延迟、消息数预测误差 |
| 基线对比 | 模型版本 | MAE、RMSE、MAPE |
| 压力实验 | 外部任务到达率 | 吞吐量、P95延迟、峰值队列、丢弃率 |
| 重试实验 | 超时概率、重试上限 | 成功率、平均重试数、流量放大系数 |
### 1.3.6 第六步：结果输出与使用边界
程序自动输出原始事件 CSV、行为画像 JSON、估计参数 JSON、实验结果 CSV 和图表。模拟实验主要用于验证模型机制、筛选关键参数和形成比赛报告的初步图表，所有结果必须标注“模拟数据”。获得真实运行日志后，保持相同实验管线，用真实数据重新估参和复验。
# 2 实验环境与复现规范
## 2.1 待记录环境
| 项目 | 记录内容 |
|---|---|
| 硬件 | CPU型号、核数、内存、操作系统 |
| 软件 | Python及依赖版本、仿真器提交版本 |
| 配置 | 拓扑文件、参数文件、任务场景文件 |
| 随机性 | 主随机种子、重复实验种子列表 |
| 运行 | 开始时间、结束时间、预热期、仿真时长 |
| 输出 | 原始事件日志、聚合指标、图表脚本 |
## 2.2 目录建议
```text
experiments/
configs/ # 场景、拓扑和参数
raw_logs/ # 原始Agent或仿真事件日志
processed/ # 清洗后的标准数据
scripts/ # 运行、统计和绘图脚本
results/ # 每次实验的机器可读结果
figures/ # 报告图表
manifests/ # 环境、版本、种子与校验信息
```
## 2.3 数据划分
如有真实任务日志，建议按任务而非单条消息划分，避免同一任务的消息同时出现在训练集和测试集。
- 训练集：60%，用于参数估计；
- 验证集：20%，用于选择分布和超参数；
- 测试集：20%，只用于最终评估。
若数据具有明显时间漂移，应采用前段训练、后段测试的时间切分，并额外报告随机切分结果。
# 3 指标体系
## 3.1 预测误差
对节点流量、链路流量、吞吐量和平均延迟计算：
$$
MAE=\frac{1}{n}\sum_{i=1}^{n}|\hat y_i-y_i|
$$
$$
RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^{n}(\hat y_i-y_i)^2}
$$
$$
MAPE=\frac{100\%}{n}\sum_{i=1}^{n}
\left|\frac{\hat y_i-y_i}{y_i+\varepsilon}\right|
$$
对于真实值接近零的对象，MAPE 不稳定，应同时报告 MAE、SMAPE 或加权 MAPE。
## 3.2 分布与尾部指标
- 平均延迟、中位数、P90、P95、P99；
- 队列长度分布及最大值；
- 消息大小和状态持续时间分布距离；
- 可选使用 KS 统计量或 Wasserstein 距离比较分布。
## 3.3 热点识别
将利用率或流量处于前 $k\%$ 的节点/链路定义为热点，计算 Precision、Recall、F1 和 Top-K 命中率。
## 3.4 仿真性能
- 总运行时间；
- 峰值内存；
- 每秒处理事件数；
- 单任务平均事件数；
- 节点规模增加时的时间与内存增长率。
## 3.5 稳定性与可靠性
- 任务成功率和失败率；
- 超时率和平均重试次数；
- 流量放大系数；
- 队列是否在仿真后段持续增长；
- 故障恢复时间和受影响任务比例。
# 4 实验E1：三节点手工算例与单元验证
## 4.1 目的
验证消息生成、状态转换、链路累计、节点收发流量、超时取消和重试计数是否正确。
## 4.2 场景
```text
外部 → A → B → C → B → A
```
消息大小依次为 2、3、1、4、2 KB。关闭随机性并固定所有处理时间。分别运行：
1. 正常工具调用；
2. 不调用工具直接返回；
3. 第一次工具调用超时、第二次成功；
4. 超过最大重试次数并失败；
5. B 节点无处理资源，消息进入队列。
## 4.3 检查项
- 节点 A/B/C 入站和出站消息数；
- A-B、B-C 链路累计字节数；
- 消息路径和跳数；
- `destination` 与逐跳 `next_hop` 的一致性；
- 队列入队、出队和并发资源释放；
- 节点资源状态 $q_v$ 与各消息处理上下文状态 $q_m$ 的一致性；
- 响应成功后对应超时事件失效；
- 任务完成或失败后不存在悬挂请求。
## 4.4 通过标准
确定性计数应与手工结果完全一致；浮点时间误差应低于预设容差；所有守恒检查通过。
# 5 实验E2：参数估计与分布拟合
## 5.1 目的
检验从小规模日志估计转移概率、持续时间、消息大小和失败参数的稳定性。
## 5.2 步骤
1. 清洗并按任务还原调用链；
2. 统计各状态的转移计数和样本量；
3. 对持续时间和消息大小比较经验分布、对数正态、Gamma 等候选；
4. 使用验证集选择分布；
5. 对参数进行 Bootstrap，计算 95% 置信区间；
6. 检查任务类型、阶段和负载分层后的样本稀疏问题；
7. 为低样本组启用平滑或上级参数回退。
## 5.3 输出表
| 参数 | 分组条件 | 样本量 | 估计值/分布 | 95%区间 | 来源 | 置信度 |
|---|---|---:|---|---|---|---|
| P(Think→CallTool) | 待填写 | | | | 真实/合成 | |
| T_Think | 待填写 | | | | 真实/合成 | |
| S_request | 待填写 | | | | 真实/合成 | |
| p_timeout | 待填写 | | | | 压测/日志 | |
## 5.4 判定原则
不预设必须选择某种理论分布。若参数分布拟合较差，正式仿真使用经验抽样，并在报告中说明样本覆盖范围。
# 6 实验E3：小规模预测准确性
## 6.1 目的
使用训练集估计参数，在未参与估参的测试任务上预测流量、延迟和调用次数。
## 6.2 场景建议
- 节点规模：3、5、10；
- 任务类型：至少 2 类；
- 任务阶段：简单任务与工具密集任务；
- 负载：低、中、高三个档位；
- 每个场景包含足够任务，并运行多次随机仿真。
## 6.3 比较对象
- 各节点消息率和字节率；
- 各链路累计流量；
- 平均、P95、P99 延迟；
- 平均工具调用数、下游消息数和重试数；
- 吞吐量、失败率和平均队列长度。
## 6.4 预期图表
1. 预测值—实测值散点图及 $y=x$ 参考线；
2. 各节点流量误差条形图；
3. 实测与预测延迟累积分布曲线；
4. 不同负载下的 MAPE/MAE 对比；
5. 任务级流量放大系数箱线图。
## 6.5 初步验收目标
在没有比赛官方阈值时，不应预先承诺固定精度。可使用以下内部目标推动迭代：完整模型在多数主要指标上优于所有基线；测试误差的置信区间稳定；高负载误差上升能够得到合理解释。最终报告填写真实数值。
# 7 实验E4：基线模型对比
## 7.1 基线定义
| 编号 | 基线 | 描述 |
|---|---|---|
| B0 | 静态平均倍数 | 外部流量乘以固定放大系数 |
| B1 | 纯拓扑随机游走 | 仅按连接和固定路由概率传播 |
| B2 | 简单排队模型 | 到达率和服务率驱动，不表达任务状态 |
| B3 | 单层状态机 | 节点行为和跨节点传播不分层 |
| M | 完整模型 | 双层状态机、分层参数、队列和重试闭环 |
## 7.2 公平性要求
- 各模型使用相同训练任务和测试任务；
- 可共享的外部到达率、平均消息大小和节点总处理能力 $\mu$ 保持一致；
- 不允许完整模型使用测试集参数；
- 同时比较精度和运行开销，避免只比较预测误差。
## 7.3 结果表模板
| 模型 | 节点流量MAPE | 链路流量MAPE | 平均延迟误差 | P95误差 | 运行时间 |
|---|---:|---:|---:|---:|---:|
| B0 | | | | | |
| B1 | | | | | |
| B2 | | | | | |
| B3 | | | | | |
| M | | | | | |
# 8 实验E5：消融实验
## 8.1 消融项
| 消融版本 | 移除内容 | 要验证的假设 |
|---|---|---|
| A1 | 移除任务阶段修正 | 阶段信息能提升行为预测 |
| A2 | 移除局部拓扑和邻居负载 | 拓扑负载影响目标选择与热点 |
| A3 | 使用固定平均处理时间 | 长尾分布影响尾延迟 |
| A4 | 移除节点队列 | 队列是高负载延迟的关键来源 |
| A5 | 移除失败与重试 | 重试影响流量放大与稳定性 |
| A6 | 固定节点类型替代能力向量 | 能力表示改善异构节点泛化 |
## 8.2 分析方式
比较完整模型与各消融版本在低、中、高负载下的误差变化。若某模块对所有场景几乎没有贡献，应检查参数是否未被正确使用，或重新评估模块复杂度是否值得保留。
# 9 实验E6：压力与容量拐点
## 9.1 自变量
逐步提高外部到达率：
$$
\lambda\in\{0.2,0.4,0.6,0.8,1.0,1.2,1.5\}\times C_{baseline}
$$
其中 $C_{baseline}$ 是基准系统的估计处理能力。每个负载档运行足够长的预热期和统计期。
## 9.2 观测指标
- 吞吐量；
- 平均、P95、P99 延迟；
- 关键节点队列长度；
- 超时率、失败率和重试率；
- 节点与链路利用率；
- 流量放大系数。
## 9.3 容量拐点定义
可结合以下现象定义容量拐点：吞吐量不再随到达率线性增长；队列在统计期持续增长；P95 延迟突增；失败率超过业务阈值；重试导致内部流量明显非线性增加。
## 9.4 预期图表
- 到达率—吞吐量曲线；
- 到达率—P95/P99 延迟曲线；
- 时间—队列长度曲线；
- 到达率—超时率/重试率曲线；
- 到达率—流量放大系数曲线。
# 10 实验E7：故障与重试放大
## 10.1 场景矩阵
| 因素 | 建议水平 |
|---|---|
| 节点故障比例 | 0%、1%、5%、10% |
| 链路带宽下降 | 0%、25%、50%、75% |
| 基础超时概率 | 0、0.02、0.05、0.10、0.20 |
| 最大重试次数 | 0、1、2、3、5 |
| 退避策略 | 无退避、固定退避、指数退避 |
| 目标选择 | 固定节点、负载感知、故障感知 |
## 10.2 关键问题
1. 哪种重试上限在成功率和额外流量之间更均衡？
2. 指数退避能否减轻拥塞雪崩？
3. 负载感知或故障感知路由能否缩小影响范围？
4. 哪些热点节点故障会造成最大任务失败率？
## 10.3 结果展示
使用热力图展示“超时概率 × 重试上限”对成功率和流量放大系数的影响；使用拓扑图展示故障前后的热点迁移；使用时间曲线展示拥塞与恢复过程。
# 11 实验E8：拓扑和调度策略对比
## 11.1 拓扑
- 星型：中心协调节点连接所有执行节点；
- 树型：分层协调和任务拆分；
- 随机稀疏图：一般协作网络；
- 小世界：高聚类、少量远程连接；
- 无标度图：少量枢纽节点拥有高连接度。
## 11.2 策略
- 最短跳数；
- 随机可行邻居；
- 最短队列；
- 能力匹配优先；
- 综合能力、距离、负载和可靠性的加权策略。
## 11.3 指标
比较平均跳数、流量集中度、最大节点利用率、任务延迟、成功率和重路由次数。重点讨论不同拓扑是否会形成单点瓶颈，以及负载感知策略是否以额外跳数换取更低尾延迟。
# 12 实验E9：规模扩展与计算性能
## 12.1 规模设置
```text
10、100、1 000、10 000、100 000 个仿真节点
```
对每个规模控制平均度数、任务到达率与节点数量的比例，并分别报告低负载和中负载结果。若 100000 节点无法在现有硬件完成，应如实报告达到的最大规模、瓶颈和优化方向。
## 12.2 测量
- 初始化时间；
- 仿真运行时间；
- 峰值内存；
- 每秒事件数；
- 事件总数；
- 结果聚合时间；
- 不同规模下的预测指标稳定性。
## 12.3 对比版本
如实现条件允许，对比：
1. 固定时间步与离散事件；
2. 全量节点与同构节点聚合；
3. 不同优先队列实现；
4. 单线程与分区并行版本。
# 13 实验E10：敏感性与不确定性分析
## 13.1 关键参数
- 工具调用概率；
- 下游任务数量；
- 消息大小均值与方差；
- 节点处理速度；
- 链路带宽和时延；
- 超时概率与重试上限；
- 外部任务突发程度。
## 13.2 方法
第一阶段使用单因素局部敏感性分析；第二阶段可使用拉丁超立方抽样或 Sobol 方法分析全局敏感性。对高不确定参数从其估计区间中抽样，输出预测指标的置信区间，而不是只给单点预测。
## 13.3 输出
- 参数敏感性排序；
- 龙卷风图；
- 参数变化与输出变化曲线；
- 预测区间随样本量的变化；
- 最需要补采数据的参数列表。
# 14 数据质量与守恒检查
每次实验自动执行以下检查：
- 每条消息有且仅有一个 task_id 和 message_id；
- 除外部输入、最终输出和丢弃外，发送消息数与接收/在途消息数守恒；
- 节点并发数不超过上限，队列长度不为负；
- 链路累计字节数等于经过该链路消息大小之和；
- 已完成请求不会再次触发有效超时；
- 任务完成后未完成子请求数为零或被明确标记为取消；
- 聚合指标能够由原始事件日志重新计算。
# 15 报告图表清单
最终《验证与评估报告》至少包含：
1. 实验环境与数据集统计表；
2. 参数估计及置信区间表；
3. 三节点手工对账表；
4. 完整模型与基线的误差对比表；
5. 预测值—实测值散点图；
6. 延迟 CDF 或分位数对比图；
7. 消融实验条形图；
8. 到达率—吞吐量—尾延迟曲线；
9. 超时率—重试次数—流量放大热力图；
10. 拓扑热点图；
11. 节点规模—运行时间/内存曲线；
12. 敏感性排序图；
13. 失败案例及误差来源表。
# 16 执行排期
| 周期 | 任务 | 完成判据 |
|---|---|---|
| 第1阶段 | 仿真器最小闭环与E1 | 手工算例全部通过 |
| 第2阶段 | 日志模式、合成数据与E2 | 参数表可自动生成 |
| 第3阶段 | E3基准预测与E4基线 | 获得第一版误差结果 |
| 第4阶段 | E5消融与E6压力 | 明确模块贡献和容量拐点 |
| 第5阶段 | E7故障、E8拓扑 | 得到重试与路由结论 |
| 第6阶段 | E9规模、E10敏感性 | 完成性能和不确定性分析 |
| 第7阶段 | 报告整合与复现检查 | 图表可一键复现、结论有数据支撑 |
# 17 最终报告写作模板
正式报告建议按以下顺序组织：
1. 验证目标与实验环境；
2. 数据来源、清洗和参数估计；
3. 实现正确性验证；
4. 预测准确性与基线对比；
5. 消融实验；
6. 压力、故障和拓扑实验；
7. 大规模仿真性能；
8. 敏感性和不确定性；
9. 失败案例、模型边界与改进；
10. 结论。
每项结论采用“实验条件—观察数据—结论—适用范围”的格式。例如，不应只写“指数退避更好”，而应写明在哪些负载、超时率和重试次数下改善了哪些指标，以及是否牺牲了任务完成时间。
# 结论
本实验计划通过实现正确性、参数可信度、预测精度、基线对比、消融、压力、故障、拓扑、规模和敏感性十类实验，形成从代码到结论的完整证据链。执行过程中应优先完成三节点对账和小规模预测，再逐步扩展到高负载及大规模场景；所有结果必须保留参数来源、随机种子和复现配置，确保最终参赛报告可信、透明且可重复。