实时多模态系统的完整链路
实时系统从设备采集和权限状态开始。音频可能需要回声消除与语音活动检测；视频可能需要缩放、采样和场景变化判断。传输层要在带宽、成本和上下文完整性之间取得平衡。
会话层记录用户目标、系统观察到的内容，以及已经处理过的事件。模型生成理解或回答，编排层则决定现在说话、继续等待、追问澄清，还是触发产品动作。
- 采集与信号处理
- 流式或事件驱动的传输
- 会话状态与时间上下文
- 模型推理与工具编排
- 按时机输出文字、语音或界面操作
延迟是一份预算，不是一个数字
用户感受到的是权限、采集、缓冲、编码、网络、排队、推理、语音合成和渲染的总和。每个环节都要记录，并关注延迟分位数，因为平均值会掩盖那些破坏对话体验的慢请求。
不同任务的目标不同。对话确认需要很快的首个输出，谨慎的视觉检查可以容忍更长时间。渐进式输出、取消机制和明确的监听状态，通常可以改善感知速度而不牺牲准确性。
- 建立连接所需时间
- 语音结束到首个有效输出
- 视觉事件发生到提醒
- 被打断后停止输出的时间
- 重连和降级恢复时间
必须在运动和变化中评估系统
静态基准准确率无法说明产品能否处理声音重叠、移动、沉默、打断或网络延迟。应设计带有已知事件顺序的场景测试，检查系统是否发现正确事件、在正确时间回应，并避免捏造不存在的变化。
隐私和安全也是技术质量。即使模型回答很好，如果系统无法说明何时正在采集、减少保留媒体、遵守用户边界，或在不确定时安全恢复，就还没有达到生产标准。
- 事件精确率与召回率
- 回答是否基于可见、可听证据
- 轮次与打断行为
- 不同设备与网络条件下的鲁棒性
- 同意、保留、删除与升级控制
FAQ
常见问题
实时多模态 AI 一定会持续上传原始视频吗？
不一定。有些产品持续流式传输，有些只发送选定画面、事件或短片段，具体取决于延迟、隐私、成本和模型接口。
最重要的评估指标是什么？
应以场景级成功率为核心，并结合延迟、事件准确率、证据一致性、打断行为和恢复时间。单一推理速度无法代表完整体验。
SeedRealtime 与这套架构有什么关系？
SeedRealtime 是理解连续音视频交互的一个产品视角，但完整体验仍需要模型之外的采集、传输、会话状态、安全、监控和界面设计。