AI杂谈

1. AI落地的几个阶段

• 第一阶段：功能验证（能跑起来）

  • 目标：最快验证产品价值，打通前后端交互。
  • 手段：简单提示词 + 轻量 Agent，不纠结精度。

• 第二阶段：效果封顶（能解决问题）

  • 目标：把场景做到“可用”，建立技术护城河。
  • 手段：
    • 不计成本上最强模型（如 GPT-4/Claude-3），给足上下文。
    • 搭建复杂 Workflow / 多步 Agent，把领域知识固化。
    • 沉淀专属 Benchmark，作为后续成本与效果优化的基线。

• 第三阶段：精益迭代（能省钱）

  • 目标：在保持效果的前提下，把成本与延迟打下来。
  • 手段：
    • 用蒸馏 / 小模型替代大模型，固定场景用 Workflow 代替 Agent，减少无效推理与 Token 浪费。
    • 微调放在最后一张牌：基模半年一换代，慎做重资产投入。

2. AI的用户反馈体系

常见的反馈方式是用户评分、评价，然而，真的有用户去点吗？以我自身来看，如果我觉得AI回答的不对，我可能有以下几种行为：

• 直接STOP掉，然后修改提示词重新跑
• 纠正AI的错误，继续追问
• 开启新的对话框
• 关闭窗口，换一个产品试试
• ...

所以其实有很多隐性的指标可以帮助我们得到真实的用户反馈。

第一种是根据用户行为来获取反馈，具体的行为如上。

第二种是根据业务数据来获取反馈，比如说：

• 产品推荐：下单率、点击率等
• 售后客服：转人工概率、投诉率等