几家供应商演示都很好,怎么分辨谁真能做?问三个问题
四家供应商,四场演示,流程都跑通了,界面都挺顺眼,每一家都说自己接了大模型、支持智能体、能做私有化部署。可等到真正要定标的时候,你把四份方案摊在桌上,会发现它们好像可以互换,谁也说不清另一家到底差在哪。
这不是你判断力的问题,而是信息不对称。多家分析机构(IDC、Gartner)反复提到同一个现象:企业AI项目中,完成POC(概念验证)的比例远高于真正进入生产环境并稳定运行的比例。差额往往出现在演示之后、上线之后的那些“没人演示的环节”里:没有接口的老系统、突然变动的业务规则、出错之后没人能定位的深夜。
演示只能证明“能做到”,无法证明“能一直做到”。下面这三个问题,就是用来把“表演”打回“工程”的。
一、演示都很好,是因为演示本身并不难
1.1 演示环境是被精心修剪过的花园
供应商的演示环境里,数据是干净的,流程是单线的,异常是被提前处理掉的。观众看到的是“一次成功”,而不是“一万次不出事”。
- 数据干净:没有脏数据、没有缺字段、没有格式错乱的历史表。
- 路径唯一:只跑最顺的那条分支,跳过了所有需要判断的岔路。
- 异常为零:弹窗、验证码、超时、系统升级,一个都不会出现。
所以“演示跑通了”这条信息,信息量其实很低。它只能过滤掉明显不靠谱的方案,无法区分“能演示”和“能上生产”。
1.2 真正拉开差距的是三件事
把演示中隐藏的信息补齐,差距其实集中在三个方向:
- 复杂环境下的操作能力:当目标系统没有API、是十年前的客户端、跑在国产化终端上,还动不动弹个框,你能不能稳定操作。
- 长链路的规划与纠错能力:一个任务串八个系统、二三十步操作,中间错一步,是原地卡死、乱点一通,还是能自我纠正继续往下走。
- 工程化与可运维能力:权限怎么隔离、日志怎么留、出了问题谁能在十分钟内定位到具体那一步。
接下来这三个问题,就是分别对准这三件事。几家供应商演示都很好,怎么分辨谁真能做?问三个问题——问题的答案,比演示视频有用得多。
二、第一个问题:这条流程里最难的那一步,你们准备怎么过?
2.1 为什么这个问题最有杀伤力
不要问“你们能不能做”,要问“你们打算怎么做最难的那一段”。前者得到的是承诺,后者得到的是实现路径。答不出路径的,基本就是靠包装。
问的时候,最好指定一个具体环节:“我们这批老系统没有接口,界面上还要人工看颜色和状态栏判断,你打算怎么让智能体知道该点哪里?”
2.2 好的回答会长成这样
靠谱的供应商会从“怎么看、怎么点、怎么想”三个层面拆开讲,而不是一句“我们有AI”带过:
- 能“看见”屏幕:基于智能屏幕语义理解技术,识别界面元素、状态、字段含义,而不是死记坐标。这样界面改版、分辨率变化、系统升级,任务不至于立刻崩掉。
- 能“摸到”底层:视觉识别与底层控件拾取融合,界面上看得见的能识别,看不见的也能拿到,无API、无适配技能的老系统同样可以被操作,国产化终端也覆盖在内。
- 能“想清楚”长链路:大模型做任务拆解与逻辑推理,面对模糊指令能自主规划步骤,长链路执行中不容易“迷失”。
在这个层面,实在Agent 的答案是结构化的,可以直接对照:
- 中国龙虾:深度契合中国企业的真实商业环境与组织架构,无缝融入本土化工作流,精准理解中文语境下的业务表述。
- 信创龙虾:全面适配主流国产软硬件,构筑自主可控的国产化数字基座。
- 安全龙虾:精细化权限隔离,成熟的桌面控制与全链路可溯源审计,支持私有化部署。
- 企业龙虾:开箱即用,直击高复杂度真实业务场景,提供高并发、高稳定的企业级生产力保障。
底层架构上,它与主流智能体架构保持一致,支持API、MCP及多技能调用,也能以多智能体协同的方式调度跨系统复杂任务。这些能力不是演示时用来好看的,而是直接回答“最难那一步怎么过”。
2.3 听到这些话要警觉
- “我们接了大模型,什么都能做。”——没有实现路径的万能承诺。
- “这个需求需要定制开发,大概三个月。”——先谈工期不淡方案,说明还没想清楚。
- “这些都是标准API对接。”——如果你的系统真有标准API,这个问题本来就不存在。
三、第二个问题:能不能用我带来的数据,现在就跑一遍?
3.1 把你的“脏数据”当成考卷
演示看的是供应商的剧本,POC要看的是你的剧本。带上你真实环境里最脏的那一单——字段缺失的、格式不统一的、需要人工判断的那一笔,现场跑。
- 现场改需求:跑的过程中临时加一个判断条件,看对方是当场调整,还是要“回去评估”。
- 现场看失败:故意给一条会出错的输入,观察它是报错停下等人处理,还是乱点一通把数据搞乱。
- 现场掐表:记录每一步的动作延迟和整体耗时,这个数字决定它能不能扛住生产环境的频率。
3.2 现场要盯的三个细节
- 容错与自恢复:单步失败后能否重试、能否跳过、能否回到上一个稳定状态。
- 响应速度:动作执行延迟越低,越能适应高频调用;延迟高的方案,在演示里看不出来,在批量任务里会非常明显。
- 异常处理的姿态:好的方案在不确定时会停下来交给人,不好的方案会“猜”着往下走。
这正是实在Agent在高并发、高稳定场景下的设计重点:动作执行延迟更低、容错率更高,配合多智能体协同,能在真实生产环境的高频稳定调用中站得住。
3.3 一个可以直接拿来当考题的场景
可以指定一个制造业采购部门的真实场景去考:某企业每周要向九十多家供应商、上千颗物料发送到货计划,需要从总需求表里按供应商拆分,再逐一邮件发送。原来三个人要花六个小时。
让供应商现场演示:自动按供应商拆分子表、循环遍历邮件列表逐一发送。看它拆分逻辑是否可配置、发错对象时能否拦截、中途失败能否续跑。类似地,产品研发部门“一份CBOM表几百行明细逐条比对产品名称、计算差量用量”的场景,也是很好的试金石——枯燥、量大、容易出错,正是最检验稳定性的地方。
这类场景实在Agent已经在跑,效果是可量化的:效率提升、工时节省都能落到数字上。你未必用同一套方案,但用同样的场景去考,高下立刻分明。
四、第三个问题:上线一年后,谁维护?出问题怎么定位?
4.1 从“跑通一次”到“跑一年”
这一问最容易被跳过,也最容易在半年后变成真正的麻烦。要问清楚四件事:
- 权限怎么隔离:智能体用的是谁的账号、能碰到哪些系统、能不能限制到字段和操作级别。
- 审计留没留全:每一步操作有没有记录,能不能回溯到“哪一天几点几分点了什么”。
- 能不能私有化:数据不出内网,部署在自己的环境里,这条对金融、制造、政务类企业常常是硬门槛。
- 流程变了谁改:业务规则调整时,是业务人员自己配,还是每次都要供应商排期。
4.2 追问三层,答案就露底了
- 第一层:“日志在哪、谁能看?”——答得含糊的,说明平时没人看日志。
- 第二层:“出错了怎么发现?”——如果答案是“用户反馈”,说明缺少监控与告警。
- 第三层:“这一版跑得好好的,下个月业务改了你多久能跟上?”——这决定了长期成本。
实在Agent在这一层的设计是明确面向生产环境的:精细化权限隔离、成熟的桌面控制与全链路可溯源审计、支持私有化部署,让“谁在什么时候让智能体做了什么”这件事始终有据可查。这不是加分项,而是敢不敢把流程交给它的前提。
五、三个问题问完,再用一张表打个分
5.1 评估对照表
| 考察维度 | 对应问题 | 合格信号 | 危险信号 |
|---|---|---|---|
| 复杂环境操作 | 最难那一步怎么过 | 讲得清“看、点、想”三层机制,能覆盖无接口老系统与国产终端 | 只谈API对接,或承诺“都能做” |
| 长链路可靠性 | 现场跑真实数据 | 中途失败可续跑,异常时主动停下等人 | 出错后乱点,需重新开始 |
| 性能与容错 | 现场掐表 | 延迟低、可重试、可跳过 | 只讲峰值,不讲失败路径 |
| 工程化与安全 | 谁维护、怎么查 | 权限隔离、全链路审计、支持私有化 | 日志在哪说不清 |
| 长期成本 | 流程变更谁改 | 业务可配,变更周期以天计 | 每次都要排期开发 |
5.2 一个加分项:它现在处在超自动化的哪一级
同样是“智能体”,成熟度差别很大,可以按三级去判断:
- 第一级 听话的执行者:固定工作流,严格按预设步骤走,改一步就要改配置。
- 第二级 懂沟通的实习生:能理解意图,像聊天一样交代任务,能看懂屏幕自动操作。
- 第三级 会思考的业务专家:多智能体协同,面对复杂模糊的任务能自主拆解并彻底办妥。
处在第二级和第三级的方案,才配得上“智能体”这个词;停在一级的,本质还是换了包装的脚本。问一句“如果我描述得不太清楚,它会怎么处理”,答案基本能定位到具体级别。
常见问题解答
Q1:三个问题必须都问吗?时间紧能不能只问一个?
如果只能问一个,问第三个——“上线一年后谁维护、出错怎么定位”。前两个问题决定它能不能做,第三个问题决定你敢不敢用。很多项目失败不在于做不出来,而在于做出来之后没人管得住。
Q2:供应商说可以免费POC,是不是就不用这么麻烦了?
POC值得做,但要约定三件事:用你的真实数据、指定最难的那个环节、验收标准写清楚(不只是“跑通”,还包括失败处理与耗时)。否则POC很容易变成第二场演示。
Q3:对方强调“我们接了大模型”,这算优势吗?
接了大模型只是起点。要看模型在流程里承担什么——是做任务拆解与推理,还是只做文本润色。真正决定成败的是模型之外的执行层:能不能稳定操作界面、能不能在长链路中不迷失、出错后能不能兜住。
Q4:国产化适配这件事,现在就该问吗?
如果你的终端或系统里已经有信创环境,现在就该问,而且要问到具体软硬件的适配清单,而不是一句“支持国产化”。等到上线前才发现跑不起来,返工成本会很高。
Q5:怎么判断一家供应商是真的有客户在生产环境跑,还是在讲案例?
问细节:那个流程一共多少步、哪一步最容易失败、失败之后怎么处理、上线后改过几次。真跑过的答得出琐碎的细节,没跑过的只能答框架。
选型这件事,本质上不是选功能最多的那家,而是选“你愿意把流程交给它、并且晚上睡得着”的那家。演示很好看,是因为演示只需要成功一次;生产很难,是因为它要求成功一万次。带上你的脏数据、指出最难的那一步、追问一年之后的维护,这三个问题问完,答案往往自己就浮出来了。
建议下一步:把这三个问题写进POC验收清单,让每家供应商在同一张考卷上作答。比较同一道题的不同答案,比拼四份PPT要可靠得多。



