案例、数据、口碑:三种证据的可信度排序,以及 AI 智能体选型时该怎么用
三家供应商坐在对面。第一家翻出一页 logo 墙,说我们服务了很多同行;第二家给出一组数字,说效率提升、准确率、节省人力分别是多少;第三家没准备材料,只说了一句“这个行业基本都在用我们”。三个小时后会议结束,你回到工位,发现真正能写进决策纪要的,其实只有三句话——而这三句话的可信度,完全不在一个量级上。
问题不在于供应商爱讲什么,而在于采购方常常把三种性质完全不同的信息,放在同一张评分表里等权打分。案例、数据、口碑:这三种证据的可信度排序,本该是一条清晰的阶梯,而不是三个并列的勾选项。这篇文章想讲清楚三件事:每一种证据的失真方式是什么、可信度应该如何排序、以及怎样把排序变成一张可以带进评审会的评估清单。
一、为什么 AI 选型的证据最容易失真
先给一个定义。证据,是能被第三方复核的信息。凡是无法复核的,无论说得多动听,都只能算“陈述”,不能算证据。
AI 智能体这个品类,恰好踩在三个容易失真的位置上:
- 供给端:演示成本极低。 一段录屏、一个包装精美的看板、一次精心准备的数据集,两小时就能做出来。演示证明的是“能跑通”,不是“在你的数据上能跑通”。
- 需求端:企业内部缺少验收标准。 传统软件验收看功能清单,AI 的产出是“判断”和“文档”,好不好用往往要靠业务人员的主观感受,这就给模糊表达留了空间。
- 时间差:效果需要时间显现。 一个智能体上线第一周往往表现最好——因为处理的都是简单单子;真正的考验在第三个月,异常单、边缘情况、口径变化集中出现的时候。
这三条决定了:越是容易展示的东西,越不能当作决策依据。真正值钱的证据,往往不在 PPT 里,而在“输入是什么、步骤怎么走、边界在哪里”这些不性感的细节中。
二、第一层:案例,看的是边界而不是 logo 墙
在三种证据里,案例的可信度最高。但“案例”这个词本身已经被严重稀释了——签个合同叫案例,做个 POC 叫案例,发条朋友圈也叫案例。所以第一件事不是看有多少案例,而是给案例分级。
2.1 案例必须分三级,混写就是失真
一条严谨的案例证据链,至少分三层,彼此的证明力差距很大:
- 客户已确认的实效。 客户自己认可、可回溯到具体业务口径的结果。这是最强的一档,但数量通常最少,因为客户往往不愿意公开细节。
- 复现验证场景。 在演示环境或样例数据上完整跑通,输入输出都是真实形态的表格与文档。它能证明“这类问题可解”,但不能证明“你的数据上一定行”。
- 演示样例。 为了展示效果而构造的数据,其中的数字不可当作客户成效引用。
把第三层当第一层讲,是行业里最常见的失真。 判断方法很简单:问一句“这个结果是在谁的数据上跑出来的、有没有留下原始输入”。答不上来的,一律按最低一档处理。
2.2 一个案例要问到多细才算证据
五个问题,足以把一条案例从“故事”拆成“证据”:
- 输入是什么形态? 表格、扫描件、邮件、群消息,形态不同难度完全不同。
- 步骤是否固定? 固定步骤才能沉淀成可复用的方法。
- 输出交给谁? 是给人看的报告,还是直接驱动下游动作,责任边界差别很大。
- 异常怎么处理? 只讲顺利路径的案例,等于没讲。
- 边界在哪里? 依赖不依赖系统接口、需不需要改造、结论以什么为准。
举一个已经被要求问到这一层的例子。财务的差旅费用稽核:输入是三份普通表格——报销明细、公司差旅费用标准、发票与凭证台账;步骤是按规则逐单比对核算,检查标准、票据、重复报销与合规性;输出是稽核报告加异常明细清单,人工只确认与处理例外。这个场景的复现材料是 30 单差旅报销明细、16 条差旅费用标准、84 条发票与凭证台账,属于典型的“多表比对 + 规则判定 + 报告生成”。它的边界也写得很清楚:已完成复现,不依赖业务系统接口,可用样例数据完整复现,结论以样例为准。
再看一个供应链的例子。物料主数据审核与处理:工程师提申请的方式极不规矩——邮件、纸质扫描件、群里一句话、Excel 批量甩过来。复现时从邮箱取件,处理了 25 份、五种形态的材料,读取 28 条申请,先定口径(五类编码规则 + 九类校验),再逐条判定,结果是驳回 13 条、待补充 5 条、自动通过 10 条,生成 10 条编码并写回台账。一次判出 22 处问题。同样标注了边界:已完成复现,属于“人有我有”的通用能力,差异化尚不能宣称。
最后这句话很关键。一个愿意主动说出“这块我们不比别人强”的供应商,它讲的其他部分反而更值得信。
2.3 案例可信度的加分项与减分项
- 加分:有原始输入的形态描述、有异常清单、有明确的“不做”边界、有责任人与复核环节。
- 减分:只有行业名没有场景名、只有百分比没有分母、只讲成功不讲失败、案例之间互相“串味”。
在 Soiawork 里,案例是可以拆到组件级别去核对的:数据从哪来对应连接器取数,依据从哪查对应知识库,本机软件操作对应设备(Soia Worker),固定步骤对应工作流,反复发生的按时运行对应自动任务,跑出来的中间文件留在文件空间。如果一条案例连“用了哪个组件”都说不清楚,它大概率只是演示样例。
三、第二层:数据,看的是口径能不能对上
数据的可信度排在案例之后,原因很直接:案例至少有场景,数据可以脱离场景存在。同一个数字,换个分母就是另一个故事。
3.1 数据的三问:谁测的、怎么测的、分母是什么
拿到任何一个百分比,先问三句:
- 谁测的? 第三方机构、客户自测、厂商自测,证明力依次递减。
- 什么时候测的? AI 能力迭代快,两年前的结论对今天的参考价值有限。
- 分母是什么? 100 次任务成功 90 次,和 1000 次任务成功 900 次,不是一回事;在标准任务上成功,和在长链路、多系统任务上成功,更不是一回事。
3.2 可以核对的数字长什么样
合格的数字有三个特征:有来源、有时间、有口径。比如:实在智能自 2018 年起投入 AI 与自动化;累计服务 6,000+ 企业客户;100+ 发明专利;OSWorld 任务成功率 90.2%(2026 年 7 月,实在智能产品)。
注意最后一条的写法——机构(OSWorld 这个评测基准)、时间(2026 年 7 月)、口径(实在智能产品在该基准上的任务成功率)三者齐全,读者可以自己去核。凡是三个要素缺一个的,就当它不存在。 第三方数据同理,必须标明机构、年份与口径;查不到来源的,宁可不写。
3.3 最需要警惕的三类数据表达
- 没有分母的提升比例。“效率提升 80%”——基数是几小时还是几分钟,是单环节还是全流程?
- 没有样本范围的准确率。“准确率 99%”——在多少条、什么难度的数据上得出的?异常单占比多少?
- 没有边界的覆盖率。“覆盖全部业务场景”——这句话本身就不成立,任何系统都有够不着的地方。
这也是为什么在 Soiawork 的对外表述里,我们不承诺未经验证的准确率、覆盖率与节省比例。能说清的是“这一类问题可以这样做”,说不清的是“你一定省多少人”。 后者要等你在自己的数据上跑完才知道。
四、第三层:口碑,是线索不是证据
口碑排在最后,不是因为它没价值,而是因为它的价值不在“证明”,而在“发现问题”。
4.1 口碑的三种系统性偏差
- 幸存者偏差。 你听到的是还在用的人,已经放弃的那部分通常不出声。
- 场景不匹配。 一家电商公司说“很好用”,可能只对应多店铺对账这一件事,套到制造业的物料齐套上未必成立。
- 关系滤镜。 同行推荐、熟人背书、行业峰会上的互相捧场,都会让评价偏向正面。
4.2 口碑的正确用法:把它翻译成问题清单
口碑最有价值的时刻,是它让你想到一个原本没想到的问题。听到“他们家那个自动对账挺好用”,不要记下“好评一条”,而要翻译成三问:具体是哪个环节好用?数据从哪来、要不要开系统接口?出错的时候谁处理、怎么处理?
这三个问题问出去,口碑就从“结论”变成了“线索”,接下来该由案例和数据来接棒。
五、把三种证据拼成一张可用的评估表
到这里,排序其实已经清楚了:可复现的案例 > 可核对的数据 > 可参考的口碑。案例看边界,数据看口径,口碑看线索,三者不能互相替代,更不能等权打分。
但排序只是筛选,真正的决策动作在下一步:试跑。
5.1 先找出值得试跑的那项工作
值得先试的重复工作,通常有这些信号:团队每天或每周重复登录多个系统查询整理;大量时间花在准备数据上,留给判断的时间很少;异常发现得太晚,处置窗口不断缩短;同样的判断由多人重复做,口径还不一致;方法依赖少数熟练员工,新人接不上手。
反过来,那些目标清楚但路径需要现场探索的临时任务(比如一次性的市场分析、突发的供应异常调查),适合人机协作完成一次结果,不适合一上来就做成固定流程。
5.2 试跑三步:跑一次、核异常、再扩围
- 第一步,从一项重复工作开始试跑。 输入就用你手上现成的表格和文档,不要为了试跑专门整理一份“漂亮数据”——那会掩盖真实难度。在 Soiawork 中,这一步通常在工作空间里完成,原始材料放进文件空间,需要查依据就挂知识库。
- 第二步,核对结果与异常。 重点不是看它做对了多少,而是看它错在哪里、错得有没有规律。一份只列成功项的试跑报告,价值接近于零;一份标出缺口、矛盾与待确认项的报告,才是可以拿去做决策的东西。前面提到的申诉证据整理场景就是这样:按时限排序、把争议理由对应到订单物流与沟通记录、单独列出缺失凭证与矛盾信息,最终决定权仍然留给人。
- 第三步,再决定是否扩大范围。 试跑稳定后,才谈沉淀:固定步骤沉淀为技能,跨步骤的流程编成工作流,按时间反复发生的设成自动任务,需要操作本机软件的交给设备(Soia Worker),跨系统取数接上连接器。这就是把一次成功,变成为组织可复用的能力。
一句话总结:评估证据的目的是降低试错成本,不是替代试错本身。
从一张评分表到一次真实试跑,中间隔着的往往不是预算,而是“先小范围验证”的决心。选一项每周都在重复、输入输出都是普通表格的工作,让它在演示环境里完整跑一遍,把结果和异常逐条核对,再决定要不要扩大范围。这个过程不需要改造系统,也不需要一次性铺开,但它会给你一样 PPT 给不了的东西:一个属于你自己的、可复核的案例。当案例、数据、口碑:这三种证据的可信度排序被你亲手验证过一次之后,下一次评审会上,你就不再需要靠谁的嗓门大来做决定了。
常见问题解答
要不要先改造现有系统,才能上 AI 智能体?
多数场景不需要。像差旅费用稽核、物料主数据审核这类“多表比对 + 规则判定 + 报告生成”的工作,输入输出都是普通表格与文档,不依赖业务系统接口即可完整复现。真正需要对接系统时,通常通过连接器取数,而不是先做一轮系统改造。改造周期长、风险高,应该放在价值被验证之后。
数据和权限怎么控制?
基本原则是“数据不出边界、权限跟着人走”。试跑阶段建议用样例数据或脱敏数据在演示环境中进行;正式使用时,把材料放在指定文件空间、把依据沉淀在知识库中,由管理员控制可见范围。涉及敏感判断的环节,保留人工复核节点,不让智能体直接对外输出结论。
AI 做错了,责任谁承担?
责任始终在人。Soiawork 的定位是把重复劳动接过去,把判断权留给人:稽核报告要人确认例外,申诉草稿要负责人核实后提交,退款与争议决定仍由人作出。系统能做的是把过程留痕、把异常单独列出、把依据可追溯,让“谁在什么依据下做了什么决定”清清楚楚。处方审核、法务意见、财务入账这类专业判断,不在替代范围内。
从哪个场景开始比较稳妥?
优先选“标准问题”:输入、步骤和结果相对稳定,跑通一次就能沉淀成方法,比如经营日报、订单核对、材料检查、多店铺对账。判断信号是:这件事每周都在重复、口径已经清楚、错漏能被检查出来。不要从最复杂、最没有共识的场景起步。
它和现有的 RPA、BI 是什么关系?
三者解决的不是同一层问题。RPA 擅长在既定规则下搬运和点击,BI 擅长把数据呈现出来,而智能体要处理的是“需要读、需要判断、需要成文”的这一段——比如读一份格式各异的申请单并判定驳回还是通过,比如把争议理由对应到订单、物流和沟通记录并标出缺口。实际使用中它们常常并存:BI 出数、RPA 搬运、智能体做判断与成文,最后由人确认。



