屏幕语义理解+ISSUT：不改造系统也能做自动化？
“我们这套系统是2013年上线的，厂商早就找不到了，没有接口文档，连原厂都说不建议动——这种情况下，还能做自动化吗？”
这是过去两年里，我在和制造、能源、物流行业的管理者交流时，被问到频率最高的问题之一。Gartner 在相关研究中指出，企业 IT 预算中有相当大比例被存量系统的维护与集成所消耗，而真正能腾出来做“系统改造”的资源越来越少。换句话说，业务等不起一次三年周期的系统换代，但自动化又不能不做。
这正是「屏幕语义理解 + ISSUT」这套技术路线要解决的问题：让自动化去适应系统，而不是让系统为自动化让路。本文会讲清楚 ISSUT 到底是什么、它凭什么说“不改造系统也能做自动化”，以及在真实企业环境里，这条路究竟走到了哪一步。
一、为什么“不改造系统”是自动化的第一道坎
1.1 被低估的三重改造成本
大多数自动化项目在立项阶段就被卡住了，不是因为技术不行，而是因为“改造”这件事本身的代价被严重低估。
- 资金成本：老系统开放接口往往需要原厂商配合，报价从几万到几十万不等，且按接口数量计费，系统越多、成本越指性增长。
- 时间成本：走完立项、招标、开发、联调、上线，一个跨系统集成项目动辄半年起步，业务部门的需求早就变了。
- 风险成本：动核心系统意味着停机窗口、数据一致性、合规审计等一系列连锁反应，很多企业的运维团队宁可手工做，也不愿意背书这次变更。
更现实的一点是，很多系统根本“无从改起”——闭源的老旧 MES、只提供加密客户端的行业专网系统、供应商已经停止维护的 ERP 模块，它们既没有 API，也没有可用的 SDK。
1.2 传统 RPA 的“玻璃心”困境
有人会说，那用 RPA 不就行了？RPA 本来就是模拟人在界面上操作，不需要接口。
问题恰恰出在这里。传统 RPA 依赖的是元素拾取：它靠控件的 ID、类名、层级路径，或者干脆靠屏幕绝对坐标来定位一个按钮或输入框。这种方式的致命弱点在于：
- 系统版本一升级，控件 ID 变了，流程立刻中断；
- UI 布局微调、按钮位置挪了两厘米，基于坐标的流程直接点空；
- 换一台分辨率不同的机器，或者用户把窗口拉大了一点，整条流程集体失效。
结果就是，企业花了大价钱建的自动化流程，变成了一个需要专人盯着、三天两头修的“易碎品”。运维成本甚至超过了原本的人工成本。
二、屏幕语义理解与 ISSUT：让机器“看懂”屏幕
2.1 从“识别元素”到“理解语义”
屏幕语义理解的思路转变在于：不再纠结这个按钮在底层代码里叫什么，而是像人一样，通过视觉去理解屏幕上“这是什么”。
人使用软件时，我们看到一个带放大镜图标的输入框，就知道那是搜索；看到一个写着“提交”的蓝色按钮，就知道点它能完成操作。我们并不需要知道它在 DOM 树里的节点 ID。ISSUT（屏幕语义理解技术）做的正是这件事——结合视觉识别、文字识别与界面结构推理，把屏幕上的像素还原成“可理解的业务语义”。
2.2 ISSUT 的四个关键特性
- 免 API、免改造：直接对接现有界面，无论是老旧 PLC 上位机、闭源 MES，还是内网加密客户端，只要有界面，就能被理解。
- API + 视觉双通路：对有标准接口的系统优先走 API，稳定高效；对没有接口的系统走视觉通路，两条路并行，真正打通全系统。
- 抗变化：系统版本更新、UI 布局调整、分辨率变化，都不会导致流程中断，因为识别依据是语义而非固定坐标。
- 运维负担显著下降：在实际项目中，这类技术的引入使因界面变化导致的流程故障大幅减少，运维成本明显降低。
实在Agent 正是基于 ISSUT 屏幕语义理解技术构建的智能体产品，它把“看懂屏幕”和“操作屏幕”封装成了可被业务人员调用的能力，让“不改造系统也能做自动化”从一句口号变成了可交付的工程方案。
三、技术演进的三个阶段：从执行者到业务专家
理解 ISSUT 的价值，需要把它放进自动化技术演进的大背景里看。
3.1 第一阶段：听话的“执行者”
传统 RPA 是这个阶段的典型代表。它的特点是严格按预设步骤执行：如果 A 就点 B，如果 C 就填 D。它不会思考，也不会变通，流程覆盖不到的边缘情况只能报错转人工。
3.2 第二阶段：懂沟通的“实习生”
ISSUT 技术把自动化推进到了这个阶段。你不再需要把每一步操作拆解得事无巨细地告诉它，而是可以像交代实习生一样说：“把这批单据核对一遍，有问题的挑出来。”它能通过屏幕语义理解，自己找到该点的按钮、该填的字段、该读的数据。
这一阶段的关键突破是意图识别 + 屏幕自适应，自动化流程从“写死的脚本”变成了“能应对界面变化的任务执行者”。
3.3 第三阶段：会思考的“业务专家”
当 ISSUT 与 TARS 大模型结合，智能体开始具备复杂任务的自主拆解能力。面对“本月预算执行情况帮我分析一下，异常项列出来”这类模糊指令，它可以自行规划路径：先登录哪个系统、取哪些数据、做哪些比对、在哪个环节停下来请示。
实在Agent 的多智能体协同架构正是围绕这一层能力设计的——TARS 大模型负责规划与推理，ISSUT 负责与各类系统界面对接，RPA 等超自动化技术负责精准执行，三者形成闭环。
四、不改造系统，真实场景里能跑成什么样
4.1 能源行业：内网加密客户端里的文档自动化
某大型能源企业下属的核电运营单位，面临的典型困境是系统孤岛与海量文档并存：机组技术文档、规程、合规报表分散在多个独立部门系统中，且大量操作发生在内网加密客户端和老旧网页上，外部工具根本无法接入。
解决方案采用了大模型 + 屏幕语义理解 + RPA 的多智能体协同架构，非侵入式对接各部门隔离系统。落地后的成效包括：文档归档准确率达到 100%，满足审计要求；单份文档处理时间缩短约 85%；数字员工 7×24 小时无间断运行，年节约工时上万小时。
这个案例的启示在于：越是封闭、越是老旧、越是“不能动”的系统环境，屏幕语义理解的价值反而越突出。
4.2 物流与流通行业：跨系统对账与结算
另一类高频场景是跨系统的数据核对。某市级流通企业每天要在营销平台、财务共享系统、业务管理系统之间反复切换，供应链对账涉及三方数据比对，必须在早上六点半前完成，否则影响当天的业务调度。
通过非侵入式对接异构系统，自动化流程每天自动抓取三方数据、完成核对、生成差异报告。对账时间从每天 3 小时压缩到 15 分钟，月度预算分析从 3 天压缩到 2 小时，整体流程效率提升 85% 以上，跨系统数据准确率达到 99.9%。
值得注意的是，这些系统同样没有做任何改造——原有系统照常运行，自动化只是“坐”在界面上完成了人的操作。
4.3 财务与共享服务中心：高频重复操作的替代
在财务场景中，发票审核、固定资产核对、多账套数据汇总等任务具有典型的高频、规则明确、跨系统特征。屏幕语义理解让智能体可以直接操作财务系统界面完成录入、查询、导出与比对，而不必等待系统开放接口。
4.4 信创环境：国产化终端的适配挑战
在信创替代加速推进的背景下，企业往往同时运行着国产化系统与老旧的存量系统，两套环境并存。实在Agent 的产品矩阵中，针对信创场景做了全面适配，可在主流国产软硬件环境下稳定运行，同时依靠视觉通路兼容尚未完成替换的老系统，避免出现“新系统能自动、老系统还得手工”的割裂局面。
五、企业选型时的几个务实判断
如果你正在评估“不改造系统做自动化”这条路，可以从以下几个角度设问：
- 覆盖度：方案是否能同时处理有 API 的系统和无 API 的系统？只做视觉或只做 API，都会留下死角。
- 抗变化能力：系统升级、界面改版后，流程需要重做还是自动适应？这是决定长期运维成本的关键。
- 环境兼容性：是否支持内网、加密客户端、国产化终端、多分辨率等复杂环境。
- 可追溯性：操作过程是否可审计、权限是否可隔离，这在能源、金融等强合规行业是硬门槛。
- 落地门槛：业务人员能否自主搭建和调整流程，还是每个小改动都要排队等 IT。
实在Agent 围绕这些维度提供了相对完整的产品矩阵：面向本土业务环境优化的版本、全面适配国产软硬件体系的版本、强调权限隔离与全链路审计的版本，以及面向高复杂度真实业务场景、强调高并发与高稳定性的企业版本。企业可以根据自身的合规要求、IT 环境和业务复杂度做组合选择。
结语
自动化的终局，不是让企业去迁就技术，而是让技术去适应企业真实的系统现状。屏幕语义理解与 ISSUT 的价值，恰恰在于它把“改造系统”这道高墙绕了过去——老旧系统不动、内网客户端不拆、国产化环境不用推倒重来，自动化照样能跑起来、跑得稳。当越来越多的企业意识到“能不能自动化”不再取决于“系统好不好”，而是取决于“方案懂不懂业务”，数字化转型的推进节奏就会真正快起来。
常见问题解答
Q1：屏幕语义理解和传统 RPA 的元素拾取，本质区别在哪？
元素拾取依赖控件的底层属性或屏幕坐标，属于“认位置”；屏幕语义理解依赖对界面内容的视觉与语义判断，属于“认含义”。前者在界面发生变化时极易失效，后者则具备更强的自适应能力，运维负担也相应更低。
Q2：完全不改造系统，自动化效果会不会打折扣？
在执行速度和稳定性上，API 通路通常优于视觉通路。但现实是大量系统根本没有可用接口，此时视觉通路是唯一可行解。成熟的方案会采用双通路策略：有接口的走接口，没接口的走视觉，整体效果不受影响。
Q3：内网、加密客户端这类封闭环境能支持吗？
可以。因为屏幕语义理解是在界面层工作的，不依赖系统的对外接口，也不需要联网访问外部服务。这也是它在能源、军工、政务等强隔离环境中被采用的主要原因。
Q4：系统升级或者换了分辨率，流程需要重做吗？
不需要整体重做。由于识别依据是界面语义而非固定坐标，常规的版本更新、布局调整、分辨率变化通常不会导致流程中断，只需在少数语义发生实质变化的环节做微调。
Q5：业务部门能自己维护这些自动化流程吗？
可以。当前的平台化产品普遍提供低代码甚至无代码的操作方式，业务人员经过短期培训即可完成流程搭建与日常调整，不必完全依赖 IT 部门排期，这大幅缩短了从需求提出到上线运行的周期。
实在Agent
