AI 客服上线后,客服团队每天要检查什么?

AI 客服上线后,回答质量会随问法、商品和知识库变化而漂移。本文给出一份客服团队可以直接执行的日常检查清单:看哪些数据、抽查哪类会话、如何把“AI 回答不了”变成待办、怎样补齐知识缺口,以及每天该在什么时候做这几件事。

企业客服运营实践

快速回答

上线后每天要做的核心是三件事:看会话量、转人工和未解决会话的整体变化;抽查多轮未解决、重复提问和情绪不满的会话;把发现的知识缺口按“无知识库、未索引、检索不到、AI或额度不可用”分类,分派到人并在修改后验证。此外每天还需在前台网站真实入口验证一次接待流程,因为聊天测试不能代替网站安装测试。

上线只是起点:日常检查要解决什么问题

很多团队把 AI 客服当成一次性项目:配置问答、测试通过、正式上线,然后注意力就转回人工客服。但真实运行中,用户的问法会变、商品和活动会变、政策会变,知识库也会逐渐过期。AI 的回答质量不是恒定的,它会随着这些变化慢慢漂移。

日常检查的目的不是“盯着 AI”,而是尽早发现三类问题:

  • 该答对的没答对:知识库有内容,但检索没命中,或者答案本身已经过时。
  • 该转人工的没转:AI 反复绕圈,用户在会话里不断重复同一句话,体验受损。
  • 该沉淀的没沉淀:一线客服已经知道正确答案,但这个答案没有回到知识库。

美橙 AI 客服系统在商户端提供了 AI 配置与回答策略、销售线索与 AI 运营分析、AI 学习与答案纠错与知识优化等模块。日常检查本质上就是围绕这几个模块,在固定时间、按固定顺序做几件固定的事,而不是每天临时想“今天该看什么”。

每天开工先看的三类数据

第一件事不是抽查会话,而是先看整体数据,判断今天要不要加量抽查。建议每天固定看三类:

1. 会话量与分流情况

看昨天的总会话量处于什么水平,与前几天相比是平稳还是明显波动。波动本身不是问题,但要能找到原因:是不是有新活动、新页面、新渠道带来的咨询;如果找不到原因,再去看会话内容。

2. 转人工情况

看转人工的绝对数量和占比趋势。重点不是“转人工多就不好”,而是要看转人工发生在哪些问题上。同一个问题连续多天大量转人工,通常说明这是一个明确的知识缺口或策略缺口。

3. 未被解决的问题与销售线索

在“销售线索与 AI 运营分析”中,重点看不成功的会话和被记录下来的线索质量。线索部分要看的不是数量多少,而是这些线索是否属于真实业务咨询,有没有把闲聊或无效提问误记成线索。

看数据的原则是看趋势和结构,不追求单日数字的好看。一天的波动说明不了什么,连续几天的同向变化才值得处理。

会话抽查:每天看多少、看哪些

数据只能告诉你“哪里可能有问题”,具体是什么问题必须回到会话里看。建议每天固定抽查一批前一天或当天上午的会话,抽样时优先挑这几类:

  • AI 连续多轮仍未解决的会话;
  • 用户明显在重复同一问题的会话;
  • 转人工之前来回轮次特别多的会话;
  • 用户情绪明显不满、或直接质疑“你是不是机器人”的会话。

打开一条会话后,按固定顺序看四件事:

  1. 意图有没有识别对:用户问的是一件商品,AI 理解成了另一件事,后面答得再流畅也没有意义。
  2. 答案来源对不对:回答是否来自正确的知识条目,有没有把 A 商品的规则套到 B 商品上。
  3. 表达是否合规得体:语气是否符合品牌调性,有没有出现不该承诺的内容。
  4. 转人工时机是否合适:该转的时候转了没有,不该转的时候是不是转得太早。

抽查不用追求数量,关键是每天都要看,并且把发现的问题记下来。只看不记,第二天就会忘,问题会一直重复出现。

把“AI 回答不了”变成明确的待办

“AI 回答不了”只是一个现象,背后可能是完全不同的原因。在美橙 AI 客服系统中,常见的几种原因需要分开处理:没有知识库、文档尚未索引、检索不到相关内容、AI 或额度不可用。这四类情况的处理动作完全不同,混在一起排查只会浪费时间。

建议在检查表里把它们拆成四条互斥的判断:

  • 如果知识库里根本没有这一类内容,处理动作是补内容;
  • 如果文档已经上传但尚未完成索引,处理动作是等待索引完成后再验证,不要急着改答案;
  • 如果有内容但检索不到,处理动作是检查表述方式,把用户的口语问法补进问答;
  • 如果是 AI 或额度不可用,处理动作是核对账户状态和消耗情况,这属于运营层面的问题,改知识库并不能解决。

每条被确认的问题都应该落到一个具体的人和一个具体的处理动作上,并在处理后回到同样的问法上验证一遍。没有验证的“已处理”,等于没处理。

知识缺口闭环:从今天的会话到明天的知识库

日常检查最有价值的部分,是把一线发现变成知识。这一环节如果断掉,客服团队每天都会在处理同样的重复问题。

可以按下面的顺序做闭环:

  1. 收集:把当天抽查和人工客服反馈中出现的“答不上来、答错、答得含糊”的问法记录下来,按问题类型归并,而不是一条条罗列。
  2. 判断:区分是知识缺失(没有这条内容)、知识过时(内容有但已不符合当前政策),还是表达问题(内容对,但用户的问法检索不到)。
  3. 修改:在“AI 学习、答案纠正与知识优化”中完成答案纠正或补充;涉及源文档的,修改后要重新走索引流程。
  4. 验证:用用户的原话重新问一遍,确认回答正确,再观察后续几天同类问法的转人工情况。

需要注意的是,知识优化要控制节奏。每天集中改一大批内容,第二天出现问题时很难判断是哪个改动引起的。更稳妥的做法是分类小批修改,并保留修改记录。

配置、消耗与网站实际可用性

除了会话和知识,还有两块容易被忽略的日常核对。

第一块是配置与策略。 活动、价格、售后政策变化时,需要同步确认“AI 配置与回答策略”中的相关设置是否已经更新。配置没跟上业务变化,是回答“看起来没错但已经过时”的最常见原因。

第二块是消耗与可用性。 AI 及知识检索的消耗依据当前套餐与计费规则,日常需要定期核对使用情况,避免在业务高峰期出现不可用。同时要特别注意:聊天测试不能代替网站安装测试。后台的聊天测试通过,只能说明配置本身可用,不能说明网站前台真的能正常接待用户。每天应当在前台页面用真实入口验证一次完整流程。

一份可以直接照着做的每日检查清单

把上面几节压缩成一份可以贴在工位上的清单,按早、中、晚三个时间点执行:

开工后(约 15 分钟)

  • 查看昨天的会话量、转人工情况、未解决会话和线索的基本情况;
  • 确认系统可用、额度正常;
  • 在前台网站用真实入口发一条测试咨询,确认能正常接待。

上午处理时段(约 30 分钟)

  • 抽查前一天的会话,重点看多轮未解决、重复提问和情绪不满的会话;
  • 对抽查中发现的问题逐条归类,判断属于知识缺失、内容过时、检索不到还是系统层面问题;
  • 把需要修改的条目分派到具体负责人。

下午收尾(约 15 分钟)

  • 验证当天已修改的答案,用用户原话重新测试;
  • 与人工客服同步当天的高频问题和临时口径;
  • 记录当天未完成的事项,作为第二天的第一项待办。

每周固定一次

  • 回看一周的转人工问题清单,判断哪些是可以通过补知识减少的;
  • 清理已经失效的活动、政策和过期问答;
  • 复核线索记录的质量,剔除明显的无效记录。

三个常见场景和处理方式

场景一:某个问题连续几天都在转人工。

先不要急着把整个流程转人工化,而是回到会话里看用户的原话。多数情况下是知识库里有正确内容,但用户的问法比较口语,检索没有命中。处理方式是把这些口语问法补进对应问答,再观察后续同类会话。

场景二:AI 答得很流畅,但答案是错的。

这类问题最危险,因为它不会触发转人工,用户也不会立刻察觉。处理时优先确认答案来源是否指向了过时或错误的知识条目,在“AI 学习、答案纠正与知识优化”中完成纠正,并检查是否还有其他问答引用了同一份源文档。

场景三:后台测试正常,前台用户却反馈没有回应。

先按“聊天测试不能代替网站安装测试”的思路,去前台真实页面验证,而不是在后台反复调试。同时核对 AI 与额度是否可用,排除系统层面的原因之后,再回到配置和知识层面排查。

让清单长期有效的两个原则

第一,检查项要少而稳定。清单越长越难坚持,与其设计一份包含二三十项的完美表格,不如保留十来项每天必做的动作,把其余内容放进周检。

第二,每个问题都要有出口。检查发现的问题如果没有对应负责人和处理时限,这份清单就会逐渐变成形式。团队可以只用一个共享表格记录:问题描述、归类、负责人、处理状态、验证结果,五项即可。

AI 客服的运营没有一劳永逸的配置,只有持续的小幅修正。把每天该看的东西看一遍,把该补的知识补进去,服务质量就能维持在可控的范围内。

常见问题

时间很紧的话,每天最少要检查什么?

至少保留三件事:一是查看昨天的会话量、转人工情况和未解决会话;二是抽查其中几条多轮未解决或重复提问的会话;三是到前台网站用真实入口发一条咨询,确认能正常接待。其他检查项可以合并到每周做一次。

AI 回答不了用户的问题,一定是知识库没有内容吗?

不一定。常见原因包括没有知识库、文档尚未索引、检索不到相关内容、AI 或额度不可用,这几种情况的处理方式完全不同。排查时应先判断属于哪一类,再采取对应动作;如果是额度或可用性问题,补充知识并不会解决。

后台聊天测试通过,是不是说明网站上的 AI 客服已经正常?

不能这样判断。聊天测试不能代替网站安装测试,后台测试通过只能说明配置本身可用。每天还应当在前台网站的真实入口完整走一遍咨询流程,确认用户侧确实能正常接待。

转人工多,是不是说明 AI 效果不好?

不能简单这样看。转人工多本身不是结论,关键是看转人工集中在哪些问题上。如果同一类问题连续多天大量转人工,通常说明存在明确的知识缺口或策略缺口,应当回到会话里看用户的原话,再决定补知识、改策略还是调整转人工时机。

每天抽查多少条会话比较合适?

没有统一的数量标准,更重要的是一致性和针对性。建议每天固定抽查一小批,优先挑选 AI 多轮未解决、用户重复提问、转人工前轮次特别多以及情绪不满的会话,并保证每天都能坚持。

检查发现答案不对,应该在哪里改?

可以在“AI 学习、答案纠正与知识优化”中完成答案纠正或补充;如果问题出在源文档,修改后需要重新走索引流程。修改完成后,用用户当时的原话再问一遍进行验证,并观察后续几天同类问法的情况。