AI 产品经理 · 保险 / 金融

让大模型真的被用起来

保险行业 15 年,最近两年转做 AI 产品,经手过两个寿险公司的大模型落地: 几十款产品的问答知识库、上万条 FAQ、一线人员每天都在点的功能。 我不写 PPT 里的 AI,我写能开发、能上线、能被挑毛病的 PRD。

“福寿康这个能附加重疾吗?” 一线人员的真实提问 改写 · 意图分类 产品名归一 → 分层提示词 FAQ 库 条款切片 产品图谱 可用答案 带条款出处 · 可直接说给客户 点踩 → 知识修复 每一层都会掉准确率,难的不是搭起来,是让它稳定。
15 年 保险行业业务与系统经验
2 个 寿险公司大模型项目落地
79 个 独立输出功能点的 PRD
1 万+ 知识库 FAQ 条目治理

能做什么

不是"会用大模型",是知道一个 AI 功能从设计到能用之间,卡在哪几个具体的地方。

RAG 知识库架构

几十款保险产品、上万条 FAQ、两千多条知识切片的知识库从 0 搭起。参与切片规则设计,产出团队通用的切片标准文档。

Prompt 工程

产品名标准化改写:兼容全称、俗称、错别字与语音转写错误,统一归一到最短别名再送检索。问题分类做意图与专项提示词分层。

Function Call 集成

保费试算:意图识别 → 多轮对话采集要素 → 调用业务系统接口 → 生成结果链接。让问答从"会说"变成"能办事"。

智能体交互设计

销售对练:客户标签 → 大模型生成人设 → 实时对话 → 通用与产品双维度 AI 评价。覆盖人设生成、上下文管理、评价生成三条链路。

效果评测与迭代

badcase 归因 → 修复 → 验证的闭环。在固定问题集基线上做量化提升,而不是靠"感觉好像变好了"。

知识闭环机制

用户点踩 → 自动生成质检任务 → 知识优化 → 下次命中。让知识库自己长大,而不是靠人海不停补。

代表作品

三件事,都是从模糊的一句话需求,拆到能开发、能验收的程度。

独立 PRD 79 功能点 / 7 页面 已上线

从“我想有个勋章”到一套激励体系 #

客户的原始需求只有一句话:希望有一个勋章。 原方案是一条主线加四条支线,我做到中途把它推翻了—— 因为那套设计本质在给用户贴定性标签(你是"深度型"还是"广度型"), 而这批用户是一线销售人员,被系统评价会直接导致他们不用。

重构后的版本从"评价范式"转成"激励范式": 三条主线(问题深度 / 广度 / 奖励分值)加限定隐藏支线,只奖励不定性。 配套五维能力雷达图,定义 0-10 分计算公式、等级修正系数、四档诊断文案, 以及 AI 综合诊断报告的生成逻辑。再加成长里程碑时间轴与同侪排行榜, 排行榜按机构 / 同岗位 / 全省三个维度做数据隔离。

3 轮客户沟通、2 轮内部评审、十几轮自我推翻,最后落成 79 个功能点、7 个页面的 PRD v3.1。

对话深度 知识广度 价值产出 演练水平 专业能力 10 5
五维能力雷达图的指标结构(示意)。每个维度 0-10 分,有独立计算公式与等级修正系数,数据为虚构。
展开:我为什么把自己的方案推翻了

原始需求只有一句话

客户提的是“希望有一个勋章”。这类需求最危险的地方在于它听起来很小, 但它背后的真实问题是“怎么让一线人员愿意每天打开这个系统”。 如果直接按字面做,最后交出的就是一个没人看的徽章列表。

第一版方案,以及它的致命伤

最初的结构是一条主线加四条支线,支线按行为类型给用户分类: 你是“深度型”、“广度型”还是“活跃型”。设计评审前一天晚上我意识到一个问题: 这套东西本质上在给人贴标签。

用户是保险一线销售人员。这个群体的业绩本来就被排名、被考核、被公开比较。 你再给他一个系统生成的定性标签,只有两个结果:要么他觉得被冒犯, 要么他开始为了刷标签而刷标签。两种都会让功能死掉。

从“评价范式”改到“激励范式”

重构后的结构只保留三条主线:问题深度、问题广度、奖励分值。 三条线都是可累积的量,不隐含任何人格判断。另外加了限定隐藏支线, 触发条件不公开,抽中了就是惊喜,没抽中也不会觉得自己差。

  • 只奖励,不定性。所有文案写“你完成了什么”,不写“你是什么人”。
  • 不可逆。得到的勋章不会因为后续活跃度下降而掉,否则它就变成了考核工具。
  • 雷达图只给自己看。五维能力图不进任何排行榜,不向上级开放。

雷达图具体怎么算

五个维度各自有独立公式,归一到 0-10 分,再乘一个等级修正系数—— 不加修正的话,新人和资深人员在同一张图上根本没法比。 得分区间对应四档诊断文案,文案只描述行为与下一步建议,不下结论。 最后由大模型基于五维数据生成一段综合诊断报告。

排行榜那个坑

同侪排行榜看着简单,实际上是合规重点。排名要按机构、同岗位、全省三个维度分开, 而且部门之间数据必须隔离。原因很具体:不同机构的业务数据互相可见, 在保险公司内部是敏感问题。这一条是我在需求阶段主动提出并写进 PRD 的, 不是开发阶段被提醒的。

如果重新做一次,我会改什么?

推翻发生得太晚了。我是在已经画了一半原型时才意识到贴标签的问题, 浪了大概一周。如果重来,我会在写功能点之前先问一句: 这个设计会让用户觉得被奖励,还是被评估?这一句能省下一周。

RAG 架构 几十款产品 100+ 一线用户

一个真的有人用的保险问答助手 #

面向某头部寿险公司一线营销人员的大模型问答平台,覆盖在售与停售共几十款产品。 我负责营销助手端的产品设计:问答架构、Prompt 模板、对练功能、社区模块。

这里面最不起眼但最关键的一件事,是产品名归一化。 真实用户不会打全称,他们打俗称、打简称、打错字、语音转文字还会转错。 我们加了一层改写:把用户问题里所有能识别到的产品指代, 统一替换成最短别名并用方括号包裹,再送去检索。 这一层做完,检索命中率的提升比调模型明显得多。

首批在 1 家分公司试运行,覆盖 100 多名一线人员。

用户真实输入 全称:福寿康宁终身寿险 俗称:福寿康 错字:福寿康安 语转文:呼寿康 改写层 Prompt 归一化 统一后送检索 [福寿康] 最短别名 + 方括号包裹 → 检索命中率明显上升 关键判断:检索命中率的瓶颈往往不在模型,而在“用户怎么叫这个产品”。 产品名不归一,后面所有环节的优化都在推倒的地基上。
产品名归一化的处理链路。图中产品名为虚构举例,不对应任何真实产品。
展开:知识库答不准,到底是哪一步的错

先说一个反直觉的事

接手这个项目时,所有人的第一反应都是“模型不行”。 但把 badcase 一条一条归因完之后,真正的大头不在生成环节, 而在模型根本没拿到对的知识。检索没命中,后面再强的模型也只能编。

命中失败的真实原因:人不按全称说话

知识库里存的是产品全称,而一线人员在客户面前从来不说全称。 他们说俗称、说简称、打错字,还有很大一部分是语音转文字—— 转错的比例比想象中高很多,而且错得很有规律(同音、近音、方言口音)。

我们加了一层改写:把用户问题里能识别到的产品指代, 统一换成最短别名并用方括号包裹,再送去检索。 方括号不是装饰,它给下游一个明确信号:这几个字是实体,不是普通词。

  • 为什么用最短别名而不是全称。全称里的修饰词(终身、终身寿险、终身寿险 A 款)会干扰向量相似度,反而把不同产品拉到一起。
  • 别名表是手工维护的。没有自动方法。我们从真实问题日志里扫高频写法,一个一个归到主实体上。这是脏活,但回报最高。
  • 停售产品不能删。客户手里拿着十年前的保单来问,知识库里没有就只能编。

切片这件事没有通用答案

条款文件不能按字数硬切。保险条款的语义单元是“责任项”, 一个责任项可能只有两行,也可能带三层例外说明。硬切会把“免赔情形”和它修饰的责任切开, 结果就是模型告诉客户“这个赔”,而下一句的免责条款它根本没看到。 这类错在保险业务里不是“答得不好”,是合规风险。

所以我们把切片规则写成了文档,固定下来:以责任项为最小单元, 例外与免责必须随主体一起入片,跨页的责任项手工合并。 这份文档后来成了团队里其他人做知识入库的依据。

让知识库自己长大

一万多条 FAQ,靠人海补是补不完的。我设计了一条闭环: 用户点踩 → 自动生成质检任务 → AI 训练师处理 → 知识优化 → 下次命中。 关键在最后一步:修完要能验证。 很多团队做到“收集反馈”就停了,反馈进了表格就再没人看,那不叫闭环。

对练功能为什么不能只做“能聊”

对练的底层是四维客户标签生成人设,实时对话用 Redis 管上下文, 对话日志进 ES。但技术不是重点,重点是评价。 如果只给一个总分,用户练一次就不练了——他不知道该改什么。 所以评价拆成通用与产品两个维度,分开给建议。

这个项目里我最意外的一件事

产品名归一化这么“土”的一层,对命中率的提升比换模型、调参数都明显。 它不需要任何前沿技术,需要的是有人愿意去看一万条真实提问。 这让我彻底改了习惯:看指标不行时,先去翻日志,不要先去看模型。

知识图谱 Graph RAG 进行中

让 AI 推荐产品,而不是背产品 #

产品智能推荐:8 要素客户画像采集(3 必填 5 选填)→ 推荐智能体 → 1 到 3 套分层方案,附多产品对比表和可以直接用的营销话术。 底层是产品数据模型到实体 / 关系 / 属性三元组抽取,再做知识融合入图库。

同期还做了活动方案自动生成:输入专家资源、工作人员与客户画像, 输出 7 个环节的完整活动流程(含岗位分工)、推荐产品方案与全场景话术,支持导出 PDF。

属于 保障 适用 除外 组合 产品 主实体 险种 责任 人群 免赔 搭配 从图到推荐 8 要素客户画像(3 必填 5 选填) 图上检索:适用 / 除外 / 搭配 1-3 套分层方案 + 对比表 为什么不直接问模型:产品间的除外 与搭配关系是硬规则,记在图里可校验, 放在权重里只能掘。
产品知识图谱的实体与关系结构(示意),以及它如何支撑推荐链路。
展开:为什么推荐不能交给模型自由发挥

推荐和问答是两回事

问答答错了,用户自己能看出来,成本是一次不信任。 推荐推错了,一线人员会拿着错的方案去见客户,成本是一单保单、 甚至一个理赔纠纷。所以推荐这个功能,容错率要比问答低一个量级。

硬规则必须进图,不能进权重

产品之间有一批不容商量的关系:哪两款不能同时投、 哪款必须附加在主险上、哪些人群直接拒保。 这些是二元的,不存在“可能行”。 把它们交给向量相似度去算,等于把硬约束变成了概率——这是掘坑。

所以底层走知识图谱:从产品数据模型抽实体 / 关系 / 属性三元组, 知识融合后入图库。图里的关系可以校验、可以追溯, 出了问题能指到具体哪条边错了。模型只负责表达,不负责判断能不能卖。

8 要素为什么是 3 必填 5 选填

最初的设计是 8 个全填。试了一轮之后发现没人愿意填完—— 一线人员是在客户家的沙发上掏出手机用这个工具,不是坐在办公室里。 所以拆成三个必填(影响方案方向的)+ 五个选填(只影响精度的), 填三个就能出方案,填得多方案更准。

  • 输出 1-3 套而不是 1 套,因为销售需要在客户面前有对比、有选择感。
  • 带多产品对比表,因为客户真正问的是“为什么不选那个”。
  • 带可直接用的话术,因为方案对不对不重要,说不说得出来才重要。

同期还做了活动方案生成

输入专家资源、工作人员与客户画像,输出七个环节的完整活动流程, 每个环节带岗位分工,配推荐产品方案与全场景话术,支持导出 PDF。 这个功能的设计重点不在生成,在“导出 PDF”: 机构经理要拿着这东西开晚会、发微信群。不能导出,就只能在系统里看一眼,用不起来。

这个项目目前的真实状态

还在进行中,没有结果可报。知识图谱部分已经跑通, 但完整链路的推荐准确率还没有稳定基线。我不想把未完成的事写成成绩。

一次失败复盘

95% 这个数字

60% 接手时准确率
75% 优化后达到
vs
95% 客户验收标准

一个大模型问答项目,客户的验收标准是问答准确率 95%。 我们从 60% 打到 75%,逐环节重建了意图识别、知识检索、答案生成和兜底策略。 最后没有达到 95%,项目以未达成告终。

我后来想清楚一件事:95% 在这个场景下是不可达的。 几十款产品、上千条知识切片、用户用俗称和错别字自由提问——这是开放域问答, 行业里做得好的团队也在 75% 到 85% 之间。95% 只存在于封闭域小范围问答。

所以真正的失败点不在于我们只做到 75%, 而在于立项那天没有人把"准确率"这三个字拆开: 它怎么定义、分母是哪个问题集、95% 有没有物理可能、达不到怎么算。 需求约束没在开始时对齐,后面所有的努力都在还债。

这是我现在做 AI 产品最先做的一件事:先跟客户一起把指标拆到可验证,再谈方案。 能拒掉一个不可达的承诺,比多做三个功能有用。

意图识别 知识检索 答案生成 兜底策略 96% 88% 92% 累乘 75% 单环节准确率(示意)
数字为示意。四个环节单看都不算差,但准确率是相乘而不是相加——这就是 95% 不可达的真正原因。
展开:这个项目具体是怎么走到那一步的

接手时的真实情况

我不是从立项开始就在这个项目里。接手的时候合同已经签了, 95% 已经写在验收标准里,准确率在 60% 左右。 当时没有人觉得这个目标有问题,包括我。大家的共识是“再优优就上去了”。

这个共识本身就是问题。从 60% 到 75% 靠优化,从 75% 到 95% 靠的不是优化, 而是换一个问题定义。两者不在一个量级上,但在 Excel 里它们看起来只是两个百分数。

我们真实做了什么

四个环节逐个重建,不是笼统地“调优”:

  • 意图识别。从一个大提示词拆成分层:先用意图提示词分类,再走对应的专项提示词。一个提示词想兼顾所有场景,结果是所有场景都一般。
  • 知识检索。产品名归一化 + 切片规则重写。这是收益最大的一块。
  • 答案生成。强要求带条款出处,没有依据宁可不答。
  • 兜底策略。置信度低于阈值时不硬答,改成推荐相关问题或转人工。

方法是 badcase 驱动:先固定一个问题集作为基线,每次改动重跑同一套, 否则“提升了”这三个字没有意义。这一条是我当时主动推的, 没有基线的话三方团队会各报各的数字。

95% 为什么不可达(当时没人算过这笔账)

四个环节串联,整体准确率是乘法关系。就算每个环节都做到 90% 以上, 四个乘完也到不了 95%。要达到 95%,每个环节得在 98%—— 而开放域意图识别本身就到不了 98%,因为有一批问题连人都分不清属于哪类。

还有一层更基本的问题:那个分母从没定下来过。 准确率的分母是哪些问题?包不包含知识库里本来就没有的内容? 包不包含完全不相关的闲聊?一个答案算对还是算错,由谁判? 这几个问题没有书面约定,意味着验收时双方各用自己的尺子量。

我当时应该做但没做的事

接手后的第一周,我就应该把这笔乘法算给客户看, 并提一个替代方案:把 95% 拆成分层指标—— 高频 TOP200 问题做到 95%(这是可达的,因为可以预置), 全量开放提问做到 80%,剩下那部分靠兜底不能答错。 这样客户拿到的东西反而更可用。

我没提。原因也很真实:合同签了,提这个等于要求变更,而当时所有人都觉得“再优优就行了”。 现在回看,那才是真正错过的窗口。

为什么把失败写在首页

因为这个项目教会我的东西比那些成功的多。 AI 项目现在最常见的死法不是技术做不出来,是一开始就签了一个做不到的数字。 如果你们正在谈一个带准确率验收的项目,我可以在签字之前就把这笔账算完。

在建 · 自己动手

这个站点本身,也是一个产品

前台负责讲清楚我是谁,后台是一套自己写的轻量 CRM: 线索进来自动分层、跟进状态可推进、每一次沟通都有记录。

CRM · 线索列表
来源 / 称呼关注方向状态
首页表单 · L 女士 AI 产品岗位 新线索
资源页 · 某券商 HR 团队组建咨询 高意向
复盘页 · W 先生 项目指标对齐 已联系
文章页 · 匿名 保险 AI 提效 新线索

为什么不用现成表格

因为表格记的是"有人来过",CRM 记的是"这个人走到哪一步了"。 前者是日志,后者才是资产。

  • 线索按来源页面自动归因,知道哪一段内容真的带来了人
  • 客户分层:招聘方 / 同行 / 业务咨询 / 合作
  • 跟进状态可推进,不靠记忆,不靠翻聊天记录
  • 每条线索有独立沟通记录与下一步待办
  • 新线索实时推送到我的工作 IM,不漏
  • 数据可完整导出,不锁在任何一家平台里

关于我

我不是科班出身。本科读的旅游管理,2010 年入行做软件测试, 做了十年测试、六年项目管理,行业一直没离开过保险—— 承保、核保、保全、理赔、代理人行销、营销活动,业务链路基本都走过一遍。

2025 年起我转到 AI 产品。这两年做的事,说白了就一件: 把大模型塞进保险业务的真实缝隙里,然后跟"它答得不对"这件事反复搏斗。 知识切片怎么切、用户把产品名打错了怎么还能检索到、 模型答错之后有没有一条修回来的路——这些细节决定一个 AI 功能是能用,还是只能演示。

之前六年做项目管理,最多同时带 8 个并行项目。那段经历留给我的不是管理头衔, 而是一个习惯:为交付结果负责,而不是为过程好看负责。

本站所有项目内容均已脱敏,不涉及具体客户名称、系统截图与业务数据。

聊聊

如果你在招 AI 产品经理,或者手上有个大模型项目正卡在"效果不达标"这一步,欢迎找我。我在北京。

提交后仅我本人可见,用于回复你这一件事,不做任何其他用途。

所在城市 北京
响应时间 通常 24 小时内