跳到内容
Kulicki.tech / Blog
返回

AI 真正的问题:它只会说你想听的话

为什么一味迎合的 AI 回答会让薄弱的想法显得已经得到验证,以及哪些实用提示词能在重要决策前迫使 AI 提出有价值的反对意见。

上一次 AI 质疑你想法背后的核心假设,是什么时候?

如果你想不起来,并不是因为你的每个想法都无懈可击,而是因为这个工具天生倾向于迎合,而我们很少追问得足够深入,去弄清它真正的判断。错误事实和奇怪失误很容易发现。更大的问题是,即使一个想法很薄弱,AI 也能让它听起来完全合理。

这篇文章写给那些每天用 AI 做头脑风暴、审查计划、制定策略或验证决策的人。如果你已经知道如何给模型写提示词,这篇文章会告诉你,为什么你的大多数提示词并没有产生你以为的效果。

赞同不等于证明

当 AI 说某种方法合理时,它实际上确认了什么?通常几乎什么都没有。

这不代表客户在意,也不代表市场已经准备好,更不代表产品经得住真实用户的检验。很多时候,这只说明模型的结论符合你设定的逻辑。换句话说,模型是在根据你提供的上下文,生成统计上最可能出现的后续内容,而不是独立验证你的假设是否属实。

这一点很容易被忽略,因为回答听起来连贯,而且结构清晰。但建立在薄弱假设上的完美论证,依然立在摇晃的地基上。

假设你这样写:

我们发现,中型零售商很难管理不同销售渠道中的产品数据。我们想打造一个 AI 平台来解决这个问题。帮我强化这个商业案例。

你已经确定了问题、受众和解决方案。模型会在这个基础上继续构建,而不会先质疑它是否应该存在。

这未必是坏事。事实上,当你是在完善一个想法,而不是质疑它时,这往往正是你想要的结果。重要的是认识到这种局限性,这样你才不会带着十足的信心,在由错误假设搭建的迷宫里越走越深。

建立在未经验证的假设上的 AI 论证

你可以不断引导模型,直到它同意

与 AI 的对话可能会从探索逐渐变成谈判。模型提出反对意见,你补充背景。它还是不认同,你就换一种说法。最终,回答变得正面起来。

有时这意味着模型终于理解了你的意思。另一些时候,你只是不断缩小讨论范围,直到它不太可能再表示反对。

人与人之间也会这样:我们会强调支持自己的事实,也会去找那些“懂我们愿景”的人。AI 做得更快,因为它有无穷的耐心,而且会依据你最后提供的框架来回应。

关于语言模型谄媚行为的研究也支持这一点:AI 助手经常偏向符合用户既有观点的答案,而不是更准确的答案;人们也常常更喜欢自信、写得漂亮的回答,而不是正确的回答。模型的行为只解释了一半。我们也在奖励它说出自己想听的话。

这会形成一个舒服的循环:你提出假设,模型围绕它们构建论证,回答的力度增强了你的信心,你更加确信地再次提问,模型又配合你的确信。最终,对话不再检验你的想法,而是开始为它精心打扮,准备参加一场它从未受邀的派对。

一个非常简单的例子

AI 是在故意骗你吗?

这通常不是正确的问题。模型不需要策划什么阴谋,也能误导你。一个经过训练、目标是表现得有用并获得认可的系统,即使毫无意图,也可能变得过度迁就。

研究人员把 AI 欺骗定义为:为了实现真相之外的某个目标,系统性地让人形成错误信念。这是一个真实且严肃的研究领域,但我描述的大多数情况要微妙得多。模型只是在生成顺着对话方向发展的回答。

问一个人过得怎么样,最可能得到的回答是“挺好的”,但这并不代表事实就是如此。模型非常擅长生成预期中的台词(毕竟它们读过很多台词)。真正有用的回答,有时恰恰是打破这套台词的那个。

最近怎么样

信心上升了,准确率却下降了

一项发表于 2026 年、包含五项实验和 3,132 名参与者的预印本研究,也得到了 TNW 和 The Register 的报道。研究人员特意选择了一些 AI 会给出错误建议的难题。没有 AI 时,44% 的参与者承认自己不知道答案,27% 的人回答正确。可以获得 AI 建议时,只有 3% 的人承认自己不确定,准确率降至 9%,而信心却从 30% 跃升至 76%。**准确率下降了三分之二,而信心却增加了一倍多。**一些原本能够独立答对的参与者在咨询模型后改变了答案,结果反而答错。AI 不只是给了他们一个错误答案,更用借来的信心取代了不确定性。这才是真正危险的地方:一个流畅的回答,会让薄弱的假设不再像是需要检验的东西,而开始像是你已经知道的事实。

主动增加阻力

AI 的默认用法是:这是我的想法,帮我改进它。这对执行很有用,但不适合检验这个想法是否值得存在。

面对真正重要的决策,我会把任务拆成两部分。先攻击前提,再改进经得住攻击的部分。为了让 LLM 对抗一味附和的倾向,我最喜欢使用的提示词之一是:

扮演一名元认知推理专家。

对于每个复杂问题:

1. 分解:将问题拆分为子问题
2. 求解:逐一处理,并明确给出置信度(0.0-1.0)
3. 验证:检查逻辑、事实、完整性和偏见
4. 综合:使用加权置信度整合结果
5. 反思:如果置信度低于 0.8,找出薄弱点并重试

对于简单问题,跳过以上步骤,直接回答。

始终输出:
- 清晰的答案
- 置信度
- 关键注意事项

置信度分数不是科学测量。模型在判断自己应该有多大把握时,也可能自信地犯错。不过,这种结构要求模型指出薄弱点,而不是只给出一个精致的结论。它也改变了我阅读输出的方式:这不是判决,而是一段仍需由我核实的论证。

亲自试试这个提示词,看看奇妙的变化如何发生。

跳出一味附和的循环

只需做一些调整,就能真正提升你与 AI 对话的价值:

  • 要满足什么条件,这个回答才会是错的?
  • 你未经检查就接受了我提示词中的哪一部分?
  • 给出反对这个想法的最有力论证。
  • 分开说明哪些内容经过验证、哪些是合理推测、哪些只是未经证实的假设。
  • 有哪些我没有告诉你的信息,可能改变你的建议?
  • 一个持怀疑态度的客户、投资者、工程师或竞争对手会如何回应?
  • 你的回答中哪一部分听起来最有说服力,但依据最薄弱?
  • 如果这个计划在六个月后失败,最可能的原因是什么?

最后一个习惯最容易被忽略,但回报也最大。第一个回答通常最顺滑。到了第二或第三轮,阻力才会开始出现,而正是在这种阻力中,你才能看清计划是否真的站得住脚。

让它使你感到不舒服

我不需要 AI 质疑每一个字。我需要它在一个糟糕的假设可能把整个项目带向错误方向时提出反对意见。

每次与 AI 对话时都从头构建这种阻力很慢。因此,我整理了一套包含 15 个提示词的资料,让 AI 挑战而不是确认你的假设,覆盖计划审查、策略检查、产品决策和技术判断。

获取这套资料,把提示词放进你下一次与 AI 的对话中,看看你当前的计划在这些质疑面前还能剩下多少。