AI 的十字路口：爲什麼華爾街們正在向 ChatGPT 與 Claude 們說「不」？
作者：Jeff @IOSG
爲什麼需要私有 AI
過去二十年，企業靠協議層面的信任採用雲軟件，而且行得通。每家 SaaS 廠商只看到企業數據的切片，多數也沒什麼動力拿客戶數據反哺核心產品。Salesforce 看到銷售渠道，Workday 看到人事，Jira 看到開發迭代，AWS 提供存儲與計算的底座。然而今天的 AI 工作流主張一次性上傳全部家當，連同串起各部門的結構化上下文，以求生產力最大化。拋開善意不談，上游服務商如今可以拿這些數據去做新功能,而不是讓它們躺在服務器裏吃灰。
有一部分企業早已做出了行動。2023 年 2 月，ChatGPT 發佈不到的三個月內，華爾街主要銀行就已限制其使用。2023 年 5 月，在三星工程師把芯片源代碼泄漏進 ChatGPT 後，公司全網封禁生成式 AI。作爲回應，OpenAI 當年 8 月上線 ChatGPT Enterprise，承諾不用商業數據訓練，外加零數據留存 (zero-data-retention, ZDR)n協議，後者此後成了企業採購的標配要求。
但合同只鎖住了公司賬號。IBM 發現，到 2025 年，影子 AI (員工通過個人賬號把公司數據喂進未經批准的 AI 工具) 已捲入五分之一的數據泄露事件，而重度影子 AI 使用給泄露成本平均多添 67 萬美元。在安全培訓公司 Anagram 的一項 2025 年調查裏，四成員工表示爲了更快完成任務，他們願意違反 AI 使用政策。
2025 年 5 月的一紙法院命令，迫使 OpenAI 連用戶已刪除的消費級聊天都要留存，11 月，法官又下令把其中 2000 萬條移交《紐約時報》的律師作爲證據開示材料。接着是刑事案件：Palisades 大火縱火案被告的 ChatGPT 記錄進入證據，佛羅里達一起雙屍命案的宣誓書引用了嫌疑人關於如何處理屍體的提問。Sam Altman 也在 2025 年 7 月的訪談中承認，ChatGPT 對話不受法律特權保護，在訴訟中 OpenAI「可能被要求交出」用戶聊天記錄。
自託管或跑在可驗證環境裏的開源模型正在快速追趕，但最強的一批在通用能力上仍落後前沿閉源模型約 4 個月。這讓 tokenmaxxing 的企業和個人站在岔路口,要麼爲了這份隱私放棄幾個月的模型質量,要麼繼續把敏感材料傳上 Anthropic 的服務器,因爲競爭對手正是這麼搶生產力優勢的。
目前市場上並沒有完美的解決方案，份報告梳理各方縮小差距的嘗試，觀測可證明隱私之下的前沿智能距離交付到企業和普通用戶手裏還有多遠。
隱私 AI 不是單一工程,但目前市場裏的每種機制，處理的是同一個事件： 一條 prompt 離開你的設備，穿過網絡，落在跑模型的機器上，再返回一條回覆。而機制之間的差別在於明文在這條路徑的哪裏存在，誰能在那裏讀到它，以及靠什麼來驗證回覆的私密性。
協議級隱私
合同式零留存
匿名代理
機器與機器之間的每一段路都跑在 TLS 上，它只加密管道，收取的那一方可以讀到所有信息。中繼通常用 Oblivious HTTP (RFC 9458) 把這份知情權拆開，原理像託朋友遞紙條。朋友知道是誰遞的但讀不了內容，收件人讀得了內容但不知道是誰寫的。OHTTP 自 2024 年 1 月起就成爲了 IETF 標準,目前已有很多公司把生產流量跑在從 Cloudflare 和 Fastly 租來的 OHTTP 中繼上。
這也是訪問閉源模型所能得到的隱私上限，其原因是一道算術題。一次旗艦級訓練如今的花費在十億美元量級，而這些實驗室近萬億美元的估值押的就是模型權重的獨佔。模型能力差距撐多久，溢價就撐多久，所以實驗室把權重文件當國家機密看守。
Meta 已經被動做過這場實驗。2023 年 2 月發佈的LLaMA 一開始僅向研究者開放,但不到一週，權重就以種子形式泄露到 4chan。又過一週,llama.cpp 就讓其中最小的 7B 模型在一臺 MacBook 上本地作答，三天後，斯坦福又在同一個模型上用不到 600 美元微調出了聊天助手 Alpaca。這次泄露把 Llama 的運行成本打到了電費，任何拿到文件的人都能在家跑。2023 年 7 月，Meta 正式以附帶 7 億月活排除條款的商業許可開源了Llama 2。權重跑了，溢價也跟着跑了。
前沿實驗室理論上可以爲閉源模型的推理做 attestation (遠程證明),但 attestation 只能證明是哪段代碼讀了 prompt，證明不了這段代碼拿它做了什麼。要弄清服務器有沒有保留數據,我們需要審計服務代碼 (serving code) 並把它重構到硬件所報告的那個哈希。可一旦交出服務代碼，實驗室也就交出了支撐利潤率的批處理和緩存技巧，而這些技巧會遷移到未來每一代模型上。Apple 和 Meta 之所以可以爲 iPhone 和 WhatsApp 背後的服務棧做遠程證明，是因爲它們的利潤在設備和廣告裏，公開服務代碼幾乎不花什麼代價。
結構級隱私
這一類裏的每種機制，都用基於硬件、密碼學或物理的證明取代信任承諾，不過各自都要爲隱私升級付出不同的代價，首要的就是它們只能跑開源模型。
TEE(可信執行環境)機密計算
把推理放進硬件 enclave (芯片上一個連機器運營方都打不開的密封艙) 裏跑,芯片會簽署一份 attestation，寫明到底跑了哪個模型、哪段代碼。
封掉了可讀的中繼。用戶設備用 enclave 的密鑰加密 prompt，中間每一跳攜帶的都是隻有 enclave 能拆的密封信封。
信任落在客戶端。負責加密 prompt、校驗 attestation 的代碼同樣有能力撤銷這份保證。因此可驗證的 E2EE 既需要經過證明的 enclave，也同樣需要開放、可復現的客戶端代碼。
相比 TEE 的簡潔，E2EE的代價是工程負擔，這也拖慢了功能集成。E2EE 把代理變成一個盲送的信使，於是所有靠讀明文才能運轉的功能都得圍繞客戶端密鑰重建，或只在 enclave 內部重建。
FHE (全同態加密，及 MPC 變體)
代價是速度。FHE 原生只會做加法和乘法，所以 transformer 運轉所需的非線性步驟，都得以高昂的成本被重建。密文上的推理成本是明文的 1 萬到 10 萬倍，小模型上每個 token 也要幾秒到幾分鐘，而不加密的情況下只需毫秒。
本地推理
顯而易見的代價是成本和模型能力。gpt-oss-120b 在 Artificial Analysis 指數上得分約爲 GLM-5.2 的一半，但體積 65GB，超過市面上兩張旗艦遊戲顯卡的顯存之和。而全精度的 GLM-5.2 只能跑在 8 卡數據中心節點上，光 GPU 就要 30 多萬美元。
事實上，enclave 本身幾乎不給運營方增加額外運行成本。2023 年之後的每一塊 H100 都自帶 enclave 模式，額外成本是加密帶來的吞吐損失，而不是多出來的芯片。目前 Azure 上的機密 H100 SKU 租價仍是每小時 8.90 美元，不開 enclave 則是 6.98 美元，相當於在傳統雲設施上加價 27%。而另一邊,在Phala 這樣的專門提供 enclave 的運營商上，機密模式的 H100 正以每小時 3.80 美元起出租，低於 Lambda 普通 SXM 卡 3.99 到 4.29 美元的價格區間。託管 API 方案上，NEAR AI 帶 attestation 的端點按每百萬 token 輸入 0.15 美元、輸出 0.55 美元提供 gpt-oss-120b，與明文路線上的 Amazon Bedrock、Together 和 Groq 持平。即便是需要多芯片並行的模型，NEAR AI 在 GLM 5.2 上定價與 Fireworks 一分不差，並在更大的 Kimi K2.6 上輸入便宜 15%、輸出便宜 4%。
雖然這些新的隱私推理服務商可能在燒利潤搶份額 (這話放在市場裏任何想增長的公司身上都成立)，但結構性的走向是，隱私的成本對消費者和運營方都在下降。
差距還在，但 Bridgewater 旗下 AIA Labs 與 Thinking Machines 在 6 月 30 日給出了一個案例：一個用專家標註微調的開放模型，在準確率和成本上同時擊敗了前沿模型。
研究中，團隊在 Tinker (Thinking Machines 的託管微調 API 服務) 上微調 Qwen3-235B。他們先從供應商處採購標註，用這批數據訓練第一輪,再把分歧樣本轉給公司的投資人員重新標註。訓練跑的是強化學習 (GRPO)，外加三處修改：round-robin batching (各任務輪流出一個批次)、CISPO loss (限制單條答案能把模型拉動多遠的上限)、on-policy distillation (錨定當前最優 checkpoint，確保模型不會向更弱的副本學習)。
任務全部取自投資人員的日常工作流：一篇新聞對 C-suite 級投資專業人士是否重要，一份央行文件是否暗示未來利率變動的方向，一份文檔或一封郵件裏的模板套話從哪裏開始。評分來自獨立測試集，前沿模型在簡單 prompt 下平均得分約 50%，配上專家 prompt 也只衝到 78.2%，低於投資人員設置的 80% 門檻。而微調後的Qwen拿到 84.7%，按原文的口徑,這相當於比前沿最優少犯 29.8% 的錯，推理成本低 13.8 倍。
這個案例證明了開源模型能在準確率和成本上取勝，但訓練過程仍然不是私有的。過程中使用的專家標註是 Bridgewater 的私有數據，途經 Tinker 的第三方服務,落在與 ZDR 協議同一個信任層級。基金還租用了算力，整場訓練跑在它從未掌控的機器上。想要這套配方又不想背信任假設的買家，今天的選擇很少。租裸 GPU 集群，訓練過程對雲運營方可讀。買下集群解決了數據託管問題，但成本一飛沖天。
帶 attestation 的路線剛剛到來。3 月,Workshop Labs 和 Tinfoil 發佈了 Silo，一套跑在 Tinfoil enclave 裏、單個 8 卡節點上的後訓練棧，鑰匙只由客戶掌控。文章給出的 enclave 成本是，兩小時的訓練多花 11 分鐘，而且這套棧通過凍結基座權重、只在其上訓練小型 adapter，可以裝得下一個萬億參數模型 (Kimi K2 Thinking)。難點在於，強化學習需要在各組件之間來回搬數據，而搬數據恰恰是 enclave 成本所在。
Silo 發佈後不到一個月，Workshop Labs 就被 Thinking Machines 收購，在 enclave 裏跑下一個 Bridgewater 式RL循環所需的部件，如今都歸到了同一家公司名下。
Harness 層的隱私
還有一個問題橫在所有私有推理機制之外。這些機制各自管的是 prompt 到模型的路徑,而 agent 發起的每一次外部工具調用，都開出一條推理層根本碰不到的路。最近的 harness engineering 風潮把問題成倍放大，接在模型周圍的每個工具、記憶庫和數據源，都是又一個以明文讀取自己那份工作流切片的目的地。日曆服務器讀到日程，數據庫服務器讀到查詢。一個完全本地的 agent 如果只要想要訓練集之外的任何東西，還是需要把搜索詞以明文形式遞給搜索引擎，服務端讀不了明文，就回答不了問題。
主流解法仍默認落在協議層。Runlayer 和 MintMCP 這類公司用一箇中央網關管控全部工具流量，在請求出門前遮蔽個人身份信息(PII)。網關同時決定哪些服務器能接到流量，把未經審查的擋在門外，並記錄每次調用的目的地和內容以備取證。即便這些管控掛着獨立審計 (SOC 2)，工具服務器還是得讀明文查詢才能作答，它留不留副本取決於自家的留存條款，並且要乘上 harness 裏的每一個工具。此外，網關本身也是路徑上多出來的一個依賴信任的讀取方，而不是驗證。
結構級的方案打到了中間那一層。比如 Phala 把 MCP server 直接託管進 TEE，目錄覆蓋錢包、代碼執行和數據源，用戶可以憑一份 attestation 驗證隱私聲明，而不是信任運營方。然而 TEE 託管的工具最終還是要把查詢以明文交給服務提供方，enclave 封住的只是信使，不是目的地。
只有少數目的地學會了不讀也能作答，但僅限結構化查詢。Apple 爲 iPhone 提供私有信息檢索，讓來電號碼比對垃圾電話庫時無需暴露號碼,Microsoft 在 Edge 瀏覽器裏對密碼用了同一種方案。MongoDB 的 Queryable Encryption 讓客戶端在字段離開前就加密，服務器僅憑密文就可以完成等值和範圍匹配。
加密搜索做得到，只是性能和價格都還沒到商用可行的地步。
展望
私有 AI 的需求在增長。Venice AI 最近突破 350 萬註冊用戶和每月 1.3 萬億 token 的吞吐，隨後完成新一輪估值 10 億美元的 Series A 股權融資。Proton 是它的直接競爭對手，其聊天產品 Lumo 上線一年內用戶破 1000 萬。基礎設施方面，Phala 目前在 OpenRouter 上就日均跑 20 到 30 億 token。Duck.ai 把 gpt-oss-120b 和 Gemma 路由進 Tinfoil 的 enclave，給用戶代理之外的可驗證隱私。這還沒算自託管，它很可能是私有推理最大的渠道，畢竟模型跑在自己的硬件上，不留任何使用痕跡。
當下的託管方案也不完美。想通過 E2EE 拿到最高隱私的用戶，得等新功能在服務商讀不到的地方重建一遍。私有 harness 在服務層仍然依賴協議。價格合理的後訓練，想拿到最好的微調結果仍得信任第三方供應商。自託管一次性甩開所有服務商，但在本地跑最強的開源模型，花的錢可能比插着它的那棟房子還貴。
然而關鍵的價值捕獲，則落在這些價格壓縮的層級之外。隱私在它已經存在的地方近乎免費，但還沒覆蓋主流的 agentic 工作流。專注租售 enclave 的運營商握着的是標準芯片上的一個開關，不是護城河，而協議層的網關則跟傳統中間件同場競爭。可防守的陣地，是這份報告裏還沒被解決的那一半：關在 enclave 裏的訓練循環、端到端封死的工具調用、看不見詞條的搜索索引。誰先把其中一件做出來，賣的就是任何價格戰都無法商品化的東西。追逐隱私 AI 的資本，該買的是缺口,不是那個開關。
开源模型怎么赢？
尽管性能开销在压缩，前沿模型与 SOTA 开源模型之间仍有一段肉眼可见的差距，一个追求生产力最大化的主体想留在最前排，仍得信任前沿实验室不窃取自己的 IP。
差距还在，但 Bridgewater 旗下 AIA Labs 与 Thinking Machines 在 6 月 30 日给出了一个案例：一个用专家标注微调的开放模型，在准确率和成本上同时击败了前沿模型。
研究中，团队在 Tinker (Thinking Machines 的托管微调 API 服务) 上微调 Qwen3-235B。他们先从供应商处采购标注，用这批数据训练第一轮,再把分歧样本转给公司的投资人员重新标注。训练跑的是强化学习 (GRPO)，外加三处修改：round-robin batching (各任务轮流出一个批次)、CISPO loss (限制单条答案能把模型拉动多远的上限)、on-policy distillation (锚定当前最优 checkpoint，确保模型不会向更弱的副本学习)。
任务全部取自投资人员的日常工作流：一篇新闻对 C-suite 级投资专业人士是否重要，一份央行文件是否暗示未来利率变动的方向，一份文档或一封邮件里的模板套话从哪里开始。评分来自独立测试集，前沿模型在简单 prompt 下平均得分约 50%，配上专家 prompt 也只冲到 78.2%，低于投资人员设置的 80% 门槛。而微调后的Qwen拿到 84.7%，按原文的口径,这相当于比前沿最优少犯 29.8% 的错，推理成本低 13.8 倍。
这个案例证明了开源模型能在准确率和成本上取胜，但训练过程仍然不是私有的。过程中使用的专家标注是 Bridgewater 的私有数据，途经 Tinker 的第三方服务,落在与 ZDR 协议同一个信任层级。基金还租用了算力，整场训练跑在它从未掌控的机器上。想要这套配方又不想背信任假设的买家，今天的选择很少。租裸 GPU 集群，训练过程对云运营方可读。买下集群解决了数据托管问题，但成本一飞冲天。
带 attestation 的路线刚刚到来。3 月,Workshop Labs 和 Tinfoil 发布了 Silo，一套跑在 Tinfoil enclave 里、单个 8 卡节点上的后训练栈，钥匙只由客户掌控。文章给出的 enclave 成本是，两小时的训练多花 11 分钟，而且这套栈通过冻结基座权重、只在其上训练小型 adapter，可以装得下一个万亿参数模型 (Kimi K2 Thinking)。难点在于，强化学习需要在各组件之间来回搬数据，而搬数据恰恰是 enclave 成本所在。
Silo 发布后不到一个月，Workshop Labs 就被 Thinking Machines 收购，在 enclave 里跑下一个 Bridgewater 式RL循环所需的部件，如今都归到了同一家公司名下。
Harness 层的隐私
还有一个问题横在所有私有推理机制之外。这些机制各自管的是 prompt 到模型的路径,而 agent 发起的每一次外部工具调用，都开出一条推理层根本碰不到的路。最近的 harness engineering 风潮把问题成倍放大，接在模型周围的每个工具、记忆库和数据源，都是又一个以明文读取自己那份工作流切片的目的地。日历服务器读到日程，数据库服务器读到查询。一个完全本地的 agent 如果只要想要训练集之外的任何东西，还是需要把搜索词以明文形式递给搜索引擎，服务端读不了明文，就回答不了问题。
主流解法仍默认落在协议层。Runlayer 和 MintMCP 这类公司用一个中央网关管控全部工具流量，在请求出门前遮蔽个人身份信息(PII)。网关同时决定哪些服务器能接到流量，把未经审查的挡在门外，并记录每次调用的目的地和内容以备取证。即便这些管控挂着独立审计 (SOC 2)，工具服务器还是得读明文查询才能作答，它留不留副本取决于自家的留存条款，并且要乘上 harness 里的每一个工具。此外，网关本身也是路径上多出来的一个依赖信任的读取方，而不是验证。
结构级的方案打到了中间那一层。比如 Phala 把 MCP server 直接托管进 TEE，目录覆盖钱包、代码执行和数据源，用户可以凭一份 attestation 验证隐私声明，而不是信任运营方。然而 TEE 托管的工具最终还是要把查询以明文交给服务提供方，enclave 封住的只是信使，不是目的地。
只有少数目的地学会了不读也能作答，但仅限结构化查询。Apple 为 iPhone 提供私有信息检索，让来电号码比对垃圾电话库时无需暴露号码,Microsoft 在 Edge 浏览器里对密码用了同一种方案。MongoDB 的 Queryable Encryption 让客户端在字段离开前就加密，服务器仅凭密文就可以完成等值和范围匹配。
但对于开放式搜索，今天最好的答案止步于信任，可验证的加密搜索还没走出实验室。Brave 在自家 400 亿页的索引 (而非 Google 的) 上承诺零数据留存，可它依然落在协议层。Exa 建了一套神经索引，把用户的关键词嵌入成语义，按语义匹配给结果排序，但嵌入这一步仍在 Exa 的服务器上从明文算起。MIT 2023 年的 Tiptoe 论文在 3.6 亿网页上完成排序而不暴露查询，但每次搜索都要烧掉大量服务器算力，排序质量与不加密的搜索有差距。Apple 2024 年的 Wally 论文通过把真实查询藏进一堆诱饵里,使得通信成本最多压低 31 倍，但这套数学要到数百万并发查询才变得便宜，而这个规模，今天没有任何私有搜索系统拥有。
加密搜索做得到，只是性能和价格都还没到商用可行的地步。
展望
私有 AI 的需求在增长。Venice AI 最近突破 350 万注册用户和每月 1.3 万亿 token 的吞吐，随后完成新一轮估值 10 亿美元的 Series A 股权融资。Proton 是它的直接竞争对手，其聊天产品 Lumo 上线一年内用户破 1000 万。基础设施方面，Phala 目前在 OpenRouter 上就日均跑 20 到 30 亿 token。Duck.ai 把 gpt-oss-120b 和 Gemma 路由进 Tinfoil 的 enclave，给用户代理之外的可验证隐私。这还没算自托管，它很可能是私有推理最大的渠道，毕竟模型跑在自己的硬件上，不留任何使用痕迹。
然而放在主流 AI 的大浪潮里，隐私 AI 仅占极小一部分，而这个差距只有在前沿实验室有意满足这份需求时才会合拢。5 月，Google 全线产品处理了 3200 万亿 token，照此计算，Venice 一个月的吞吐约等于 Google 的 18 分钟。去年 11 月，Google 上线 Private AI Compute (PAC)，把部分 Gemini 驱动的功能放进与公司自身隔离的密封 TPU enclave 里跑，并且设计由 NCC Group 独立审计。但问题在于，PAC 只覆盖个性化推荐、录音摘要这样少数 Pixel 功能，并不覆盖数亿人在用的 Gemini 应用。Google 敢把设计交给审计方，是因为这些功能靠设备和广告变现，不靠卖 token。
当下的托管方案也不完美。想通过 E2EE 拿到最高隐私的用户，得等新功能在服务商读不到的地方重建一遍。私有 harness 在服务层仍然依赖协议。价格合理的后训练，想拿到最好的微调结果仍得信任第三方供应商。自托管一次性甩开所有服务商，但在本地跑最强的开源模型，花的钱可能比插着它的那栋房子还贵。
缺陷归缺陷，私有 AI 已经是一个真实且负担得起的选项，剩下的缺口也在收窄。对普通消费者,在 Lumo 和 Venice 上，无日志承诺下的开放模型私密聊天分文不花，Venice 或 Tinfoil 的 18 到 20 美元订阅则把同样的聊天封进 enclave，不比一份 ChatGPT 订阅贵。对企业工作流，带 attestation 的端点如今比明文路线甚至更便宜。NEAR 的 E2EE API 这样的端点已经能把加密的上下文带进 enclave，记忆、文件上传、自定义指令今天都能在 E2EE 之上运转。至于带 attestation 的后训练，NVIDIA 即将推出的 Vera Rubin NVL72 会把机密计算从 Blackwell 的 8 卡节点扩展到 72 卡机架，让前沿 RL 循环在不暴露 IP 的前提下更加可行。
然而关键的价值捕获，则落在这些价格压缩的层级之外。隐私在它已经存在的地方近乎免费，但还没覆盖主流的 agentic 工作流。专注租售 enclave 的运营商握着的是标准芯片上的一个开关，不是护城河，而协议层的网关则跟传统中间件同场竞争。可防守的阵地，是这份报告里还没被解决的那一半：关在 enclave 里的训练循环、端到端封死的工具调用、看不见词条的搜索索引。谁先把其中一件做出来，卖的就是任何价格战都无法商品化的东西。追逐隐私 AI 的资本，该买的是缺口,不是那个开关。
所以，信任还是验证?对于重执行、重 agent 的任务，选信任，因为每一次工具调用本来就把明文交到了 enclave 封不住的目的地，而前沿模型在这类循环里配得上它的价格。至于把一家公司同对手区分开来的高阶思考，选验证。战略、规划,以及多年专业经验提炼出的判断，恰恰就是争议中的那份 alpha。往前的路,是在公司自控的边界内，用这些专有洞见微调开源模型。在一家公司 alpha 所在的领域里，专家调校的开放模型已经在准确率和成本上同时击败前沿，而在隐私环境下构建它的基础设施，正一个节点一个节点地到来。
風險及免責聲明：以上內容僅代表作者個人觀點，不代表富途任何立場，亦不構成任何投資建議，富途對此不作任何保證與承諾。更多信息
評論（1）
發表評論
1