律师自建本地AI服务器这件事,起点是一个很具体的顾虑:客户的案件材料,不想传到云上。

知乎热榜转述 Tom's Hardware 的报道称,这位律师用 8 张二手 Nvidia Tesla V100 显卡,搭了一套完全在本地运行的 AI 服务器。

律师为什么不想上云

知乎热榜的描述里提到,动机就是避免把客户案件材料上传到云端。

这个理由不难理解。案件材料是客户交出来的,放在自己机房里,至少不用琢磨数据经过了谁的手。

从报道的说法看,他图的是资料不出门,而不是跑分好看。

【可信度:已有公开信息佐证】

8张二手V100拼出256GB显存

配置是这条爆料里最实的部分。

8 张二手 Tesla V100,合计约 256GB HBM2 显存。HBM2 是一种堆叠式的高带宽显存,常见于数据中心级显卡,和游戏卡用的显存不是一路。

这意味着,显存总量是他选二手 V100 的关键理由:单卡显存不大,但多张卡加在一起,能装下的模型就大了。

二手这个选择也有道理。同样是数据中心卡,二手价格往往更容易接受。想看显卡价格怎么被传闻带着走,可以翻此前那篇RTX50跌价的拆解。

不过,卡从哪来、怎么组装、用什么系统跑,热榜摘要没有写。

【可信度:仅网传】

数千瓦功耗:知乎问的是值不值

知乎热榜的问题标题,给这台机器的功耗定了个量级:数千瓦。

8 张数据中心卡同时跑,耗电不会小,这个量级符合直觉。

问题的重点在后半句:值得吗?

从标题看,讨论的焦点不是这个办法能不能行,而是代价划不划算:电费、噪音、维护,换来的是数据留在本地。这笔账怎么算,因人而异。

同类的隐私顾虑,在别处也有。比如AI肖像授权平台那件事,问的同样是:东西交出去之后,风险谁来担。

【可信度:存疑】

目前能确定的只有

这篇报道的原始出处是 Tom's Hardware,我们看到的是知乎热榜的转述,且摘要在中途截断。

确定的:

  • 一名律师自建了完全本地运行的 AI 服务器
  • 目的是避免客户案件材料上传云端
  • 用了 8 张二手 Tesla V100,显存约 256GB HBM2

还只是网传的:

  • 整机功耗的具体数字,知乎只说「数千瓦」
  • 这套设备实际能跑什么、效果如何
  • 这笔投入「值不值得」,目前只是知乎上的提问