金磊 发自 凹非寺量子位 | 公众号 QbitAIiba三公

当ChatGPT被黑客“入侵”时，OpenAI会奈何打发？

掐断API，不让他们用？不不不。

这帮极客们接受的作念法可谓是剑走偏锋——反手一记《接续谈》。

故事是这么的。

OpenAI诚然在发布ChatGPT之前作念了无数的安全性检测，但当灵通API之后，照旧防不住一些作乱犯上的黑客们拿它搞事情。

然后有一天，团队中的一个工程师短暂发现ChatGPT端点上的流量有些不太平时；在历程一番观望之后，细目了简略率是有东谈主在反向工程API（盗版API）。

不外OpenAI并莫得选拔立即疼痛这些黑客，因为要是团队这么作念了，黑客们就会随即发现异样，然后蜕变政策连续攻击。

这时，团队里一个“大灵巧”就支了个妙招：

咱们搞成“catGPT”，每个token齐是“meow”……

“陷坑”叮嘱顺利后，黑客大兄弟iba三公再向ChatGPT发问时，画风就是这么婶儿的了：

没错，非论问啥，复兴齐是“喵言喵语”：

喵，我不知谈。我是只猫，不是只鸟！

这位黑客大兄弟起原还不知谈我方早已落入“陷坑”，还发帖描绘了我方神奇的经历。

不外黑客团伙中很快有东谈主察觉到了异样：

两个代理齐出现了不异的情况；我以为咱们完结（浮现了）。

团伙中还有东谈主在Discord社区中这么盘问：

兄弟，你以为OpenAI是发现了咱们在（拿盗版API）用模子，然后运转拿“猫语promt”来复兴咱们吗？若真如斯，那也太搞笑了吧！

殊不知，OpenAI的成员们早就潜入了Discord社区，不雅望着黑客们的对话……

黑客们最终照旧发现了真相，后知后觉的他们，最终在Discord中给OpenAI的团队发话了：

我很失望。我知谈OpenAI的某东谈主正在读这段笔墨。你们有千载难逢的契机给咱们来个“Rick Astley”（发现被整蛊时用的桥段），你们尽然就搞个猫。

对此，OpenAI的成员暗意：“收到，下次咱们会的”。

上头这个道理的故事，其实是一位OpenAI工程师Evan Morikawa在一场时候共享行径中自曝的。

不少网友在看完这个故事之后，纷繁感叹谈：

完全的据说！

诚然故事很精彩、很道理，不外一贫如洗，这也从侧面响应出了目下大模子时期下所存在的安全隐患。

正如Evan在行径中所说：

跟着模子变得越来越宏大，它们在坏东谈主手中可能形成的伤害变得更大，咱们在这里的警惕性如实需要成倍加多。

除此以外，Evan在行径中还共享了两个与OpenAI、ChatGPT关系的“庇荫的故事”。

咱们连续往下看。

OpenAI：GPU够的话，发布早就提前了

Evan先是转头了ChatGPT率先爆火的盛况：

从里面决定发布，到自后或然走红，就连马斯克齐发推盘问等等。

随之而来的等于无数用户的涌入iba三公，那时他们我方也很追溯，因为以他们GPU的智商，完全hold不住那么大的负载。

然后Evan在现场展示了他们为ChatGPT提供能源的蓄意机，里面有8个英伟达A100 GPU：

每个GPU上还齐附加了独特的HPM高带宽内存；至关挫折的是，他们还需要所有这个词GPU互沟通讯：

Evan暗意，里面的每个措施的性能齐会影响ChatGPT最终的体验感。

接下来，Evan站在当今这个时刻节点，转头并总结了OpenAI率先在GPU上所遭受的瓶颈。

1、GPU内存不及

由于ChatGPT的模子杰出大,需要占用无数GPU内存来存储模子权重。而GPU上的高带宽内存杰出立志和有限,不够用来同期做事无数用户恳求。这成为第一个瓶颈。

2、蓄意后果低下

初期通过浅显的GPU诳骗率意见监控存在问题,莫得充分推敲到tensor运算的内存看望模式。导致GPU算力莫得被充分诳骗,挥霍了选藏的蓄意资源。

3、难以扩容

ChatGPT流量暴增,但受限于所有这个词这个词GPU供应链,短时刻内无法推广GPU做事器数目,不得不结果用户看望。无法自动扩容成为紧要挑战。

4、种种化负载特征

跟着用户使用模式的变化,不同模子和恳求类型对GPU的蓄意方式和内存看望模式需要不断转换,优化难度大。

5、漫步式检修困难

GPU之间的通讯和数据交换成为检修架构中新的瓶颈。

不错看出，OpenAI运转将GPU用于部署大模子做事时，如实因为资格不及而遭受一些系统级别的困难。但通过不断转换政策和潜入优化，才使ChatGPT得以褂讪运行。

何况Evan还爆料说：

前段时间，八里湖公安分局接到报警，辖区内某公司会计被骗，将公司账户内的98.5万元资金转账给了所谓的“老板”。民警快速启动紧急止付冻结工作，并赶赴天津将犯罪嫌疑人抓获，同时辗转浙江、天津、南昌等地，协调追回被骗资金事宜。6月9日，被骗钱款成功返回公司账户。

要是不是因为GPU缺少，前年产物和功能的发布速率会更快。咱们仍是准备好了东西了，但咱们也知谈无法处置负载。

基于上述的挑战，Evan共享了OpenAI总结出的资格教唆：

把问题视为系统工程挑战，而不单是是筹办方式；需要优化各个系统组件的协同使命，如缓存、蚁集、批处置大小等。要潜入了解硬件的底层细节过甚对系统的影响，如GPU内存带宽、ops/bytes等对性能的影响；不可停留在名义意见。不驱除据模子和场景变化对系统进行调优；不同的模子结构和使用场景会对系统提倡不同条目。要推敲到硬件的各式结果，如内存和算力平衡、扩容结果等，这会影响产物道路图；不可浅显地套用传统的云扩展资格。把ChatGPT作为初创公司

至于团队方面，Evan也有所先容。

ChatGPT启动时，应用工程团队只好30东谈主附近，发布10个月后才推广到近100东谈主。

OpenAI一直在职工数目增长与保执妙手才密度之间寻找平衡，他们率先但愿团队尽可能小，这么不错保执高效的迭代文化。

不事自后跟着产物限制增长，许多职能只好几个东谈主在撑执，这么就会存在一定风险，因此才决定进行一定彭胀。

Evan关于团队建设方面的共享，有一个不雅点是值得划要点的。

那就是他认为：

不要把ChatGPT作为是OpenAI的一个部门。

他们在三年前就尝试过用API作念访佛ChatGPT的事情，因此在Evan看来——

ChatGPT更像是个10月大的初创公司嵌套到了3年前的初创公司；而这个三年前的初创公司，又嵌套在一个8年前的初创公司（即OpenAI）。

接下来，要是公司还会出现新的产物，Evan但愿照旧能够保执沿用这种模式。

参考齐集：[1]https://www.youtube.com/watch?v=PeKMEXUrlq4[2]https://twitter.com/random_walker/status/1719342958137233605?s=20[3]https://twitter.com/nearcyan/status/1719225443788935372?s=20