硬核观察 #630 Facebook 开源挑战 GPT-3 的语言模型
• Facebook 开源挑战 GPT-3 的语言模型 • RTX 30 全系显卡挖矿限制遭破解 • 谷歌正在为 Linux 研究加密休眠支持
AI 挖矿 休眠
117.136.62.105
如果只有开源才能真正推动 AI 的发展，那么 GPT-3 为啥会是目前最先进的语言模型之一？别乱点评啊
来自四川的 Mobile Safari 13.1|iOS 13.4 用户
2022-05-09T00:21:50.000
35.220.150.103
这个问题我简单说一下，目前 GPT-3 已经被指出现了一些问题，甚至是违反法律的问题，而这些还不仅仅是用于训练的素材的问题，算法上可能也有一些倾向性问题。但是谷歌不开源，这是个黑盒。虽然 Facebook 开源的 OPT 也需要大量资源，尤其是高参数的那些，但是至少会有更多人和机构可以参与改进。关于此事，建议可以看看我链接的原文和原论文的论述，这也是他们开源的原因。
linux [Chrome 100.0|Mac 10.15]
2022-05-09T07:31:20.000
• Facebook 开源挑战 GPT-3 的语言模型 • RTX 30 全系显卡挖矿限制遭破解 • 谷歌正在为 Linux 研究加密休眠支持
![](/data/attachment/album/202205/08/175548tww38sd3p10l0jj1.jpg)


![](/data/attachment/album/202205/08/175557lwywawnru6c9y5qu.jpg)


### Facebook 开源挑战 GPT-3 的语言模型


OpenAI 的文本生成神经网络 GPT-3 是目前最先进的语言模型之一，使用了 1750 亿个参数，但它至今没有开源，只通过其申请及审核程序提供给学术界和商业实体使用。现在 Meta 开源了能挑战 GPT-3 的语言模型开放式预训练变换模型 OPT-175B，使用了能比拟 GPT-3 的 1750 亿个参数。作者们在论文中说，“考虑到计算成本，如果没有大量资金，这些模型很难复制。对于少数通过 API 可调用的模型（暗指 GPT-3），如果不能获得完整的模型权重，就难以进行研究。……因此，我们推出了 OPT（这是一个只有解码器的预训练变换模型）……”



> 
> **[消息来源：ieee](https://spectrum.ieee.org/large-language-models-meta-openai)**
> 
> 
> 



> 
> 老王点评：在这件事上，Meta 真的很棒，只有开源才能真正推动 AI 的发展。
> 
> 
> 


![](/data/attachment/album/202205/08/175615nzaeziaaa0clecgg.jpg)


### RTX 30 全系显卡挖矿限制遭破解


去年，为了遏制游戏显卡被用于挖矿，英伟达限制了新上市 RTX 30 系列显卡的算力水平，这批显卡被称之为 LHR（低哈希率）显卡。本周，NiceHash 宣布，继去年 8 月成功解锁 LHR 显卡 70% 的原始算力后，现在几乎 RTX 30 全系 LHR 显卡已经被 100% 破解。只有 RTX 3050 和RTX 3080 12GB，所需要的新算法还没完工。



> 
> **[消息来源：nicehash](https://www.nicehash.com/blog/post/100-lhr-unlock-at-nicehash-its-here)**
> 
> 
> 



> 
> 老王点评：终究，显卡还是被用于挖矿了。
> 
> 
> 


![](/data/attachment/album/202205/08/175645bjt43yzjp3jqasbk.jpg)


### 谷歌正在为 Linux 研究加密休眠支持


谷歌工程师正在研究安全地“在一些新的场景中启用休眠”。除了采取预防措施，确保恶意的用户空间不能利用休眠数据，谷歌安全团队也在强制要求加密休眠。谷歌现在正在研究基于内核的加密，支持使用 TPM 支持的密钥来加密休眠镜像，用 PCR 策略来密封加密密钥，以及其他工作来确保加密的休眠镜像可以被信任。



> 
> **[消息来源：phoronix](https://www.phoronix.com/scan.php?page=news_item&px=Linux-Encrypted-Hibernation)**
> 
> 
> 



> 
> 老王点评：这个倒是一直以来的一个薄弱点，虽然对于服务器意义不大，但对于桌面设备有意义。
> 
> 
> 

