硬核观察 #1012 Meta 公布革命性可扩展模型架构 Megabyte
? Meta 公布革命性可扩展模型架构 Megabyte
? PyPI 向法庭提供了用户记录
? Thunderbird 发布全新徽标
» 
»
AI Python Thunderbird
112.51.214.63
什么叫不如原来的好看？比原来的好看太多了，配色也跟鲜艳，更现代。
来自112.51.214.63的 Safari 16.5|Mac 10.15 用户
2023-05-25T23:26:51.000
? Meta 公布革命性可扩展模型架构 Megabyte
? PyPI 向法庭提供了用户记录
? Thunderbird 发布全新徽标
» 
»
![](/data/attachment/album/202305/25/181941irtwhzwlwz28whrq.jpg)


![](/data/attachment/album/202305/25/181953e9qj9kn46yl9t4n9.jpg)


### Meta 公布革命性可扩展模型架构 Megabyte


如今热捧的生成式 AI 模型，如 GPT-4 等，都是基于谷歌 2017 年提出的<ruby> 转换器 <rt>  Transformer </rt></ruby>架构。Meta 的研究人员认为该架构存在两大设计缺陷：其一，转换器模型需要关注所有令牌，当需要处理的令牌数以千计时，计算非常密集。其二，采用了串行计算模式，存在扩展性难题。Meta 公司发表论文，提出了一种革命性的可扩展模型架构 Megabyte。它将输入输出序列分割为“补丁”而不是“令牌”。Megabyte 可以并行进行计算，在每个补丁中，局部 AI 生成结果，全局模型负责协调所有补丁的最终输出，从而解决了扩展性问题。测试显示，有 15 亿参数的 Megabyte 模型比有 3.5 亿参数的转换器模型生成序列快 40%。Megabyte 模型能支持最多 120 万个令牌，相比下 GPT-4 是 3.2 万个令牌，Claude 是 10 万个令牌。



> 
> **[消息来源：Artisana](https://www.artisana.ai/articles/meta-ai-unleashes-megabyte-a-revolutionary-scalable-model-architecture)**
> 
> 
> 



> 
> 老王点评：令人称奇的是，在这次 AI 竞赛中，Meta 频繁地爆出新成果，虽然目前还不能完全盖住 OpenAI 和微软的风头，但是给人的感觉很有希望。
> 
> 
> 


![](/data/attachment/album/202305/25/182004erjdm9jmu81jzeet.jpg)


### PyPI 向法庭提供了用户记录


Python 软件基金会披露，它根据美国司法部的要求提供了其软件包仓库 PyPI 的用户数据。法庭传票要求提供 5 个用户的用户名、网名、邮寄地址、公司地址、电子邮件地址、连接记录，会话时间和持续时长以及相关 IP 记录，以及，他们上传的 PyPI 软件包记录和这些软件包的下载 IP 日志等等。Python 软件基金会在与律师讨论之后满足了传票要求。



> 
> **[消息来源：Python 软件基金会](https://blog.pypi.org/posts/2023-05-24-pypi-was-subpoenaed/)**
> 
> 
> 



> 
> 老王点评：说起来，这些软件基金会和软件仓库都没有受我国法律管辖的吧。
> 
> 
> 


![](/data/attachment/album/202305/25/182017uso67et9pf3zfcps.jpg)


### Thunderbird 发布全新徽标


在将近二十年之后，Thunderbird 项目发布了全新徽标。新徽标与 Mozilla Firefox 浏览器的徽标风格相似，开发者表示这是为了纪念其历史和与 Mozilla 的重要联系，向下一个 20 年前进。该徽标的设计师也是 Firefox 和 Thunderbird 原徽标的设计者。



> 
> **[消息来源：Thunderbird](https://blog.thunderbird.net/2023/05/introducing-the-brand-new-thunderbird-logo/)**
> 
> 
> 



> 
> 老王点评：我觉得不如原来的好看，不过这不重要，重要的是，Thunderbird 终于有了更多实质性的改进，比如提供移动版本。
> 
> 
> 

