(相关资料图)

品玩 5 月 30 日讯，据新智元报道， Meta 近日发布了一种全新的模型架构，可以有效减少算力损耗。

据报道，Meta 的这个模型架构被称为 Megabyte，是一种多尺度解码器架构，可以对超过一百万字节的序列进行端到端可微分建模。Megabyte 能跨多种格式生成超过 100 万个 token，并超越 GPT-4 等模型背后的现有 Transformer 架构的功能。