大型语言模型（LLMs）的最新预训练和后训练方法学

前言：

大型语言模型（LLMs）的发展历程可以说是非常长，从早期的GPT模型一路走到了今天这些复杂的、公开权重的大型语言模型。最初，LLM的训练过程只关注预训练，但后来逐步扩展到了包括预训练和后训练在内的完整流程。后训练通常涵盖监督指导微调和对齐过程，而这些在ChatGPT的推广下变得广为人知。

自ChatGPT首次发布以来，训练方法学也在不断进化。在这几期的文章中，我将回顾近1年中在预训练和后训练方法学上的最新进展。

关于LLM开发与训练流程的概览，特别关注本文中讨论的新型预训练与后训练方法

每个月都有数百篇关于LLM的新论文提出各种新技术和新方法。然而，要真正了解哪些方法在实践中效果更好，一个非常有效的方式就是看看最近最先进模型的预训练和后训练流程。幸运的是，在近1年中，已经有四个重要的新型LLM发布，并且都附带了相对详细的技术报告。

• 在本文中，我将重点介绍以下模型中的**苹果的 AFM智能基础语言模型 **预训练和后训练流程：

• 阿里巴巴的 Qwen 2

• 苹果的 智能基础语言模型

• 谷歌的 Gemma 2

• Meta AI 的 Llama 3.1

我会完整的介绍列表中的全部模型，但介绍顺序是基于它们各自的技术论文在arXiv.org上的发表日期，这也巧合地与它们的字母顺序一致。

1. 苹果的苹果智能基础语言模型（AFM）

我很高兴在arXiv.org上看到苹果公司发布的另一篇技术论文，这篇论文概述了他们的模型训练。这是一个意想不到但绝对是积极的惊喜！

2.1 AFM 概述

在《苹果智能基础语言模型》论文中，研究团队阐述了为“苹果智能”环境在苹果设备上使用而设计的两个主要模型的开发过程。为了简洁，本节将这些模型简称为AFM，即“苹果基础模型”。

具体来说，论文描述了两个版本的AFM：一个是30亿参数的设备上模型，用于在手机、平板或笔记本电脑上部署，另一个是更高能力的服务器模型，具体大小未指明。

这些模型是为聊天、数学和编程任务开发的，尽管论文并未讨论任何编程特定的训练和能力。

与Qwen 2一样，AFM是密集型的LLM，不使用混合专家方法。

2.2 AFM 预训练

我想向研究人员表示两大致敬。首先，他们不仅使用了公开可用的数据和出版商授权的数据，而且还尊重了网站上的robots.txt文件，避免爬取这些网站。其次，他们还提到进行了使用基准数据的去污染处理。

为了加强Qwen 2论文的一个结论，研究人员提到质量比数量更重要。（设备模型的词汇大小为49k词汇，服务器模型为100k词汇，这些词汇大小明显小于使用了150k词汇的Qwen 2模型。）

有趣的是，预训练不是进行了两个阶段，而是三个阶段！

1.核心（常规）预训练

2.持续预训练，其中网络爬取（较低质量）数据被降权；数学和代码被增权

3.通过更长的序列数据和合成数据增加上下文长度

                      AFM模型经历的三步预训练过程概述。

未经允许不得转载：大白鲨游戏网 » 大型语言模型（LLMs）的最新预训练和后训练方法学