Llama3大模型深度解读 20240422

基本面变化到股价变化的映射，隔著市场预期的折射镜！（调研纪要音频纪要关注：深度行研）

1、Llama3模型概述与技术特点

Llama3模型代表了全球AI产业发展趋势的变化，其发布可能成为标志性事件。

Llama3模型分为大中小三个版本，参数量分别为400B、70B和8B，其中70B版本效果介于GPT3.5到GPT4之间。

Llama3模型在不同参数量下对应不同应用场景，如小模型适用于移动端，中等模型适用于云端，大模型适用于长时间计算。

2、Llama3模型技术指标与行业影响

Llama3模型在多个技术指标上相比Llama2有明显进步，其中8B版本效果已追上Llama2的70B版本。

Llama3的70B版本在某些评测指标上已超过业界主流模型，成为目前最强的70B模型。

Llama3模型在基础模型指标对比中表现优秀，8B和70B版本均显示出较强的竞争力。

3、Llama3模型架构与数据处理

Llama3模型架构与Llama2相似，采用分组注意力机制，提高了推理效率。

Llama3模型在数据处理方面有特点，其token字典从32K扩展到128K，提升了编码效率。

4、Llama3模型推理成本与数据构建

Llama3模型的推理成本较高，尤其是400B版本，由于其稠密架构，每次推理都需要激活全部参数量。

Llama3模型在数据构建上采用了大量高质量数据，使用了更先进的数据过滤流水线和方法论，显著提升了模型性能。

5、Llama3模型对行业的影响

Llama3模型的发布可能导致开源与闭源模型之间的差异化趋势，国内厂商可能会基于Llama3进行中文化和定制化开发。

Llama3模型的发布也可能促进大模型安全化和模型对齐技术的发展，提供更多的商业化和产品化机会。

Llama3模型的推出加强了开源模型生态位，可能会吸引更多的产业链上下游企业围绕其设计和构建相关产品。

6、Llama3模型训练与未来发展

Llama3模型的训练数据量和质量是提升模型性能的关键，未来可能需要更高效的数据筛选和合成数据技术。

未来大模型的发展可能会遇到硬件资源和训练数据的瓶颈，但目前尚未看到明确的限制，预计模型参数量和数据量的提升趋势将持续。

7、投资机会与行业展望

专家认为，大模型和AI应用在2024年将是一个重要的投资主线，尤其是在国产模型能力提升和应用数据放量方面。

推荐关注与大模型和AI应用相关的行业，如影视、出版、教育等，预计随着财报季结束，这些领域将出现反弹机会。

Q&A

Q：关于如何在Llama3基础上开发模型，以及Llama3的复现难度和国内如何推动自有模型开发？

A：Llama3模型虽然开源，但其训练数据和部分训练方法并不完全开源。在没有训练数据的情况下，继续训练模型是一个专业且复杂的工作。Llama3是一个参数量更大的模型，与Llama2相比，它提供了更大的版本（400G）和中等版本（70B）。国内厂商可以基于Llama3进行微调和训练，以开发自有模型，但需要考虑到算力需求的增加，因为Llama3已经追平了最强的闭源模型，这降低了使用闭源模型API的成本，从而可能增加对Llama3进行微调的需求。

Q：Llama3模型发布对行业的影响有哪些？

A：Llama3模型的发布对行业有以下几个影响：1. 开源与闭源模型之间的差异化趋势，国内厂商可能会专注于中文token词典的扩充和预训练，而其他厂商可能会继续训练闭源模型。2. 中文版的强大模型可能会出现得比国内自研闭源大模型快，因为Llama3的开源特性使得中文化工作更容易进行。3. 开源阵营虽然在全球范围内弱于闭源阵营，但未来国内外开源大模型与闭源模型的差距可能会缩小。4. Llama3发布时伴随了一系列安全化和模型对齐的措施，这有助于开发者快速实现模型对齐和安全性，推动AI应用的商业化和产品化。5. Llama3是目前公开最强的闭源模型的开源版本，它的发布使得开源模型和闭源模型处于同一水平线。6. Meta通过Llama3的推出，进一步巩固了其在开源模型领域的生态位，有助于产业链上下游的设计和构建。7. Llama3的成果加剧了开源生态的竞争，可能会促使一些闭源模型考虑开源。8. 微调训练的算力需求可能增加，因为Llama3的开源特性使得更多的厂商可能会选择使用它进行微调，而不是闭源模型的API。

Q：Llama3模型的未来发展方向和预期是什么？

A：Llama3模型的未来发展方向和预期包括：1. Llama3的400D模型预计将在6至7月发布，这将进一步巩固其在开源模型领域的地位。2. Meta的Llama3推出将巩固其在开源模型生态中的最强生态位，吸引大量开源生态和产业链上下游围绕其设计和构建。3. Llama3的竞争加剧了开源生态的竞争态势，可能会促使闭源模型考虑开源化。4. Llama3的发布和未来的发展可能会使得开源模型和闭源模型之间的差距缩小，甚至在某些情况下，开源模型可能会优于闭源模型。

Q：如何理解Llama3模型相比MOE模型在训练和收敛效率上的差异？

A：Llama3模型与MOE模型相比，在训练和收敛效率上存在显著差异。MOE模型通过将模型分为多个专家，每个专家负责不同的任务，这种设计加入了人类的认知，简化了模型训练的难度并提高了收敛的可能性。而Llama3模型是一个稠密模型，需要自行学习所有知识间的内在联系，因此训练过程更为漫长，需要大约15TB的token数才能有效训练模型。此外，Llama3模型相比MOE模型更难收敛，但未来仍有可能通过开源的模型权重和训练方法，实现模型的优化和中文化。

Q：Llama3模型的中文化训练有哪些方式，各自的优缺点是什么？

A：Llama3模型的中文化训练主要有两种方式。第一种是基于已开源的模型权重继续训练，只需加入中文数据进行微调，这种方式训练相对容易，但中文适配可能不够好，且在模型安全层面可能难以完全对齐。第二种是从零开始预训练，需要准备大约15TB的中文数据进行训练，这种方式在模型安全和中文化方面可以做得更好，但训练难度大，收敛过程困难。两种方式各有优缺点，需要根据实际需求和资源情况进行选择。

Q：如何看待未来稀疏模型（MOE）和密集模型（Dense）技术路径的演绎方向？

A：目前，MOE架构因其低推理成本而在to C应用中成为主流技术路径。MOE模型不需要在每次推理时激活所有参数，只需激活一小部分，从而降低了推理成本和提高了推理速度。然而，Llama3选择了Dense架构，这与其训练时的资源限制有关。Llama3使用较少的参数量实现了与更大参数量模型相当的逻辑推理能力，但每次推理时需要更长的时间和更高的成本。目前，没有明确哪一种架构会成为唯一的路径，MOE模型在推理成本上更有优势，而Dense模型在训练资源有限时可能更受开源模型的青睐。

Q：未来大模型在技术层面将如何提升其逻辑推理能力？

A：逻辑推理能力的提升将遵循scaling law的思路，即通过增加模型参数量和提升训练数据的质量来实现。Llama3模型使用了约15TB的训练数据，是一个Dense模型，其逻辑推理能力的提升将依赖于这两个方面的进步。

Q：Llama3模型在提升逻辑对比能力方面遇到的主要瓶颈是什么？

A：Llama3模型在提升逻辑对比能力方面主要遇到两个瓶颈：模型参数量的提升和训练数据的提升。目前，模型参数量可以通过采用更大规模的模型或更先进的架构来提升，如Llama3模型在400B参数量的基础上有潜力提升至1000B。然而，硬件水平，尤其是GPU集群的规模和通信能力，成为制约因素。此外，训练数据的质量和数量也是关键，需要更高效的筛选机制和合成数据的整合。

Q：未来几年，模型参数量、训练数据量、训练算力的发展趋势如何？

A：目前，模型参数量、训练数据量和训练算力都呈现出持续增长的趋势，尚未看到明显的瓶颈。模型参数量有潜力继续提升至数千个标准，而训练数据量在实验中也显示出未达到极限的迹象。尽管如此，对于更大规模的模型，当前的训练数据量可能不足以满足需求。业界普遍认为，这一增长趋势有望持续，但具体能持续多久尚无定论，可能会在GPT5、GPT6等未来版本中遇到瓶颈。

Q：训练数据的提升面临哪些挑战，未来如何优化？

A：训练数据的提升面临的挑战包括高质量训练数据的稀缺和现有高阶量训练数据的充分利用。未来，可以通过更先进的模型在低质量数据中筛选出高质量的训练数据，以及通过人工审核合成数据来提升训练数据的质量。此外，面向消费者的AI应用（To C AI applications）可以带来更大规模的数据，有助于收集和迭代模型，从而成为提升训练数据质量的重要途径。

Q：如何看待当前大模型和AI应用的投资机会？

A：当前大模型和AI应用的投资机会被看好，尤其是国内在能力提升和应用数据放量方面的确定性强。推荐的投资领域包括影视、出版、教育等细分市场。随着财报季的结束，预计这些领域将出现反弹机会，建议投资者积极关注。

#【图文】纪要&数据&交流#