LLMs-from-scratch
96.4kJupyter Notebook大语言模型
跟着这本书，从零开始用PyTorch一步步实现一个类似ChatGPT的大语言模型，适合想深入理解LLM原理的学习者。
这是一个配套书籍《Build a Large Language Model (From Scratch)》的官方代码仓库，教你从零开始用PyTorch实现一个类似GPT的LLM。项目覆盖了从数据预处理、模型架构设计、预训练到微调的全流程，代码清晰、注释详尽，并配有大量图解。它不仅是学习LLM内部机制的绝佳资源，还能让你动手实践，真正理解Transformer、注意力机制等核心概念。目前已有超过9.6万星标，广受AI学习者和开发者好评。