BreakDown-MiniMind

BreakDown-MiniMind 以开源项目 MiniMind 的伟大实践为依托，对项目代码进行拆解学习，并以 Jupyter Notebook 为载体建立一系列最小实践，旨在进一步降低大语言模型的学习门槛。

本仓库用于存放分解 MiniMind 全流程训练得到的一系列交互式笔记本。

Usage

• 配置环境

cd breakdown-minimind
pip install -r requirements.txt

• 启动 Jupyter 服务器

jupyter notebook .

Further enhancement

本仓库亦可作为大模型的 playground，针对自身学习需求实现更多功能/机制.

TODO:

• GRPO
• MLA

Contribution guide

本项目依托于 MiniMind 的伟大实践，欢迎各位同学进行改进和优化！

• Github Issuses: 在学习过程中遇到问题可以通过 Issues 一同讨论
• Pull Requests: 如果代码存在问题与优化建议，可以通过 Pull Requests 进行改进
• 分享项目，让更多人参与大语言模型的学习与实践