Skip to content

Conversation

Nijikadesu
Copy link

@Nijikadesu Nijikadesu commented Feb 23, 2025

Description

这个 PR 添加了项目部分代码的 Notebook 分解示例:

  • tokenizer、model (dense)、dataset 的模块化分解
  • pretrain、sft、dpo 的训练流程分解

@Nijikadesu
Copy link
Author

Nijikadesu commented Feb 25, 2025

Description

  1. 完成了项目主要代码的 Notebook 分解示例, 包括:
  • tokenizer、model (dense + moe)、dataset 的模块化分解
  • pretrain、sft、dpo、lora、distill、distill reason 的训练流程分解
  1. 重构文件目录,修正不规范表达、增加注释.

目前计划内容基本完成,期待作者大大后续更新!

@Yrd980
Copy link

Yrd980 commented Mar 14, 2025

佬相当优秀,这个评论只是指出 jupyter 本身不足 之后可以用现代化的 marimo 代替,它本身输出.py而不是.ipynb,尝试过在这个pr中使用marimo convert 但是发现它会自动将类似 torch.nn 的 nn 转为 nn_1还是不太便利🥰

@PowerDi
Copy link

PowerDi commented Jul 14, 2025

可以到佬的仓库clone后保持同步原作者的更新吗?

@Nijikadesu
Copy link
Author

可以到佬的仓库clone后保持同步原作者的更新吗?

可以呀可以呀,最近有些忙没有保持同步(PS:不是佬,还在努力中qaq)

@wenguoxu
Copy link

想问一下怎么将佬的这些交互文件clone下来啊?直接到最近分支吗?

@jiong952
Copy link

jiong952 commented Aug 9, 2025

想问一下怎么将佬的这些交互文件clone下来啊?直接到最近分支吗?

可以试试我的方法:先拉取分支git fetch origin pull/214/head:pr-214 然后下载notebook文件夹内容git checkout pr-214 -- notebook/

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

5 participants