2025年10月26日 85 阅读 大语言模型📜 minimind-数据集处理过程(感谢作者开源) 预训练数据集处理过程class PretrainDataset(Dataset): def __init__(self, data_path, tokenizer, max_length...
2025年10月26日 65 阅读 大语言模型📜 minimind-数据集格式展示(感谢作者开源) 预训练中文数据集格式展示{"text": "<|im_start|>鉴别一组中文文章的风格和特点,例如官方、口语、文言等。需要提供样例文章才能准确鉴别不...
2025年10月21日 89 阅读 大语言模型📜 minimind-微调流程-实验复现与代码解析(感谢作者开源) train_pretrain.py代码结构微调和预训练的主要区别是数据集的变化,告诉模型如何进行对话。微调阶段可以不调整所有参数,只调整一部分,通过 lora(低秩矩阵乘积),和 fsdp(模型...
2025年10月12日 75 阅读 大语言模型📜 minimind-预训练流程-实验复现与代码解析(感谢作者开源) train_pretrain.py代码结构此阶段旨在训练一个文本接龙模型,该模型的唯一功能就是做文本接龙,通过之前输入的文本推测下一个文本是啥。只有先能够做到这个功能才能做到后面的智能对话。im...