星辰彩虹海🌈 - minimind-数据集处理过程（感谢作者开源） 的评论 预训练数据集处理过程class PretrainDataset(Dataset): def __init__(self, data_path, tokenizer, max_length=... 1970-01-01T08:00:00+08:00 Typecho https://www.lbxpace.com/index.php/feed/atom/archives/87/