MPT-7B是MosaicML基金会系列的最新产品，一个从头开始训练的、基于1T文本和代码数据的Transformer。
首先开源可商用，能力与LLaMA-7B相当，要想达到更好的效果，需要后续自己微调或等其他开源者微调，微调后所有无需像LLAMA仅限研究，可以作为商业用途。
有三个微调模型，除了基本的MPT-7B之外：MPT-7B-Instruct、MPT-7B-Chat和MPT-7B-StoryWriter-65k+
其中写作模型支持65k的上下文。
而GPT4最大支持的token也只有32k，是GPT4的两倍。
后续继续进行微调的话，应该能取得更好的效果，毕竟目前效果最好的开源大语言模型vicuna也是从LLAMA微调来的。