乾元BigBangTransformer
手机扫我访问

乾元BigBangTransformer

BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文 2000亿tokens进行预训练。

网址标签:

BigBangTransformer[乾元]是基于GPTDecoder-only架构的大规模预训练模型。继2022年开源BBT-1-0.2B模型之后,我们正式开源最新系列的BBT模型:BBT-1-1B,BBT-2-12B-Text,BBT-2.5-13B-Text。预训练语料库覆盖14个高质量数据源,覆盖书籍、百科、论文、小说、新闻、政策文件、中文博客、社交媒体等多个数据源种类。BBT-2-12B-Text基于中文700亿tokens进行预训练,经过指令微调的BBT-2基础模型可以回答百科类和日常生活的问题。BBT-2.5-13B-Text基于中文+英文2000亿tokens进行预训练。
模型开源后所有开发者可以:
1.可以直接调用大模型进行对话
2.在我们训练的基础上使用自由语料库继续训练
3.对大模型进行微调训练以满足各种下游任务

    暂无评论...
    贡献者

    阿力
    阿力

    共发布1682个产品

    去看看
    产品评分

    目前还没有人对该AI工具打分哦~