当前位置 > 首页 > 新闻动态 > 行业动态 > 深言科技联合清华大学NLP实验室开源LingoWhale-8B模型

深言科技联合清华大学NLP实验室开源LingoWhale-8B模型

近日，由深言科技与清华大学NLP实验室共同研发的语鲸LingoWhale-8B模型（下称LingoWhale-8B）已面向社会开源。LingoWhale-8B模型是拥有约80亿参数的中英双语大语言模型，在C-Eval、MMLU、CMMLU等多个权威的公开评测基准上，在10B以下开源模型中达到领先效果，欢迎大家使用。

No.1模型介绍

LingoWhale-8B是深言科技与清华大学NLP实验室共同推出的语鲸系列大模型中首个开源的中英双语大语言模型。

LingoWhale-8B模型在数万亿token的高质量中英数据上进行预训练，具有强大的基础能力，在多个公开评测基准上均达到领先效果。在预训练阶段，模型使用8K的上下文长度进行训练，能够完成更长上下文的理解和生成任务。LingoWhale-8B模型对学术研究完全开放，开发者通过邮件申请并获得官方商用许可后，即可免费商用。

在开源模型权重的同时，我们也提供了符合用户习惯的Huggingface推理接口以及LoRA等参数高效微调示例，便于开发者快速使用LingoWhale-8B模型。

受模型参数量影响，大模型固有的幻觉问题、数学计算能力相对较弱、生成内容有无法预见性等问题在LingoWhale-8B模型中仍然存在。请大家在使用前了解这些问题，评估可能存在的风险。后续版本的语鲸大模型将会针对此类问题进行持续优化。

No.2测评分析

截至10月24日，在中文领域权威评测C-Eval中，LingoWhale-8B模型的性能仅次于GPT-4。在C-Eval、CMMLU、GAOKAO测评中，性能超过GPT-3.5Turbo，在10B以下尺寸模型中性能处于领先位置。

下面通过一些典型示例，来了解下LingoWhale-8B模型的特点。

注：样例中的LingoWhale-8B-Chat模型是使用开源SFT数据基于LingoWhale-8B模型进行微调后的对话模型。

计算

样例1:

样例2:

LingoWhale-8B模型具有强大的数学运算能力。在以上示例中，LingoWhale-8B模型能够根据上文正确地列式并进行运算，包括函数求导、函数值计算、切线方程计算等操作，并最终得到结果。

代码

样例：

LingoWhale-8B具有强大的代码理解与生成能力，能够更好地生成代码并解决具体的问题。在本示例中，LingoWhale-8B模型生成了详细的python代码以及注释信息，帮助用户更好地理解并使用生成的代码。

逻辑与推理

样例：

LingoWhale-8B模型具有解决复杂逻辑推理任务的能力。在以上的例子中，LingoWhale-8B将复杂的逻辑问题进行拆解，按步骤进行分析并解决问题。

上下文对话

样例：

在以上示例中，LingoWhale-8B模型表现出了较强的角色扮演、方案设计、长文本理解以及多轮对话能力，能够根据用户需求制定方案并组织结构化的输出，应对更加复杂的任务场景。

知识百科

样例1:

样例2:

经过在大规模高质量语料上的预训练，LingoWhale-8B模型掌握了多个领域的知识，包括科学、历史、文学、艺术等，能够理解并回答各种知识相关问题，提供准确详细的答案。在上面两个例子中，相较于GPT-3.5，LingoWhale-8B模型生成的结果更加准确详实。

No.3开源生态

LingoWhale-8B模型已全面开源，供学术研究免费使用。商业用途下，开发者只需企业实名邮件申请并获得官方授权证书即可。后续更多语鲸系列开源模型，请关注深言科技开源地址。

开源地址：

GitHub:https://github.com/DeepLangAI/LingoWhale-8B

Huggingface:https://huggingface.co/deeplang-ai/LingoWhale-8B

ModelScope：https://www.modelscope.cn/models/DeepLang/LingoWhale-8B

Wisemodel：https://wisemodel.cn/models/DeepLang/LingoWhale-8B

来源：深言科技