一个用户友好的平台，用于在生产中操作大型语言模型 (LLM)，具有任何 LLM 的微调、服务、部署和监控等功能。

作者提供的图片

此时此刻，我们都在想同样的事情。LLM 的世界真的会占据主导地位吗？你们中的一些人可能预计炒作会趋于稳定，但它仍在持续上升。由于需求巨大，法学硕士正在投入更多资源。

法学硕士不仅表现出色，而且其多功能性能够适应各种 NLP 任务，例如翻译和情感分析。微调预训练的法学硕士使特定任务变得更加容易，从而降低了从头开始构建模型的计算成本。法学硕士已迅速应用于各种现实世界的应用中，从而增加了研究和开发的数量。

开源模型对于法学硕士来说也是一大优势，因为开源模型的可用性使研究人员和组织能够不断改进现有模型，以及如何将它们安全地融入社会。

什么是 OpenLLM？

OpenLLM是一个用于在生产环境中运行 LLM 的开放平台。使用 OpenLLM，您可以在任何开源 LLM 上运行推理、对其进行微调、轻松部署和构建强大的 AI 应用程序。

OpenLLM 包含最先进的 LLM，例如 StableLM、Dolly、ChatGLM、StarCoder 等，这些都受到内置支持。您还可以自由构建自己的 AI 应用程序，因为 OpenLLM 不仅仅是一个独立的产品，还支持 LangChain、BentoML 和 Hugging Face。

所有这些功能，而且它是开源的？听起来有点疯狂吧？

最重要的是，它易于安装和使用。

如何使用OpenLLM？

要使用 LLM，您的系统上至少需要安装 Python 3.8 以及 pip。为了防止包冲突，建议您使用虚拟环境。

1. 准备好这些后，您可以使用以下命令轻松安装 OpenLLM：

pip install open-llm

1. 为了确保它已正确安装，您可以运行以下命令：

$ openllm -h

Usage: openllm [OPTIONS] COMMAND [ARGS]...

   ██████╗ ██████╗ ███████╗███╗   ██╗██╗     ██╗     ███╗   ███╗
  ██╔═══██╗██╔══██╗██╔════╝████╗  ██║██║     ██║     ████╗ ████║
  ██║   ██║██████╔╝█████╗  ██╔██╗ ██║██║     ██║     ██╔████╔██║
  ██║   ██║██╔═══╝ ██╔══╝  ██║╚██╗██║██║     ██║     ██║╚██╔╝██║
  ╚██████╔╝██║     ███████╗██║ ╚████║███████╗███████╗██║ ╚═╝ ██║
   ╚═════╝ ╚═╝     ╚══════╝╚═╝  ╚═══╝╚══════╝╚══════╝╚═╝     ╚═╝

  An open platform for operating large language models in production.
  Fine-tune, serve, deploy, and monitor any LLMs with ease.

1. 要启动 LLM 服务器，请使用以下命令（包括您选择的型号）：

openllm start

例如，如果您想启动OPT服务器，请执行以下操作：

openllm start opt

支持型号

OpenLLM 支持 10 种模型。您还可以在下面找到安装命令：

1. 查特格姆

pip install "openllm[chatglm]"

该模型需要 GPU。

1. 多莉-v2

pip install openllm

该模型可以在CPU和GPU上使用。

1. 鹘

pip install "openllm[falcon]"

该模型需要 GPU。

1. 果馅饼-t5

pip install "openllm[flan-t5]"

该模型可以在CPU和GPU上使用。

1. GP-neox

pip install openllm

该模型需要 GPU。

1. MPT

pip install "openllm[mpt]"

该模型可以在CPU和GPU上使用。

1. 选择

pip install "openllm[opt]"

该模型可以在CPU和GPU上使用。

1. 稳定

pip install openllm

该模型可以在CPU和GPU上使用。

1. 星编码器

pip install "openllm[starcoder]"

该模型需要 GPU。

1. 百川

pip install "openllm[baichuan]"

该模型需要 GPU。

要了解有关运行时实现、微调支持、集成新模型以及部署到生产的更多信息 – 请查看此处满足您需求的信息。

把它包起来

如果您想使用 OpenLLM 或需要一些帮助，您可以联系并加入他们的Discord和Slack 社区。您还可以使用 OpenLLM 的开发人员指南 为 OpenLLM 的代码库做出贡献。

有人尝试过吗？如果您有，请在评论中告诉我们您的想法！

Nisha Arya是 KDnuggets 的数据科学家、自由技术作家和社区经理。她特别有兴趣提供数据科学职业建议或教程以及基于数据科学的理论知识。她还希望探索人工智能有益于人类寿命的不同方式。她是一位热衷于学习的人，寻求扩大自己的技术知识和写作技能，同时帮助指导他人。

ChatGPT、ChatGPT中国站、国内ChatGPT、人工智能、AI、OpenAI、ChatGPT国内、ChatGPT官网、ChatGPT中文版、ChatGPT体验、ChatGPT国内站点、ChatGPT中文网、ChatGPT国内、中国版ChatGPT、ChatGPT中国镜像、ChatGPT国内镜像、AI全家桶、AI导航、MJ绘画、AI绘画技术、人工智能绘画、AI艺术创作、智能绘图软件