modular

AI开发和部署的统一平台，包括Max ?‍和Mojo 。

modular平台是AI库和工具的开放式和完全集成的套件，可加速模型服务和缩放Genai部署。它抽象了硬件复杂性，因此您可以使用行业领先的GPU和CPU性能运行最受欢迎的开放模型，而无需更改代码。

您无需克隆此仓库。

您可以将modular作为PIP或CONDA软件包安装，然后使用您选择的型号启动与OpenAI兼容的端点。

如果我们修剪仪式步骤，则可以使用两个命令启动本地LLM端点：

pip install modular 

max serve --model-path= modular ai/Llama-3.1-8B-Instruct-GGUF

然后开始使用我们与OpenAI兼容的REST API发送Llama 3模型推理请求。

或尝试从我们的模型存储库中运行数百个模型。

有关完整的演练，请参阅《快速启动指南》。

最大容器是我们与Kubernetes兼容的Docker容器，以方便地部署，使用从上面显示的Max Serve命令中获得的相同的推理服务器。我们为NVIDIA和AMD GPU环境提供了单独的容器，以及与两者一起使用的统一容器。

例如，您可以使用此命令为NVIDIA GPU启动一个容器：

docker run --gpus=1 
    -v ~ /.cache/huggingface:/root/.cache/huggingface 
    -p 8000:8000 
    docker. modular .com/ modular /max-nvidia-full:latest 
    --model-path modular ai/Llama-3.1-8B-Instruct-GGUF

有关更多信息，请参阅我们的最大容器文档或modular码头集线器存储库。

我们会不断开放更多的modular平台，您可以在这里找到所有模块化平台。截至2025年5月，此存储库包括来自6000多名贡献者的450,000行代码，为开发人员提供了生产级参考实现和工具，以扩展modular平台，并使用新的算法，操作和硬件目标。它很可能是世界上最大的开源CPU和GPU内核存储库！

亮点包括：

• Mojo标准图书馆： /Mojo /stdlib
• Max GPU和CPU内核： /max /bernels（Mojo内核）
• 最大推理服务器： /max /serve（OpenAI兼容端点）
• Max Model Pipelines： /max /pipelines（基于Python的图）
• 代码示例： /示例

该存储库有两个主要分支：

• 主分支与夜间构建同步并受到新的错误。使用此分支进行贡献，或者如果您安装了夜间构建。

• 稳定的分支，与最后一个稳定版本的Mojo同步。如果安装了稳定的构建，请在此处使用示例。

感谢您对为此存储库做出贡献的兴趣！

我们接受对Mojo标准库，Max AI内核，代码示例和Mojo文档的贡献，但目前不对存储库的任何其他部分。

请参阅贡献指南以获取说明。

我们也欢迎您的错误报告。如果您有错误，请在此处提交问题。

如果您想与团队和其他社区成员聊天，请向我们的Discord频道和我们的论坛董事会发送一条消息。

该存储库及其贡献是根据Apache许可证v2.0许可的，具有LLVM例外（请参阅LLVM许可证）。 modular ，Max和Mojo的使用和分销均在modular社区许可下获得许可。

您完全负责检查和验证第三方的许可（IE HuggingFace），以获取下载的相关软件和库。