个人/企业即刻拥有 DeepSeek-R1 满血版方案 - 阿里云

阿里云的DeepSeek模型服务介绍如下：

模型种类 -DeepSeek-V3：是拥有6710亿参数的混合专家（MoE）语言模型，采用多头潜在注意力（MLA）和DeepSeekMoE架构，结合无辅助损失的负载平衡策略，优化推理和训练效率。 -DeepSeek-R1：是DeepSeek推出的第一代推理模型，旨在通过大规模强化学习提升大语言模型的推理能力。 -DeepSeek-R1-Distill-Qwen-7B：是经过蒸馏处理的模型，将大模型的推理能力迁移至更轻量级的Qwen模型上。
部署功能 -一键部署：通过PAI Model Gallery平台支持云上一键部署DeepSeek-V3和DeepSeek-R1模型。 -vLLM加速部署：DeepSeek-R1支持vLLM加速部署，DeepSeek-V3不仅支持该功能，还提供Web应用的部署选项。

便捷易用：用户只需登录PAI控制台，选择工作空间，在Model Gallery中找到所需的DeepSeek模型，点击部署按钮即可完成部署，无需编写代码。
适配性强：提供不同版本的模型，如原始的DeepSeek-R1与DeepSeek-V3模型，以及蒸馏后的DeepSeek-R1-Distill-Qwen-7B模型，可满足不同用户对性能和成本的需求。
应用广泛：适用于游戏、视频处理以及各类日常应用场景，能在游戏推理和视频分析等任务中快速响应。
开源优势：DeepSeek提供开源AI模型，第三方开发人员可以轻松更改或修改设计，具有更大的自由度和创新空间。

准备DeepSeek-R1-Distill-Qwen-7B模型文件 -确认是否已安装git-lfs插件，未安装则执行yum install git-lfs或apt install git-lfs安装。执行git lfs install，并GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B.git克隆项目，进入项目目录后执行git lfs pull下载模型文件。 -创建目录ossutil mkdir oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B，并上传文件ossutil cp-r./DeepSeek-R1-Distill-Qwen-7B oss://<your-bucket-name>/models/DeepSeek-R1-Distill-Qwen-7B。 -为目标集群配置名为llm-model的存储卷PV和存储声明PVC。
部署推理服务：执行arena serve kserve --name=deepseek --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:v0.6.6 --gpus=1 --cpu=4 --memory=12Gi --data=llm-model:/model/DeepSeek-R1-Distill-Qwen-7B "vllm serve /model/DeepSeek-R1-Distill-Qwen-7B --port 8080 --trust-remote-code --served-model-name deepseek-r1 --max-model-len 32768 --gpu-memory-utilization 0.95 --enforce-eager"启动推理服务。
验证推理服务 -执行arena serve get deepseek查看KServe推理服务的部署情况。 -获取Nginx ingress的IP地址NGINX_INGRESS_IP=$(kubectl-n kube-system get svc nginx-ingress-lb-o jsonpath='{.status.loadBalancer.ingress(0).ip}')，使用获取到的Nginx Ingress网关地址访问推理服务。

Publish on 2025-02-09，Update on 2025-02-10

个人/企业即刻拥有 DeepSeek-R1 满血版方案 - 京东云