kube上运行DeepSeek
DeepSeek
DeepSeek:专注于 大模型训练与优化 的工具,主要帮助用户高效训练和部署定制化的大型语言模型(LLM)
DeepSeek-R1 系列
Ollama
选用Ollama 作为 DeepSeek 大模型运行框架
找到 DeepSeek R1:https://ollama.com/library/deepseek-r1
Ollama 的官网直接打开 DeepSeek 大模型的拉取链接,在 models 里选择 deepseek-r1 即可 https://ollama.com/library/deepseek-r1:70b
Ollama 是一个开源的AI工具,支持本地运行各种模型,包括 GPT-4、DeepSeek 等。要用 DeepSeek 就必须要安装运行框架
部署 helm charts:https://github.com/otwld/ollama-helm
推送到本地仓库
Open-WebUI
Open-WebUI:是一个开源的大模型交互界面,为用户提供友好的 Web 界面,方便与大模型进行交互