首页 > 极客资料 博客日记

怎么在Windows操作系统部署阿里开源版通义千问(Qwen2)

2024-09-01 22:30:05极客资料围观21

文章怎么在Windows操作系统部署阿里开源版通义千问(Qwen2)分享给大家,欢迎收藏极客之家,专注分享技术知识

怎么在Windows操作系统部署阿里开源版通义千问(Qwen2)

 |  原创作者/编辑:凯哥Java                            |  分类:人工智能学习系列教程

image.png

GitHub上qwen2截图

随着人工智能技术的不断进步,阿里巴巴通义千问团队近期发布了Qwen2系列开源模型,这一系列模型在多个领域展现出卓越的性能,特别是在自然语言理解、知识、代码、数学及多语言等能力上均显著超越当前领先的模型。本文将详细介绍如何在Windows操作系统上部署阿里开源版通义千问(Qwen2)模型,快速上手并体验这一强大的AI工具。

 

一、准备工作

在开始部署之前,请确保您的Windows系统满足以下要求:

1.     系统兼容性:确保您的Windows系统版本支持所需的软件安装。

2.     显卡驱动:如果您的计算机配备了独立显卡,请确保显卡驱动是最新的,以便更好地支持模型运行。

3.     硬盘空间:Qwen2模型文件较大,需要足够的硬盘空间来存储。

凯哥使用的电脑配置:

CPU:I7-12700F

内存:32GB

显卡:RTX3060 12G

image.png

cpu和内存

image.png

显卡

 

二、下载并安装Ollama

Ollama是一个用于运行大型AI模型的工具,支持多种模型格式,包括Qwen2。首先,您需要从Ollama的官方网站下载并安装Ollama。

  1. 访问Ollama官网:进入Ollama官网(https://ollama.com/download/windows)。

2.     下载并安装:点击“Download”按钮,选择Windows版本进行下载。下载完成后,按照提示进行安装。

这里凯哥就选择Windows版本的。

image.png

ollama官网下载页面

 

 

 

三、下载Qwen2模型

接下来,您需要从阿里通义千问的官方仓库下载Qwen2模型。

1.     访问官方教程:访问Qwen2官方教程(实际链接以官方提供为准)。

https://qwen.readthedocs.io/zh-cn/latest/

 

2.     选择适合的模型:根据您的硬件条件(如显卡显存大小),选择适合的Qwen2模型版本。在官方教程中,拉到最下面,可以看到效率评估。如下图:

image.png

找到效率评估

因为凯哥的显卡是12GB,所以凯哥选择Qwen2-7B-Instruct。如果你的显卡也是12GB,可以选择Qwen2-7B-Instruct版本。

image.png

Qwen2-7B-Instruct不同版本内存占用

凯哥使用的下载地址:https://modelscope.cn/models/qwen/Qwen2-7B-Instruct-GGUF/files

 

 

3.     下载模型文件:在官方教程中,找到模型下载链接,下载对应的.gguf文件。注意,模型文件可能包含多个精度版本(如q8、q16等),选择适合您需求的版本。

说明:

会看到不同的后缀,q”+ 用于存储权重的位数(精度)+ 特定变体,数字越大性能越强。

数字越大,精度越高,k是在所有的attention和feed_forward张量上将精度提升2位,m是在一半的attention和feed_forward张量上将精度提升2位。

根据自己的需求选择模型,凯哥这里直接选了q8。

image.png

凯哥选择的q8

 

四、部署Qwen2模型

下载完模型文件后,您可以使用Ollama来部署Qwen2模型。

1.     创建模型文件:在Windows上创建一个新文件夹(例如命名为“qwen”),将下载的.gguf文件放入该文件夹中。然后,在该文件夹内创建一个名为“Modelfile”的文本文件,内容填写为:

FROM ./qwen2-7b-instruct-q8_0.gguf

 

注意替换文件名以匹配您下载的模型文件。

2.     使用Ollama创建模型:打开命令行工具(如CMD或PowerShell),切换到包含Modelfile的文件夹。运行以下命令来创建Qwen2模型:

 

image.png

模型创建成功

如果显示“success”,则表示模型创建成功。

3.     运行模型:创建成功后,您可以通过以下命令来运行模型:

ollama run Qwen2-7B

 

此时,您应该能看到一个对话框或命令行界面,您可以在这里输入文本与模型进行交互。

image.png

命令行输入文案地方

在这里输入:你是谁?看看模型怎么交互的。

可以看到模型交互如下:

image.png

模型交互效果

补充说明:
如果要看本地有哪些大模型:ollama list

如果要删除这个模型的话:ollama rm xxx

如果要看运行了哪些大模型:ollama ps

运行结果:

image.png

运行效果

 

五、在Web界面中运行Qwen2

虽然直接在命令行中运行模型很方便,但为了获得更好的用户体验,您可以将Qwen2模型集成到Web界面中。

1.     安装Node.js

首先,需要在Windows上安装Node.js。访问Node.js官网,下载并安装最新版本的Node.js。

凯哥使用的是版本号是18.6

image.png

凯哥本地node版本

 

2.     下载ollama-webui

从GitHub或其他源下载ollama-webui的代码。

https://github.com/ollama-webui/ollama-webui-lite

 

3.     设置并启动Web界面

按照ollama-webui的文档说明,设置Node.js环境,安装依赖,并启动Web服务器。然后,在浏览器中打开Web页面,选择您的Qwen2模型即可开始对话。

3.1镜像提速:

入ollama-webui文件夹,设置国内镜像源提速:

npm config set registry http://mirrors.cloud.tencent.com/npm/

 

3.2 安装依赖

npm install

 

错误解决办法:

如果报错说要audit,则依次进行即可:

npm auditnpm audit fix

 

image.png

启动

3.3 启动Web界面:

命令执行完成就可以用看到如下图的访问地址:

image.png

启动成功输出访问地址

打开Web页面,选择你的模型即可开始对话:

image.png

访问页面

通过web和模型进行交互:

我们依然输入:你是谁?

image.png

在web也没和模型交互效果

好了,至此,你就可以在自己电脑上和模型进行对话了。

大家好:我是凯哥Java(kaigejava),如果大家感兴趣,可以一起学学AI。

 

六、总结

 

通过以上步骤,您可以在Windows操作系统上成功部署阿里开源版通义千问(Qwen2)模型,并通过命令行或Web界面与模型进行交互。Qwen2系列模型凭借其卓越的性能和广泛的应用场景,将为您的AI项目提供强大的支持。

希望本文能帮助您顺利部署阿里开源版通义千问模型,享受AI技术带来的便利与乐趣。如有任何疑问,请随时查阅官方文档或寻求技术支持。

 


版权声明:本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:jacktools123@163.com进行投诉反馈,一经查实,立即删除!

标签:

相关文章

本站推荐

标签云