首页 > 极客资料 博客日记

.NET使用OllamaSharp实现大模型推理对话的简单演示

2024-10-23 18:00:05极客资料围观22次

这篇文章介绍了.NET使用OllamaSharp实现大模型推理对话的简单演示，分享给大家做个参考，收藏极客之家收获更多编程知识

 
前提条件：请确保你本地已经安装了ollama以及有关本地离线模型。或者已有远程模型环境等。如果没有，请自行部署。如果需要帮助，可以文末获取联系方式咨询。由于部署离线大模型过于简单，在线资料也很多，我就省略这个步骤了。
 
创建一个项目，添加使用MIT开源协议的一个nuget包 OllamaSharp
0
确保Ollama应用已经启动。
0
 
默认本地ollama的端口是11434，也可以自行部署时候更改环境变量进行修改大模型存放地址、默认端口、是否允许远程访问等等。创建连接，并且验证下连接是不是正常，返回true，代表连接正常。
0
 
可以遍历出已有的模型有哪些，咱们写个选择模型的输入，通过输入来选择模型。由于获取的是IEnumerable集合，所以此处为了方便，之间转为数组来获取下标，从而获取模型名称。大家自己使用时候记得优化下写法。
运行，可以看到我本地罗列的模型列表等信息。
0
 
选择模型完毕，并绑定prompt提示词进行创建聊天对话。创建对话以后，根据用户输入的内容进行推理并获取返回内容。
0
 
运行结果如下：
如果需要以上演示的demo源码，可以在个人公众号 Dotnet Dancer 内，回复 【代码演示】 即可获取代码开源地址。
核心代码片段：
var uri = new Uri("http://localhost:11434");
var ollama = new OllamaApiClient(uri);

var models = await ollama.ListLocalModels();

 foreach (var model in models)
 {
    Console.WriteLine($"{index++}:{model.Name} {model.Size / 1024 / 1024} MB"); // 输出模型名称和大小
 }
 int selectIndex = Convert.ToInt32(Console.ReadLine());
 ollama.SelectedModel = models.ToArray()[selectIndex].Name; // 选择模型名称

var chat = new Chat(ollama, prompt);

await foreach (var answerToken in chat.Send(message))
       Console.Write(answerToken);

 


版权声明：本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：jacktools123@163.com进行投诉反馈，一经查实，立即删除！

标签：

上一篇：Linux运行时动态库搜索路径优先级
下一篇：1024 程序员节，我做了个闯关小游戏！

相关文章

最新发布

点击排行

本站推荐

标签云