Jetson orin + ollama 使用QT 部署本地大模型(Qwen3 Deepseek)应用

最近在网上看到一遍使用QT 跑大模型应用程序，大部分是window 系统x86 平台的搭建，需配合显卡驱动，

    为何尝试使用NVIDIA Jetson ORIN 平台搭建和部署本地大语言模型，认为Jetson Orin有优势，内置强大GPU处理器单元，合适大模型应用场景，默认使用ubuntu 22.04操作系统，缺少大模型可视化终端应用程序，QT开发应用程序简单，容易上手，

    目前先跑一个大语言模型测试下，后续有时间在加入视觉大模型和多模态 模型测试下，纯属个人工作之余兴趣。

   （1） 关于QT 在Jetson orin 平台安装，参考下我写的这篇文章

https://blog.csdn.net/zengwj2014/article/details/152336325?spm=1001.2014.3001.5502

https://blog.csdn.net/zengwj2014/article/details/152336325?spm=1001.2014.3001.5502

  （2）本地大模型的安装，参考如下

https://blog.csdn.net/zengwj2014/article/details/146638433?spm=1001.2014.3001.5502

https://blog.csdn.net/zengwj2014/article/details/146638433?spm=1001.2014.3001.5502

       安装ollama 和 deepseek ，阿里千问,ollama 国内网络不稳定，建议多下载几次

       curl  -fsSL https://ollama.com/install.sh | sh

        安装deepseek

       ollama  run deepseek-r1 :7b    

       安装阿里千问

         ollama run qwen3 :8b

   下面测试界面：

   在聊天栏输入问题 验证，同步看下测试结果和对比运行性能参数，基本没有占有CPU 去运行，模型回答使用GPU 满负荷（100%）在计算

    如果对方面布局感兴趣的话，可联系英伟达边缘端 Jetson 产品中国区总代理- 中电港 进一步交流