前言
Jan
是一款开源的的本地 AI 部署软件,利用开源 AI 模型和自己的硬件(CPU、显卡),让我们可以在本地运行大语言模型,实现 100% 完全离线、免费的 ChatGPT。目前支持 Windows、macOS、Linux三个平台安装运行各大开源的AI大模型。
几天使用下来,真的感觉很香😍😍😍!!!
项目地址:janhq/jan:Jan 是 ChatGPT 的开源替代品
[github repo="janhq/jan"]
Jan 可在任何硬件上运行,算力越大,速度越快。
软件下载
前提条件
以 Windows 系统部署为例进行演示,其他平台设备部署安装参考项目主页的说明。
- Windows 10 或更高版本
- 要启用 GPU 支持:
- 带有 CUDA 工具包 11.7 或更高版本的 Nvidia GPU
- Nvidia 驱动程序 470.63.01 或更高版本
检查 NVIDIA 驱动和CUDA
首先检查是否安装NVIDIA 驱动,打开 PowerShell 或 cmd 终端并输入以下命令:
nvidia-smi
如果看到类似以下结果,则说明您已成功安装 NVIDIA 驱动程序:
其次检查是否安装CUDA 工具包,打开 PowerShell 或 cmd 终端并输入以下命令:
nvcc --version
如果看到类似以下结果,则说明您已成功安装 CUDA:
若没有安装CUDA
,可以直接【点击下载】进行安装即可。
一般情况会自动加入环境变量,否则可以手动将 CUDA 的 bin
目录添加到 PATH
环境变量中。
CUDA 工具包默认路径: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA
。
如果上述条件都满足了,就可以进行下面的下载。
在【官网下载】下载最新版本的 Jan,或访问 【GitHub 版本】以下载任何以前的版本。
软件使用
Jan
的使用界面很简单,选择并下载模型后,就可以直接对话了。
除了从Jan
提供的 Hub 选择模型,也支持手动导入模型、使用在线模型。
Tip:若是模型下载失败,如下图打开设置找到Advanced Settings
中的HTTPS Proxy
选项,添加自己的代理服务器地址和端口即可正常下载。
Comments NOTHING