PocketPal AI是一个手机上直接运行的本地AI对话工具，这个软件可以让你无需连接网络久等与其他的AI大模型进行聊天和交流，本地部署方法需要根据流程进行摸索，可以在本地增加一个最近十分热门的deepseek，这样就不会卡顿的进行使用了。

软件内容

离线 AI协助：直接在您的设备上运行语言模型，无需互联网连接。

模型灵活性：下载并在多个 SLM之间进行交换，包括 Danube 2和 3、Phi、Gemma 2和 Qwen。

Auto Offload/Load：当应用程序在后台运行时，通过卸载模型来自动管理内存。

推理设置：自定义模型参数，如系统提示符、温度、BOS令牌和聊天模板。

实时性能指标：在 AI响应生成期间查看每秒令牌数和每个令牌的毫秒数。

使用流程

下载模型

点击汉堡菜单

导航到 “Models”页面

选择您想要的型号并点击下载

加载模型

下载后，点击 Load将模型导入内存。现在您可以聊天了!

技巧

在 iOS设备上，Apple的 GPU API (Metal)默认处于激活状态。如果您遇到任何问题，请尝试停用它。

iOS金属

自动卸载/加载

为了保持设备平稳运行，PocketPal AI可以自动管理内存使用情况：

在模型页面上启用 “Auto Offload/Load” (默认情况下是)

该应用程序将在后台卸载模型

当您返回时，它会重新加载(对于较大的模型，请等待几秒钟)

高级设置

单击 V形图标可访问高级 LLM设置，例如：

温度

BOS代币

聊天模板选项

等。

最后，让我们聊聊吧!

加载模型后，前往 “聊天”页面并开始与加载的模型交谈!

此时还会显示 generation performance (生成性能)指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数。

重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown支持。

同时，以下是当前用于复制文本的选项：

段落级复制：长按特定段落可复制其内容。

完整响应复制：使用文本气泡底部的复制图标复制 AI生成的整个响应。

部署方法

1.百度找到第五下载官网

2.在第五下载官网中搜索PocketPal，点击下载

3.打开软件点击Models，点+，点Hugging Face搜索大模型

4.尽量下载名字带Q4_NL(4bit量化 normal压缩)的模型，回答比较精准。

5.解释一下部分量化标识命名规则：NL平衡精度与速度(Normal)、M中等优化(middle)、 XS极致压缩(Extra Small)、K极限压缩(K-special)、Qx量化位数(手机上运行 Q4最佳)。

6.在加载好模型后在Settings中把N PREDICT设置为4096。