由于本人的工作环境处于离线断网又有点保 m 的状态，干什么事情都很费劲。得益于现在科技的发展和祖国的强大，让我有机会去实现一个可以在内网环境下离线部署的 AI 。
主机从 9090 提供入口。聊天、图片理解和 Embedding 通过 Ollama 运行；图片生成则用单独的本地图片运行组件。
平时可以在同一个工作台里对话、问文件和资料库、识图、生成或修改图片，也能查看主机状态。多人一起用时，默认最多接纳五条活跃请求：两条同时推理，另外三条排队。
模型权重不随安装包提供，需要按自己的机器和用途准备。 Windows 完整版带图片运行组件； Ubuntu 的图片生成还得另备兼容系统环境的 Linux sd-server 。
这部分目前确实比聊天多一道准备步骤。当前正式版是 v1.2.0 ，提供 Windows 10/11 x86_64 和 Ubuntu 22.04 x86_64 完整安装包。
服务是给可信局域网用的，请不要把 9090 、Ollama 或图片运行组件端口直接暴露到公网；模型能不能跑、速度如何，也取决于具体模型和机器配置。仓库、安装说明和模型兼容范围： GitHub： /ai-market-guide/ v1.2.0 下载： /ai-market-guide/ 安装说明： /ai-market-guide/ 支持的模型： /ai-market-guide/