Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

内容分享1周前发布
8 1 0

前言

FreeLLMAPI 是一个开源项目,它可以协助我们快速搭建一个属于自己的大模型 API 服务平台,可以添加各大模型供应商,使用统一的 API 接口访问,方便各种 AI 应用进行调用。类似的项目实则还挺多的,之所以选择 FreeLLMAPI,是由于界面和操作更易用,并且直接给出了免费大模型的获取链接,更适合我这种小白使用。
项目地址:
https://github.com/tashfeenahmed/freellmapi

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

部署

项目提供多平台各种部署及安装方法,甚至提供了 exe 安装文件,我思考到这个项目需要 24 小时在线,且需要兼容网络问题,所以选择在 VPS 上通过 docker compose 部署。

  1. 创建一个目录,并进入此目录
mkdir  freellmapi ;cd freellmapi
  1. 新建 docker-compose.yml 文件
vim docker-compose.yml
services:
  freellmapi:
    image: ghcr.io/tashfeenahmed/freellmapi:latest
    build:
      context: .
      dockerfile: Dockerfile
    env_file:
      - .env
    environment:
      NODE_ENV: production
      PORT: 3001
    # Bound to localhost by default — FreeLLMAPI is single-user and must not be
    # exposed to the internet. Set HOST_BIND=0.0.0.0 to reach it from your LAN.
    ports:
      - "${HOST_BIND:-127.0.0.1}:${PORT:-3001}:3001"
    volumes:
      - freellmapi-data:/app/server/data
    restart: unless-stopped
    healthcheck:
      test:
        [
          "CMD",
          "node",
          "-e",
          "fetch('http://127.0.0.1:3001/api/ping').then((res) => { if (!res.ok) process.exit(1); }).catch(() => process.exit(1));"
        ]
      interval: 30s
      timeout: 5s
      start_period: 15s
      retries: 3

volumes:
  freellmapi-data:
  1. 新建 .env 文件,更多参数查找项目内的 .env.example 文件
vim .env
ENCRYPTION_KEY=4ae0e130ea4a2f4effcf8026dcaf3f2b857e95a601d4752158fdbaa2bf55cba6
# 修改成随机的64位十六进制密钥
# Server port (default: 3001)
PORT=3001

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

4. 启动容器

docker-compose up -d

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

项目设置

  1. 打开web页面 http://VPS的IP:3001,初始化账号,会提示需要安装码
  2. 查看 docker 项目日志可以得到安装码
docker-compose logs

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

3. 进入 web 页面根据提示,选择添加提供商密钥

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

4. 项目提供了超级多免费的大模型平台,并且提供了获取链接

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

5. 添加 API 后,选择立即检查就完成了,可以多添加几个不同平台的,方便使用

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

6. 使用时可以自动选择模型,也可以多个模型同时工作

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

7. 可用模型和额度显示也超级清晰

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

使用

  1. 项目提供了统一的 API 密钥
  2. 绑定域名使用更加方便

结尾

最后需要注意一下各平台的策略,防止被封号,我的理解是多添加几个平台,每个平台适度薅。

Docker 部署免费的AI大模型API接口平台,每月10+亿Tokens免费用

© 版权声明

相关文章

1 条评论

none
暂无评论...