预备知识：Stanford alpaca

原项目：https://github.com/antimatter15/alpaca.cpp

这个是C++的项目，clone到本地后，需要C++环境进行编译后才能运行。为了方便公司其他人体验，制作了一个编译后的docker镜像，容器跑起来后只需要下载对应的配置就可以运行。没有把三个配置打包进镜像是因为文件实在太大。

1.拉取镜像

1
docker pull registry.cn-zhangjiakou.aliyuncs.com/eventhorizon/alpaca:1.0

2.运行镜像

1
docker run -dt --name alpaca registry.cn-zhangjiakou.aliyuncs.com/eventhorizon/alpaca:1.0

3.Get Started (7B)

点击 Containers 进入容器终端

1
2
3
4
#下载
curl -o ggml-alpaca-7b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC
#运行
./chat

4.Get Started (13B)

1
2
3
4
#下载
curl -o ggml-alpaca-13b-q4.bin -C - https://gateway.estuary.tech/gw/ipfs/Qme6wyw9MzqbrUMpFNVq42rC1kSdko7MGT9CL7o1u9Cv9G
#运行
./chat -m ggml-alpaca-13b-q4.bin

5.Get Started (30B)

1
2
3
4
#下载
https://huggingface.co/Pi3141/alpaca-30B-ggml/resolve/main/ggml-model-q4_0.bin
#运行
./chat -m ggml-model-q4_0.bin

6. Docker Desktop的内存限制

  1. 打开Docker Desktop
  2. 点击任务栏上的鲸鱼图标
  3. 选择“Settings”选项
  4. 选择“Resources”选项卡
  5. 在“Advanced”下，您可以看到“Memory”和“Swap”两个选项。您可以通过拖动滑块或手动输入值来更改内存限制。
  6. 点击“Apply & Restart”按钮以保存更改。

7.拷贝本地文件到docker容器

点击 Containers 复制容器id

1
2
#docker cp 本地路径 容器长ID:容器路径
docker cp \\wsl.localhost\Ubuntu-22.04\home\fujun\alpaca.cpp\ggml-alpaca-7b-q4.bin 2011069d8e0c72d9b4f83f3fe550079c95c32215361055e8b6687ee77e9b16a9:/alpaca.cpp/ggml-alpaca-7b-q4.bin