簡単にローカルで動かせる ChatGLM-6B を試してみた
連日触っているローカル LLM。今回は ChatGLM-6B というモノを触ってみた。中国語と英語に対応しているみたい。
以下のリリースページから分割された .7z ファイルを3つダウンロードする。合計 4GB ちょい。
- Releases · josStorer/selfhostedAI
selfhostedAI-chatglm-6b-int4-windows-nvidia.7z.001selfhostedAI-chatglm-6b-int4-windows-nvidia.7z.002selfhostedAI-chatglm-6b-int4-windows-nvidia.7z.003
.7z.001 を 7-Zip File Manager 経由で解凍する。
解凍できたファイルの中から chatglm-6b-int4.bat を起動すると API サーバが立ち上がる。GitBash から以下のような curl を叩けばアクセスできる。
$ curl -XPOST -H 'Content-Type: application/json' -d '{
"model": "chatglm-6b-int4",
"messages": [
{ "role": "user", "content": "Hello" }
],
"stream": true,
"max_tokens": 100
}' http://localhost:8000/chat/completions
data: {"response": "Hello"}
data: {"response": "Hello!"}
data: {"response": "Hello! How"}
data: {"response": "Hello! How can"}
data: {"response": "Hello! How can I"}
data: {"response": "Hello! How can I assist"}
data: {"response": "Hello! How can I assist you"}
data: {"response": "Hello! How can I assist you today"}
data: {"response": "Hello! How can I assist you today?"}
data: [DONE]
実質的に英語のみ対応なので、真価のほどはイマイチ図りきれなかったが、とりあえずローカルで環境構築込みで手軽に動かせる API サーバではある。
