LlamaGPT を試してみた
以下の公式ページに記載の手順で Docker イメージを使う。
以下のように Git Clone してスクリプトを実行するだけ。
$ git clone https://github.com/getumbrel/llama-gpt.git
$ cd ./llama-gpt/
$ ./run.sh --model 7b --with-cuda
コレで Docker Compose が立ち上がる。最初は準備に時間がかかるが、終わったら http://localhost:3000/ で LlamaGPT が利用できる。
使用できるモデル「Llama 2 7B」では日本語での動作はしないようで、何となく認識はしているものの回答は支離滅裂。英語で話してやるとスムーズな回答が出た。回答速度もそこそこ速く、ストレスなく ChatGPT 代わりに利用できるだろう。
