GPT4All で ELYZA-japanese-Llama-2-7b を試してみた
GPT4All という GUI ツールを使うと、色々な言語モデルを簡単に差し替えて利用できるようなので試してみた。
gpt4all-installer-win64.exe をダウンロードしてインストールする。
インストールできたら、bin\chat.exe を実行すれば開く。
最初は何も言語モデルがインストールされていないので、「Explore Models」より任意のモデルを検索してインストールしてやる。
今回は日本語対応のモデル、「ELYZA-japanese-Llama-2-7b」シリーズの中から「elyza/ELYZA-japanese-Llama-2-7b-fast-instruct」を試してみる。厳密にはコレの gguf フォーマット版「mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf」というモノだ。「japanese」と検索したら一番上に出てきたので分かりやすい。
- Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
- elyza/ELYZA-japanese-Llama-2-7b-fast-instruct · Hugging Face
- mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf · Hugging Face
実行してみたところ、驚くほど高速。くだけた日本語でも難なく認識して即座に回答してくれる。なかなか優秀なモデルだ。
GPT4All 自体はモデルを有していないのでインストールは比較的サクッと終わるし、お好みのモデルを比較検討しながら GUI からインストールして試せるので、かなり便利なローカル LLM だ。
