ワンクリックで AI が使える「RWKV-Runner」を試してみた
最近色々とローカル LLM をいじっているのだが、Python での環境構築だったり、コーディングが必要だったりして、初心者は入りづらいと思う。
そこで調べたところ、RWKV-Runner という GUI ツールがあることを知った。
以下に日本語のガイドがある。
今回は Windows 環境に GUI をインストールしてみた。以下のリリースページより v1.8.5 の RWKV-Runner_windows_x64.exe をダウンロードした。
適当な作業フォルダ内で RWKV-Runner_windows_x64.exe を起動すると必要なファイルがその場に解凍され、GUI が起動する。GUI は日本語対応。
左メニューより「チャット」を選び、右上の再生ボタンを押下すると、Python のランタイムと、選択した大規模言語モデルのダウンロードが自動で行える。ファイルは解凍した .exe 配下に全てまとまるので、環境を汚さない。
「チャット」では日本語で会話ができ、実行速度に若干時間はかかるものの、そこそこ賢い回答が返ってくる。パラメータごとの言語モデルをいくつか選択できる。
- GPU-2G-3B-World
- GPU-16G-7B-World
あなたが飼っている猫は今何をしていますか？
私の猫は、今寝ています。
…ということで、どちらのモデルでも回答は同じになった。RWKV モデル割と優秀。
とりあえずローカルで ChatGPT モドキを動かしてみたいけど、Python のこと何も分からないという人はコチラの GUI ツールを使ってみると手っ取り早く、そこそこのモノが扱えて面白いだろう。
