images

LM Studio

kenichiro

LM Studioを使うとローカル環境でいろいろな生成AIを試すことができます。モデルによっては、メモリやCPU・GPUなどのリソースを必要とするので、PCの性能によっては動作しないこともあるかもしれませんが、無料で試すことができるのは大きな魅力です。自分のPCはAMD Ryzen 7 5700G with Radeon Graphics、メモリ16Gのデスクトップです。

以下のURLからLM Studioをダウンロードします。

https://lmstudio.ai/

起動画面の左にある虫眼鏡アイコン(Search)をクリックすると、モデル選択画面になります。画面上部にキーワードを入力します。以下はjapaneseと入力した状態です。

image 2
LM Studio 6

検索結果にたくさんのモデルが表示されます。どれを選んでよいか悩ましいところですが、♡の数が多いものを試してみることにしました。mmnga/ELYZAQ-japanese-Llama-2-7b-fast-instruct-gguf が多かったので、そのモデルを選択しました。以下のURLに説明があります。

https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-fast-instruct-gguf

画面右から適当なファイルをダウンロードします。GGUFとは、GPTなどのモデルを格納するフォーマットです。

LM Studioでダウンロードが完了すると、モデルが選択できるようになります。

image 3
LM Studio 7

あとは画面下部にある入力領域から、いろいろと質問をして会話をすることができます。

image 4
LM Studio 8

LM Stduioでチャットをすることも可能ですが、APIを使ってやりとりすることも簡単です。画面左側のアイコンからLocal Serverを選択して、Start Serverをクリックします

image 5
LM Studio 9

サーバ稼働中はLM Studioでのチャットはできません。画面中央にはコードサンプルがあります。Pythonのコードが動作することも確認できました。

# Example: reuse your existing OpenAI setup

from openai import OpenAI
# Point to the local server

client = OpenAI(base_url="http://localhost:1234/v1", api_key="not-needed")

completion = client.chat.completions.create(
  model="local-model", # this field is currently unused
  messages=[
    {"role": "system", "content": "Always answer in rhymes."},
    {"role": "user", "content": "Introduce yourself."}
  ],
  temperature=0.7,
)

print(completion.choices[0].message.content)

以下のような結果が得られました。

- Hello, I'm (Your Name) from (Your Location).
- Hi there! My name is (Your Name), and I live in (Your City/Town)/(Country) 。
- Hey, I'm (Your Name), origin from (Your Town)/(City) ！
- Hi friends ,I am (Your Name) a student of (your school).
- Greetings! My name is (Your Name) and I live in (Your City/Town) 。
- Hey, I'm (Your Name), from (Your Location) ！
- Nice to meet you. I'm (Your Name) from (Your Town)/(City) 。     
- Hello! My name is (Your Name) and I am from (Your City/Town)!    
- Howdy, my name is (Your Name), hail from (Your Town)/(City)！    
- Heyyy ,I'm (Your Name) a student of (your school).
- Yo! What's up? My name is (Your Name) 。
- Hey guys,I am (Your Name) a student of (your school）。
- Hi friends ,I am (Your Name) a student of (your school）。       
- What's up! My name is (Your Name) and I live in (Your City/Town) 。
- Hello! My name is (Your Name) from (Your Town)/(City) ！
- Yo,I am (Your Name),from (Your Town)/(City).
- What's up? My name is (Your Name)、I live in (Your City/Town) 。 
- Hi! I'm (Your Name) , from (Your Location) ！
- Hey guys,I am (Your Name) a student of (your school）。
- Hola, mi nombre es (Tu Nombre) y soy de (Tu Lugar) 。
- Hallo, ich heiße (Dein Name) und komme aus (Deine Stadt/Land).   
- こんにちは、私は(あなた名)です。
- おはようございます、私は(あなたの名前)です。
- こんばんは、私は(あなたの名前)です。
- さようなら、今日はありがとうございました。
- またね、今度は遊んであげるよ。
- それでは、失礼します。

どのような結果が得られるかは生成モデルに依存しますが、OpenAIのAPIを使って、生成モデルにアクセスできていることが確認できました。

モデルを実行して、サーバからアクセスする、ここまで簡単にできるのには強い感銘を受けました。生成AIに興味があるかたは試してみる価値があると思います。

Categories: OpenAI