はじまり
最近はAIを使って様々な仕事を助けてもらってる話が盛り上がってるように感じます。
最近の夏記事でも Claude Code秘書に高品質な議事録・発表まとめを作らせる方法 が紹介されていたりと社内でも活用が進んでいます。
個人的にも使ってみたいけど情報流出が怖いとか、コーディング向けにはどのサービスのどのモデルが良いの？とか色々と考えることが多いです。
たまたま社内のAIチャンネルで gpt-oss というモデルが公開されたという情報がありました。
OpenAIが公開したモデルということで普段使ってる ChatGPT のオープンモデルということが分かりました。
使ってみるモデル
gpt-oss が登場というページで gpt-oss-120b と gpt-oss-20b の2種類が存在するという話が記載されていました。
各モデルのスペックや必要とされるPCのスペック等多くの情報がまとめられていますので気になっている方は是非見てみてください！
参考: openai/gpt-oss-20b · Hugging Face
CPUがRyzen7でメモリが32GBあれば gpt-oss-20b が動くという話を見て手元のミニPCで試してみました。
手元環境
Lenovo ThinkCentre M75q Tiny Gen2
- OS：Windows 11 Home
- CPU： AMD Ryzen 7 PRO 4750GE
- メモリ：16 GB DDR4-3200MHz
当時、高スペックで安いという話を見て買ってほぼインターネットサーフィンのマシンになっていました。
gpt-oss-120b と gpt-oss-20b 両方のウェイトは、Hugging Face から無料でダウンロードでき、MXFP4 でネイティブに数値化されています。これにより、 gpt-oss-120B モデルは80GB のメモリ内で実行でき、gpt-oss-20b は16GB のみ必要とします。
元々の16GBではWindowsを動かしてるだけで足りなそうに感じてメモリの換装だけして32GBに増やしました。
セットアップ
LM Studioのインストールからセットアップに関する話は割と見かけるのでスキップさせていただきます 🙇
実際に動かしてみる
日本の首都を聞いてみました
15.26 tok/sec 出ていたので大体事前情報通りの動作をしてそうでした。
コンテキスト長を変更してみる
コンテキスト長が大事という話も聞いたので変更してみましたが 15000 くらいが限度でした。
※ コンテキスト長を16000にするとロードに失敗してしまいました。
今後の話
グラボを積んでいないPCでも gpt-oss-20b がある程度の速度で動作することが確認できました。
VSCodeのContinueを使ってLMStudio（gpt-oss-20b）を動かすことができました。
社内では VSCodeのRoo Code を試してうまくいかなかった報告もありました。
実際に動かして色々試していきたいと思います！
