Qwen3.8-27BとFlash-Next比較|VRAM 32GBで選ぶならどっち?INT4とINT8の違いも

この記事について（広告・アフィリエイトリンクはありません）

VRAMが32GBのPC(RTX 5090など)でローカルLLMを動かすなら、長い文脈の作業や難しいコーディングではQwen3.8-27Bが上回り、短い1回の答えではQwen3.8-Flash-Nextが少し有利でした。海外の掲示板Redditに投稿された比較の結果です。

この記事では、その比較と、量子化のINT4とINT8で「ループ」の起きやすさを比べた報告を紹介します。筆者のRTX 5090で測った速度とループの結果も載せました。

紹介する数値は、どれも投稿者が自分の環境で測った自己申告・未検証の値です。情報は2026年10月31日時点(JST)のものです。

用語メモ:ローカルLLM=ChatGPTのような文章生成AIを、クラウドではなく自分のPCで動かすこと。

用語メモ:VRAM=GPUに載っているメモリ。モデルがVRAMに収まるほど速く動きます。

Qwen3.8-27BとFlash-Nextの違い

先に、2つのモデルの違いをざっくり押さえておきます。

Qwen3.8-27B:270億パラメータを毎回すべて使う「密な(dense)」モデル
Qwen3.8-Flash-Next:たくさんの「専門家(エキスパート)」のうち一部だけを使うMoEモデル。Redditのコメントでは、1回に使うパラメータは約60億とされています(未確認)

用語メモ:パラメータ=モデルの中にある数値の数。おおまかに、モデルの「大きさ」を表します。

用語メモ:MoE(Mixture of Experts)=モデルの中に多くの専門家を持ち、入力ごとに一部の専門家だけを使う仕組み。全体は大きくても、1回の計算は軽くなります。

Flash-Nextを自分のPCで動かす方法は、こちらの記事で紹介しています。
関連記事:Strataとは?必要スペックと導入手順

27Bを速く動かす方法は、こちらです。
関連記事:Qwen3.8-27Bをllama.cppで高速化

VRAM 32GBの比較では、27Bが2つのテストで上回った(Redditの報告)

検証の条件

1つ目は、RTX 5090(VRAM 32GB)とメインメモリ64GBのPCで、2つのモデルを「その環境でできる最善の設定」にそろえて比べた投稿です。[自己申告・未検証]

	Qwen3.8-Flash-Next	Qwen3.8-27B
推論エンジン	basalt	ninfer
量子化	NVFP4	NVFP4(QAT版)
KVキャッシュ	256K、INT8	570K、NVFP4
同時に処理できる数	1	4
推論の深さ(reasoning)	xhigh	xhigh

用語メモ:量子化=モデルの数値を少ないビット数で表して、ファイルを小さく軽くすること。NVFP4やINT4は4ビット、INT8は8ビットです。

用語メモ:KVキャッシュ=会話の内容を覚えておくためのメモリ。大きいほど長い文章を扱えます。

結果

使ったテストは、ツールを正しく呼び出せるかを測るBFCLと、プログラミングの問題を解けるかを測るLiveCodeBenchです。

テスト	Flash-Next	27B
BFCL(全体)	78.19%	81.51%
LiveCodeBench(pass@1)	79.22%	86.15%

BFCLの細かい項目を見ると、差がはっきり出ていたのは、長い会話を扱う項目です。

BFCLの項目	Flash-Next	27B
simple_python(簡単な1回の呼び出し)	92.50%	89.75%
multi_turn_base(複数回のやり取り)	56.00%	64.00%
multi_turn_long_context(長い文脈での複数回のやり取り)	54.50%	60.50%

LiveCodeBenchでも、難しい問題(hard)はFlash-Nextが59.00%、27Bが75.00%でした。

投稿者は、「長い文脈や難しい問題では27Bが上回り、短い1回の答えではFlash-Nextが少し有利だった」とまとめています。27Bは4つの作業を同時に処理でき、KVキャッシュも大きく取れることも、27Bを選んだ理由に挙げています。

27Bが常に上だと言い切れない理由

この検証には、投稿者自身やコメント欄から、次のような注意点が出ています。

テストは全問ではなく、投稿者が選んだ一部の問題(サンプル)で行われた
Flash-Nextは27問、27Bは7問で、答えが空でした。投稿者によると、設定した出力の上限(128K)を超えて考え続けたためです。空の答えは不正解として数えられています
コメントでは、「LiveCodeBenchの点が、公式の数値(約90〜92%)より低すぎる。測り方の条件に何かあるのでは」という指摘も出ています

推論エンジンも量子化もそれぞれ違うので、純粋なモデルの差とは言い切れません。

つまり、「VRAM 32GBなら27Bのほうが必ず賢い」とまでは言えません。1人の環境での、1つの比較結果として見てください。

INT4とINT8の違い:ループが起きやすくなる

ループはどんな現象か

ローカルLLMでときどき起きるのが「ループ」です。ループとは、モデルが同じ文や同じ考えを何度も繰り返して、先に進まなくなることです。

Redditの報告:INT4はループが約2.5倍

2つ目は、Qwen3.8-27BをINT8からINT4に切り替えた人が、それぞれ約2週間分の記録を比べた投稿です。[自己申告・未検証]

条件は次のとおりです。

INT8版はRTX 3090を4枚、INT4版(AWQ)はRTX 3090を2枚で動かした
推論エンジンはvLLM、エージェントツールはHermes。設定(temperature 1.0、top_p 0.95、top_k 20、thinking medium)とループの検出方法は同じ
用途は、人が介在しない大量のエージェント作業(1か月で1,000件以上)

用語メモ:エージェント=AIが自分でツールを使い、複数の手順をこなして作業を進める使い方。

結果は次のとおりです。

項目	INT8	INT4(AWQ)
1,000回の呼び出しあたりのループ	1.9回	4.7回
ループが1回以上起きた会話	6%	12%
作業ごとの成功率	92%	78%

1,000回あたりのループは1.9回から4.7回で、約2.5倍です。

投稿者は、ほかにも次のことを報告しています。

ループはすべて、モデルが考える部分(reasoning)の中で起きた
差は文脈が長いほど大きく、約4万トークン未満では1.4倍、8万〜12万トークンでは3.3倍だった
ループを止めて「続けて」と頼むと、14〜22%の確率でまたループした(ふだんは1%未満)
投機的デコード(先の文字を予測して速くする仕組み)を使っていると、ループ中は速度が約200 tok/sに跳ね上がる(ふだんは約107 tok/s)。これをループの検出に使える

用語メモ:tok/s=1秒あたりに生成できるトークン(文字のかたまり)の数。大きいほど速く文章が出てきます。

INT4で必ず増えると言い切れない理由

投稿者自身も、「INT8でもループは起きる。BF16(量子化していない版)でも長い思考のループが起きるという報告がある。量子化だけの問題ではない」と書いています。

コメント欄には、「Q4_K_Mでコーディングに使っているが、ループは起きない」「Q6でも起きない」という声も。投稿者は、自分の使い方が「人が手伝わない、要求の多い作業」なので、ループが起きやすいのかもしれない、と答えています。

また、INT8とINT4ではGPUの枚数も違います。この結果は1人の環境での結果なので、「INT4は必ずループが2.5倍になる」と一般化はできません。

筆者のRTX 5090では、ループの件数に差は出なかった

筆者の環境(RTX 5090/RAM 128GB/Win11)で、Qwen3.8-27Bの速度とループを試しました。推論エンジンは llama.cpp(b12002)、コンテキストは32Kです。Redditの検証とは、エンジンも量子化の形式も違います。

最初はほかのアプリが約10GB使っている状態で測り、Q4_K_M の MTP なしは約60 tok/s でした。GPU を空けて測り直すと74〜77 tok/s で、約2割の差です。下の表は、ほかのアプリがVRAMを使っていない状態の値です。

用語メモ:Q4_K_M/Q8_0=llama.cppで使うGGUF形式の量子化の種類。Q4_K_Mは約4ビット、Q8_0は約8ビットで、INT4/INT8に近い位置づけです。

速度

モデル	設定	速度
Qwen3.8-27B Q4_K_M	MTPなし	74〜77 tok/s
Qwen3.8-27B Q4_K_M	MTPあり・日本語	113〜132 tok/s
Qwen3.8-27B Q4_K_M	MTPあり・英語のコード	184〜189 tok/s
Qwen3.8-27B Q8_0	MTPなし	48〜49 tok/s
Qwen3.8-Flash-Next Q2_0(Strata v0.2.9)	既定	194〜223 tok/s

用語メモ:MTP=モデルに内蔵された予測の仕組みで、先の数トークンをまとめて当てることで速くします。

Q8_0はQ4_K_Mより大きいぶん、速度は約3分の2になりました。Flash-Nextは、Strataのいちばん小さい量子化(Q2_0、約2ビット)で動かした値です。27Bとは量子化のビット数が大きく違うので、速さだけでどちらが良いとは言えません。Flash-Nextでは、4つのプロンプトで同じ出力の繰り返しは起きませんでしたが、10問のループ試験はしていません。

ループ

同じ10個のプロンプトで、Q4_K_MとQ8_0のループを数えました(出力の上限は6,144トークン)。

条件	Q4_K_M	Q8_0
思考オン・temperature 0	はっきりしたループ 1件	はっきりしたループ 1件
思考オン・Redditと同じ設定(temperature 1.0など)	0件	0件

ループした1件は、どちらも短歌を作るお題で、思考の中で同じ1行を繰り返し続けました。

筆者の10問の範囲では、Q4_K_MとQ8_0でループの件数は同じでした。Redditの「約2.5倍」は、長い文脈のエージェント作業を約2週間続けた結果なので、この規模の試し方では確かめられませんでした。

VRAM 32GBならどちらを選ぶか

ここまでの報告から言えるのは、次のくらいまでです。

長い文脈のエージェント作業や、難しいコーディング:Redditの比較では27Bが上でした。ただし、テストは一部の問題だけです
短い質問への1回の答え:Flash-Nextが少し有利という結果でした
INT4かINT8か:長い文脈のエージェント作業でループが気になるなら、INT8のほうがループは少なかったという報告があります。筆者のRTX 5090では、27BのQ8_0(約29GB)も動きましたが、速度はQ4_K_Mの約3分の2でした

よくある質問（FAQ）

Q. VRAM 24GBのGPUでも同じ比較になりますか?

紹介した比較はVRAM 32GBでの結果です。24GBでの結果は、材料にはありません(未確認)。

Q. ループが起きたらどうすればいいですか?

投稿者によると、ループを止めて「続けて」と頼んでも、14〜22%の確率でまたループしました。コメントには「temperatureを0.6にする」という提案もありますが、効果は確かめられていません(未検証)。

Q. Flash-Nextは、Strataで動かした場合も同じ結果ですか?

紹介した比較のFlash-Nextは、Strataではなくbasaltというエンジンで動かしています。Strataでの結果ではありません。

まとめ

VRAM 32GBでの比較では、BFCLとLiveCodeBenchの両方で27Bが上回り、短い1回の答えではFlash-Nextが少し有利だった(自己申告・一部の問題のみ)
INT4はINT8より、ループが約2.5倍多かったという報告がある(1人の環境、エージェント作業)。筆者の10問の試験では、Q4_K_MとQ8_0のループの件数は同じだった
どの数値も条件がそろった比較ではないので、自分の用途で試して決めるのが確実

関連記事

この記事の検証環境

RTX 5090（32GB）/ RAM 128GB / Windows 11 / llama.cpp b12002（コンテキスト 32K）/ Qwen3.8-27B Q4_K_M・Q8_0 / Qwen3.8-Flash-Next Q2_0（Strata v0.2.9）/ 検証日：2026-10-31
これまでの検証の一覧はこちら

検証メモ

Flash-Next Q2_0 の194〜223 tok/s：Strata v0.2.9、コンテキスト128K、同時4スロット、MTP あり、思考オフ、temperature 0、max_tokens 1024 です。27B と同じ4つのプロンプト（日本語の説明・要約・箇条書きと、英語のコード）を3回ずつ測りました。入力は40〜156トークン、出力は66〜1,024トークンです。

27B との条件の違い：27B はコンテキスト32K です。Flash-Next だけ128K で測っているので、完全に同じ条件ではありません。

Strata v0.2.9 の記事との違い：同じ版とモデルですが、プロンプトが違います。そちらは短い会話（入力27トークン）で144.6〜217.6 tok/s、約4,600トークン入力（SAFETY.md の要約）で181.5〜195.1 tok/s でした。

ループの数え方：表の「はっきりしたループ」は、出力の末尾1,500文字に20文字以上の同じ文字列が3回以上続くか、10文字以上の同じ行が3回以上続くものです。

上限で打ち切られた件数：思考オンで6,144トークンに達したのは、temperature 0 で Q4_K_M 5件・Q8_0 5件、Redditと同じ設定で Q4_K_M 3件・Q8_0 4件でした。各プロンプト1回だけなので、この件数の差から優劣は言えません。

VRAM：Q8_0 は読み込み後の GPU 使用が30,996 MiB（コンテキスト32K）でした。