2026年8月29日土曜日

Ollamaのモデルのコンテキスト長を変更

Ollamaがqwen3:8bでコンテキスト長が4096であることを確認
$ ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 5.6 GB 100% GPU 4096 40 seconds from now

デフォルトだと「4096」だと分かる。
ollamaで、これをqwen3:8bの最大値「40960」に変更
$ ollama run qwen3:8b
>>> /set parameter num_ctx 40960
Set parameter 'num_ctx' to '40960'
>>> /save qwen3:8b-40k
Created new model 'qwen3:8b-40k'
>>> /bye

コンテキスト長が「40960」に変更されたことを確認
$ ollama list
NAME ID SIZE MODIFIED
qwen3:8b-40k 3237bc6eb080 5.2 GB 28 seconds ago
qwen3:8b 500a1f067a9f 5.2 GB 2 hours ago

$ ollama ps
NAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b-40k 3237bc6eb080 11 GB 9%/91% CPU/GPU 40960 2 minutes from now

0 件のコメント: