［開発者向け］Mistral Medium 3.5（128B）ローカル実装ガイド——推論・コーディング・ビジョンを1つのモデルで

# PythonとPipのバージョンを確認するコマンドです
python --version
pip --version

# vLLMの最新ナイトリー版をインストールするコマンドです
# -U オプションで既存のvLLMがあれば最新版に上書き更新します
# --torch-backend=auto でGPUバックエンド（CUDA/ROCm等）を自動検出します
# --extra-index-url でvLLMの専用ビルドURLを追加指定します

uv pip install -U vllm \
   --torch-backend=auto \
   --extra-index-url https://wheels.vllm.ai/nightly

# インストール後、依存パッケージのバージョンを確認します。
# mistral_common のバージョンを確認します（1.11.1以上が必要です）

python -c "import mistral_common; print(mistral_common.__version__)"

# transformers のバージョンを確認します（5.4.0以上が必要です）

python -c "import transformers; print(transformers.__version__)"

# vLLMサーバーを起動するコマンドです
# mistralai/Mistral-Medium-3.5-128B: Hugging FaceのモデルIDを指定します
# --tensor-parallel-size 8: 8枚のGPUにモデルを分散します（GPU枚数に応じて変更してください）
# --tool-call-parser mistral: Mistral形式のツール呼び出しを有効にします
# --enable-auto-tool-choice: モデルが自動でツールを選択できるようにします
# --reasoning-parser mistral: 推論トレースの解析を有効にします
# --max_num_batched_tokens 16384: バッチ処理の最大トークン数を指定します
# --max_num_seqs 128: 同時処理する最大シーケンス数です
# --gpu_memory_utilization 0.8: GPUメモリの80%を使用します
vllm serve mistralai/Mistral-Medium-3.5-128B --tensor-parallel-size 8 \
  --tool-call-parser mistral --enable-auto-tool-choice --reasoning-parser mistral \
  --max_num_batched_tokens 16384 --max_num_seqs 128 \
  --gpu_memory_utilization 0.8

# 必要なライブラリをインポートします
from datetime import datetime, timedelta  # 日付処理用のモジュール
from openai import OpenAI               # OpenAI互換クライアントライブラリ
from huggingface_hub import hf_hub_download  # Hugging Faceからファイルを取得する関数

# vLLMのAPIエンドポイントを設定します
# vLLMはローカルで動くためAPIキーは任意の文字列（"EMPTY"）で構いません
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"  # vLLMサーバーのURL（デフォルトは8000番ポート）

# reasoning_effort="none"（通常応答）の場合の推奨温度
# 温度（temperature）は応答のランダム性を制御します。0に近いほど決定的な回答になります
TEMP = 0.1

# OpenAIクライアントをvLLMのURLで初期化します
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# サーバーで動作しているモデル一覧を取得し、最初のモデルIDを使います
models = client.models.list()
model = models.data[0].id
def load_system_prompt(repo_id: str, filename: str) -> str:
    """Hugging Faceからシステムプロンプトファイルをダウンロードして返す関数"""
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    today = datetime.today().strftime("%Y-%m-%d")
    yesterday = (datetime.today() - timedelta(days=1)).strftime("%Y-%m-%d")
    model_name = repo_id.split("/")[-1]
    # プロンプト内の{name}, {today}, {yesterday}プレースホルダーを実際の値に置換します
    return system_prompt.format(name=model_name, today=today, yesterday=yesterday)

# Hugging FaceのリポジトリからMistralのシステムプロンプトを読み込みます
SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")
# モデルに送るメッセージを作成します（roleは "system" または "user" を指定します）
messages = [
    {"role": "system", "content": SYSTEM_PROMPT},  # モデルの振る舞いを設定するシステムプロンプト
    {
        "role": "user",
        "content": "Write me a sentence where every word starts with the next letter in the alphabet - start with 'a' and end with 'z'.",
    },
]

# モデルに推論リクエストを送ります
response = client.chat.completions.create(
    model=model,
    messages=messages,
    temperature=TEMP,
    reasoning_effort="none",  # 通常応答モード（高速）
)

# 応答テキストを表示します
assistant_message = response.choices[0].message.content
print(assistant_message)

import json
from datetime import datetime, timedelta
from openai import OpenAI
from huggingface_hub import hf_hub_download

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
TEMP = 0.1

client = OpenAI(api_key=openai_api_key, base_url=openai_api_base)
models = client.models.list()
model = models.data[0].id

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    today = datetime.today().strftime("%Y-%m-%d")
    yesterday = (datetime.today() - timedelta(days=1)).strftime("%Y-%m-%d")
    model_name = repo_id.split("/")[-1]
    return system_prompt.format(name=model_name, today=today, yesterday=yesterday)

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")

# 数式が含まれた画像URL（インターネット上の画像を直接指定できます）
image_url = "https://math-coaching.com/img/fiche/46/expressions-mathematiques.jpg"

def my_calculator(expression: str) -> str:
    """文字列として渡された数式をPythonのeval()で評価して結果を返すツール"""
    return str(eval(expression))

# モデルが使えるツールを定義します（OpenAI function callingフォーマット）
# "function"キーに関数名・説明・パラメータを記述します
tools = [
    {
        "type": "function",
        "function": {
            "name": "my_calculator",
            "description": "A calculator that can evaluate a mathematical expression.",
            "parameters": {
                "type": "object",
                "properties": {
                    "expression": {
                        "type": "string",
                        "description": "The mathematical expression to evaluate.",
                    },
                },
                "required": ["expression"],
            },
        },
    },
    {
        "type": "function",
        "function": {
            "name": "rewrite",
            "description": "Rewrite a given text for improved clarity",
            "parameters": {
                "type": "object",
                "properties": {
                    "text": {
                        "type": "string",
                        "description": "The input text to rewrite",
                    }
                },
            },
        },
    },
]

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "Thanks to your calculator, compute the results for the equations that involve numbers displayed in the image.",
            },
            {
                "type": "image_url",
                "image_url": {"url": image_url},  # 画像URLをモデルに渡します
            },
        ],
    },
]

# 第1ターン: モデルにツールを使うよう依頼します
response = client.chat.completions.create(
    model=model,
    messages=messages,
    temperature=TEMP,
    tools=tools,
    tool_choice="auto",  # モデルが自動でどのツールを使うかを選択します
    reasoning_effort="none",
)

# モデルが要求したツール呼び出しを取得します
tool_calls = response.choices[0].message.tool_calls

# ツールを実際に実行してresultsリストに結果を格納します
results = []
for tool_call in tool_calls:
    function_name = tool_call.function.name
    function_args = tool_call.function.arguments
    if function_name == "my_calculator":
        result = my_calculator(**json.loads(function_args))
        results.append(result)

# アシスタントのツール呼び出しをメッセージ履歴に追加します
messages.append({"role": "assistant", "tool_calls": tool_calls})
# ツール実行結果をroleを"tool"にしてメッセージ履歴に追加します
for tool_call, result in zip(tool_calls, results):
    messages.append(
        {
            "role": "tool",
            "tool_call_id": tool_call.id,
            "name": tool_call.function.name,
            "content": result,  # 実行結果を文字列で渡します
        }
    )

# 第2ターン: ツール実行結果を踏まえてモデルに最終回答を生成させます
response = client.chat.completions.create(
    model=model,
    messages=messages,
    temperature=TEMP,
    reasoning_effort="none",
)

print(response.choices[0].message.content)

from datetime import datetime, timedelta
from openai import OpenAI
from huggingface_hub import hf_hub_download

openai_api_key = "EMPTY"
openai_api_base = "http://localhost:8000/v1"
TEMP = 0.7  # reasoning_effort="high" の場合は 0.7 を推奨します

client = OpenAI(api_key=openai_api_key, base_url=openai_api_base)
models = client.models.list()
model = models.data[0].id

def load_system_prompt(repo_id: str, filename: str) -> str:
    file_path = hf_hub_download(repo_id=repo_id, filename=filename)
    with open(file_path, "r") as file:
        system_prompt = file.read()
    today = datetime.today().strftime("%Y-%m-%d")
    yesterday = (datetime.today() - timedelta(days=1)).strftime("%Y-%m-%d")
    model_name = repo_id.split("/")[-1]
    return system_prompt.format(name=model_name, today=today, yesterday=yesterday)

SYSTEM_PROMPT = load_system_prompt(model, "SYSTEM_PROMPT.txt")
image_url = "https://static.wikia.nocookie.net/essentialsdocs/images/7/70/Battle.png/revision/latest?cb=20220523172438"

messages = [
    {"role": "system", "content": SYSTEM_PROMPT},
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What action do you think I should take in this situation? List all the possible actions and explain why you think they are good or bad.",
            },
            {"type": "image_url", "image_url": {"url": image_url}},  # 画像URLを渡します
        ],
    },
]

response = client.chat.completions.create(
    model=model,
    messages=messages,
    temperature=TEMP,
    reasoning_effort="high",  # 深い推論モード（[THINK][/THINK]タグで推論トレースが入ります）
)

print(response.choices[0].message.content)

# H100/H200（Hopperアーキテクチャ、CUDA 12.9）向けのDockerイメージをダウンロードするコマンドです
docker pull lmsysorg/sglang:dev-mistral-medium-3.5

# B200/B300（Blackwellアーキテクチャ、CUDA 13.0）向けのDockerイメージをダウンロードするコマンドです
docker pull lmsysorg/sglang:dev-cu13-mistral-medium-3.5

# SGLangサーバーを起動するコマンドです
# --tp 8: テンソル並列数（使用するGPU枚数）を指定します
# --tool-call-parser mistral: Mistral形式のツール呼び出しパーサーを指定します
# --reasoning-parser mistral: 推論トレースパーサーを指定します

python -m sglang.launch_server --model-path mistralai/Mistral-Medium-3.5-128B \
  --tp 8 --tool-call-parser mistral --reasoning-parser mistral

# Transformersライブラリをインストールするコマンドです
uv pip install transformers

import torch
from transformers import AutoProcessor, Mistral3ForConditionalGeneration

# 使用するモデルのHugging FaceリポジトリIDを指定します
model_id = "mistralai/Mistral-Medium-3.5-128B"

# AutoProcessorはテキストと画像の前処理を行うクラスです
processor = AutoProcessor.from_pretrained(model_id)

# モデルをロードします
# device_map="auto" でGPUが使える場合は自動的にGPUに配置されます
model = Mistral3ForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

image_url = "https://static.wikia.nocookie.net/essentialsdocs/images/7/70/Battle.png/revision/latest?cb=20220523172438"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "What action do you think I should take in this situation? List all the possible actions and explain why you think they are good or bad.",
            },
            {"type": "image_url", "image_url": {"url": image_url}},
        ],
    },
]

# apply_chat_template でメッセージをモデル入力テンソルに変換します
# reasoning_effort="high" で深い推論モードを有効にします
inputs = processor.apply_chat_template(
    messages,
    return_tensors="pt",   # PyTorchテンソル形式で返します
    tokenize=True,
    return_dict=True,
    reasoning_effort="high"
)
inputs = inputs.to(model.device)  # モデルが配置されているデバイス（GPU）に転送します

# テキストを生成します（最大1024トークンまで生成します）
output = model.generate(
    **inputs,
    max_new_tokens=1024,  # 生成するトークンの最大数です
    do_sample=True,       # サンプリングを有効にします（Trueにしないとtemperatureが効きません）
    temperature=0.7,
)[0]

# skip_special_tokens=False にすると [THINK] [/THINK] タグで囲まれた推論トレースも確認できます
decoded_output = processor.decode(
    output[len(inputs["input_ids"][0]):],  # 入力部分を除いた生成部分だけをデコードします
    skip_special_tokens=False
)
print(decoded_output)

# Mistral Vibeの最新版をインストールするコマンドです
uv pip install mistral-vibe --upgrade

# ~/.vibe/config.toml に以下の設定を追記・上書きします

# Vibe上での表示名と説明です
display_name = "Mistral Medium 3.5 (local vLLM)"
description = "Mistral Medium 3.5 mode using local vLLM"
safety = "neutral"

# 使用するモデルのエイリアスを指定します（アクティブなモデルが1つだけになるよう注意）
active_model = "mistral-medium-3.5"

# ローカルvLLMサーバーをプロバイダーとして設定します
[[providers]]
name = "vllm"
api_base = "http://<your-host-url>:8000/v1"  # <your-host-url> を実際のサーバーURLに変更してください
api_key_env_var = ""
backend = "generic"
api_style = "reasoning"

# モデルの詳細設定です
[[models]]
name = "mistralai/Mistral-Medium-3.5-128B"
provider = "vllm"
alias = "mistral-medium-3.5"   # active_model と一致させます
thinking = "high"
temperature = 0.7
auto_compact_threshold = 168000  # コンテキストが約168kトークンを超えると自動圧縮します

# Bashツールのタイムアウト設定（秒単位）です
[tools.bash]
default_timeout = 1200