［エンジニア向け］Googleの最新オープンモデル「Gemma 3」の実力と使い方を解説！（GoogleColabで実行可能）

!pip install git+https://github.com/huggingface/transformers@v4.49.0-Gemma-3 torch accelerate Pillow requests

print("ライブラリのインストールが完了しました。")

# モデルロード前に必ず実行)
from huggingface_hub import login

# Hugging Faceのアクセストークンを用意してください。
# トークンは https://huggingface.co/settings/tokens で生成できます。
# セキュリティのため、トークンを直接コードに書く代わりに、
# 以下の login() を実行後、表示される入力欄にトークンを貼り付けることを推奨します。

print("Hugging Face Hubにログインします。アクセストークンを入力してください。")
try:
    login()
    # またはトークンを直接指定する場合:
    # hf_token = "hf_YOUR_TOKEN_HERE" # トークンをここに貼り付け
    # login(token=hf_token)
    print("Hugging Face Hubへのログインに成功しました。")
except Exception as e:
    print(f"Hugging Face Hubへのログインに失敗しました: {e}")
    print("トークンが正しいか、モデルページで利用規約に同意済みか確認してください。")
    # エラーの場合はここで処理を中断することも検討
    # exit()

import torch
from transformers import pipeline
import requests # URL存在確認などにrequestsを使う場合があるためimportは残す
from PIL import Image # PILを使う他の処理のためにimportは残す
from io import BytesIO # BytesIOを使う他の処理のためにimportは残す
import warnings

# 警告を非表示にする（任意）
warnings.filterwarnings("ignore")

# --- 設定 ---
# 使用するモデルを選択 (Colab無料枠では4B推奨)
model_id = "google/gemma-3-4b-it"
# model_id = "google/gemma-3-12b-it" # Colab Pro以上推奨
# model_id = "google/gemma-3-27b-it" # Colab Pro以上推奨

# デバイスの確認 (GPUが利用可能か)
if torch.cuda.is_available():
    device = "cuda"
    # bfloat16がサポートされているか確認 (T4 GPUはサポート)
    if torch.cuda.is_bf16_supported():
        torch_dtype = torch.bfloat16
        print("GPU (bfloat16対応) を使用します。")
    else:
        torch_dtype = torch.float16 # bfloat16非対応ならfloat16
        print("GPU (bfloat16非対応) を使用します。float16を使用。")
else:
    device = "cpu"
    torch_dtype = torch.float32 # CPUの場合はfloat32
    print("CPUを使用します。推論に時間がかかる可能性があります。")
# -------------

# パイプラインの初期化
print(f"パイプラインを初期化中 ({model_id})...")
try:
    pipe = pipeline(
        "image-text-to-text",
        model=model_id,
        device=device,
        torch_dtype=torch_dtype # 量子化やメモリ効率化のため
    )
    print("パイプラインの初期化完了。")
except Exception as e:
    print(f"パイプライン初期化エラー: {e}")
    print("Hugging Face Hubへの認証が完了しているか、メモリ不足でないか確認してください。")
    exit() # エラーが発生したら終了

# --- 推論の実行 ---
# 画像のURLとプロンプト
image_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"
text_prompt = "このお菓子には何の動物が描かれていますか？詳細に教えてください。"

# 画像のURLを直接 content 内に含める
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": image_url}, 
            {"type": "text", "text": text_prompt}
        ]
    }
]

# 推論実行
print("推論を実行中...")
try:
    # 【変更点】pipeline呼び出しを変更
    # text=messages の形式で、raw_images引数は使用しない
    output = pipe(text=messages, max_new_tokens=200) # <<< 変更点

    # outputの構造を確認するためのprint文（デバッグ用、必要ならコメント解除）
    # print("Pipeline output structure:", output)

    # 出力テキストを取得 (元の形式でアクセスできるか試す)
    generated_text = output[0]["generated_text"][-1]["content"]
    print("\n--- 生成結果 ---")
    print(generated_text)
    print("----------------")
except KeyError as e:
    print(f"KeyErrorが発生しました: キー '{e}' が見つかりません。")
    print("考えられる原因: pipelineの出力形式が想定と異なります。上記のデバッグ用print文でoutputの構造を確認してください。")
    # 代替の出力形式を試す (例: outputが直接リストや文字列の場合)
    # print("Alternative output attempt:", output)
except Exception as e:
    print(f"推論中に予期せぬエラーが発生しました: {e}")
    print("メモリ不足やモデルとの互換性の問題が考えられます。")

# --- メモリ解放 (Colabでは特に重要) ---
del pipe
torch.cuda.empty_cache() # キャッシュクリア
print("リソースを解放しました。")
# ------------------------------------

import torch
from transformers import AutoProcessor, Gemma3ForConditionalGeneration
import requests
from PIL import Image
from io import BytesIO
import warnings

# 警告を非表示にする（任意）
warnings.filterwarnings("ignore")

# --- 設定 ---
model_id = "google/gemma-3-4b-it" # Colab無料枠推奨

if torch.cuda.is_available():
    device = "cuda"
    if torch.cuda.is_bf16_supported():
        dtype = torch.bfloat16
        print("GPU (bfloat16対応) を使用します。")
    else:
        dtype = torch.float16
        print("GPU (bfloat16非対応) を使用します。float16を使用。")
else:
    device = "cpu"
    dtype = torch.float32
    print("CPUを使用します。")
# -------------

# モデルとプロセッサのロード
print(f"モデル ({model_id}) とプロセッサをロード中...")
try:
    # device_map="auto" は複数GPUやCPUへの自動割り当て。Colabの単一GPUなら device へ直接ロードも可
    model = Gemma3ForConditionalGeneration.from_pretrained(
        model_id,
        torch_dtype=dtype,
        device_map="auto", # メモリに応じてCPUにも配置される可能性あり
        # device_map=device # 明示的に指定する場合
    ).eval() # 推論モードに設定
    processor = AutoProcessor.from_pretrained(model_id)
    print("ロード完了。")
except Exception as e:
    print(f"モデル/プロセッサのロードエラー: {e}")
    print("Hugging Face Hubへの認証が完了しているか、メモリ不足でないか確認してください。")
    exit()

# --- 推論の実行 ---
image_url = "https://huggingface.co/spaces/big-vision/paligemma-hf/resolve/main/examples/password.jpg"
text_prompt = "この画像に書かれているパスワードは何ですか？"

print("画像を準備中...")
try:
    response = requests.get(image_url)
    response.raise_for_status()
    image = Image.open(BytesIO(response.content)).convert("RGB")
    print("画像準備完了。")
except Exception as e:
    print(f"画像処理エラー: {e}")
    exit()

# チャット形式の入力を作成 (システムプロンプトは任意)
messages = [
    # {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},
    {
        "role": "user",
        "content": [
            {"type": "image", "url": image_url}, # プレースホルダー
            {"type": "text", "text": text_prompt}
        ]
    }
]

print("入力を処理中 (プロセッサ)...")
try:
    # プロセッサでテキストと画像を処理し、モデル入力形式に変換
    inputs = processor.apply_chat_template(
        messages,
        raw_images=[image], # PIL Imageオブジェクトを渡す
        add_generation_prompt=True, # モデルが応答を生成しやすいように末尾にマーカーを追加
        tokenize=True,
        return_dict=True,
        return_tensors="pt" # PyTorchテンソルで返す
    ).to(model.device) # モデルと同じデバイスにデータを送る
    print("入力処理完了。")
except Exception as e:
    print(f"プロセッサ処理エラー: {e}")
    exit()

# 入力トークン数を記録 (生成部分のみを後で抽出するため)
input_len = inputs["input_ids"].shape[-1]

print("テキスト生成を実行中...")
# torch.inference_mode() または torch.no_grad() で勾配計算を無効化しメモリ効率化
with torch.inference_mode():
    try:
        generation_output = model.generate(
            **inputs,
            max_new_tokens=100, # 生成する最大トークン数
            do_sample=False # Falseで決定論的出力 (毎回同じ結果)
            # do_sample=True, temperature=0.7, top_k=50 # ランダム性を加える場合
        )
        print("生成完了。")
    except Exception as e:
        print(f"生成エラー: {e}")
        print("メモリ不足などが考えられます。")
        exit()

# 生成されたトークンIDのみを抽出 (入力部分を除く)
generation_ids = generation_output[0][input_len:]

# トークンIDをデコードしてテキストに戻す
decoded_text = processor.decode(generation_ids, skip_special_tokens=True)

print("\n--- 生成結果 ---")
print(decoded_text)
print("----------------")

# --- メモリ解放 ---
del model
del processor
del inputs
del generation_output
torch.cuda.empty_cache()
print("リソースを解放しました。")
# -----------------

import torch
from transformers import AutoTokenizer, Gemma3ForCausalLM
import warnings

# 警告を非表示にする（任意）
warnings.filterwarnings("ignore")

# --- 設定 ---
# 1Bモデルや、4B以上のモデルをテキストのみで使う場合に指定
model_id = "google/gemma-3-1b-it" # テキスト専用モデル

if torch.cuda.is_available():
    device = "cuda"
    if torch.cuda.is_bf16_supported():
        dtype = torch.bfloat16
        print("GPU (bfloat16対応) を使用します。")
    else:
        dtype = torch.float16
        print("GPU (bfloat16非対応) を使用します。float16を使用。")
else:
    device = "cpu"
    dtype = torch.float32
    print("CPUを使用します。")
# -------------

# モデルとトークナイザーのロード (CausalLM と AutoTokenizer を使用)
print(f"モデル ({model_id}) とトークナイザーをロード中...")
model = None # エラー処理のためにNoneで初期化
tokenizer = None # エラー処理のためにNoneで初期化
try:
    model = Gemma3ForCausalLM.from_pretrained(
        model_id,
        torch_dtype=dtype,
        # device_map="auto",
        device_map=device # 明示的に指定する場合
    ).eval()
    # テキストのみなので AutoTokenizer を使用
    tokenizer = AutoTokenizer.from_pretrained(model_id)
    print("ロード完了。")
except Exception as e:
    print(f"モデル/トークナイザーのロードエラー: {e}")
    print("Hugging Face Hubへの認証が完了しているか、メモリ不足でないか確認してください。")
    exit()

# --- 推論の実行 ---
# チャット形式の入力 (システムプロンプトとユーザープロンプト)
messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "あなたはユーザーの質問に簡潔かつ正確に答えるAIアシスタントです。"}],
    },
    {
        "role": "user",
        "content": [{"type": "text", "text": "大規模言語モデルについて、重要な概念を3つ挙げてください。"}],
    },
]

print("入力を処理中 (トークナイザー)...")
try:
    # トークナイザーで処理 (画像は扱わない)
    if model and tokenizer:
        inputs = tokenizer.apply_chat_template(
            messages,
            add_generation_prompt=True,
            tokenize=True,
            return_dict=True,
            return_tensors="pt"
        ).to(model.device)
        print("入力処理完了。")
    else:
        print("モデルまたはトークナイザーがロードされていません。")
        exit()
except Exception as e:
    print(f"トークナイザー処理エラー: {e}")
    exit()

# 入力トークン数を記録
input_len = inputs["input_ids"].shape[-1]

print("テキスト生成を実行中...")
with torch.inference_mode():
    try:
        generation_output = model.generate(
            **inputs,
            max_new_tokens=200, # 生成する最大トークン数
            do_sample=True,     # 少し多様な出力を試す
            temperature=0.7,
            top_k=50
        )
        print("生成完了。")
    except Exception as e:
        print(f"生成エラー: {e}")
        exit()

# 生成部分のみデコード
generation_ids = generation_output[0][input_len:]
decoded_text = tokenizer.decode(generation_ids, skip_special_tokens=True)

print("\n--- 生成結果 ---")
print(decoded_text)
print("----------------")

# --- メモリ解放 ---
del model
del tokenizer
del inputs
del generation_output
torch.cuda.empty_cache()
print("リソースを解放しました。")
# -----------------