@Blog

import sys
from llama_cpp import Llama
from jinja2 import Template

# Windowsターミナルで文字化け対策
sys.stdout.reconfigure(encoding="utf-8")

# モデルロード
model_path = "models/Meta-Llama-3-8B-Instruct.Q5_0.gguf"
llm = Llama(model_path=model_path, n_gpu_layers=-1, n_ctx=600)

# 対話ログ保存ファイル
log_file = "chat_history.txt"

# jinja2テンプレート
chat_template = """{% set rule = "ルール: 以下の会話では必ず日本語で回答してください。" %}
{{ bos_token + '<|start_header_id|>system<|end_header_id|> ' + rule + '<|eot_id|>' }}
{% for message in messages %}
    {% set content = '<|start_header_id|>' + message['role'] + '<|end_header_id|> ' + message['content'] | trim + '<|eot_id|>' %}
    {{ content }}
{% endfor %}
{% if add_generation_prompt %}
    {{ '<|start_header_id|>assistant<|end_header_id|> ' }}
{% endif %}"""

print("=== 日本語対話モード ===")
print("終了するには exit と入力してください。\n")

messages = []

while True:
    user_input = input("あなた: ")
    if user_input.lower() == "exit":
        print("対話終了")
        break

    # ユーザーの発言を messages に追加
    messages.append({"role": "user", "content": user_input})

    # プロンプト生成
    template = Template(chat_template)
    prompt = template.render(messages=messages, bos_token="<s>", add_generation_prompt=True)

    # モデル呼び出し
    output = llm(prompt, max_tokens=200)
    text = output["choices"][0]["text"]

    # バイト列ならUTF-8変換
    if isinstance(text, bytes):
        text = text.decode("utf-8", errors="replace")

    print("アシスタント:", text)

    # メッセージとして追加（次のやり取りでコンテキスト維持）
    messages.append({"role": "assistant", "content": text})

    # ログに保存
    with open(log_file, "a", encoding="utf-8") as f:
        f.write(f"ユーザー: {user_input}\n")
        f.write(f"アシスタント: {text}\n\n")