JERRYPAN617/qwen2.5-lora-psydoctor

PsyDoctor - Qwen2.5-1.5B LoRA Adapter

这是一个基于 Qwen2.5-1.5B-Instruct 模型微调的 LoRA 适配器，专门用于心理医生对话场景，采用理情行为疗法（REBT）进行心理咨询。

模型详情

模型描述

• 开发者: JERRYPAN617
• 模型类型: LoRA 适配器 (基于 Qwen2.5-1.5B-Instruct)
• 语言: 中文
• 许可证: 继承自基础模型
• 微调基础模型: Qwen/Qwen2.5-1.5B-Instruct

模型特点

• 专门针对心理医生对话场景进行微调
• 采用理情行为疗法（REBT）方法
• 支持多轮对话
• 能够提供专业的心理咨询指导

使用方法

环境要求

pip install torch transformers peft accelerate

加载模型

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

# 加载基础模型
base_model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# 加载 tokenizer
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-1.5B-Instruct")

# 加载 LoRA 适配器
model = PeftModel.from_pretrained(base_model, "JERRYPAN617/qwen2.5-lora-psydoctor")

对话格式

模型使用以下对话格式：

<|im_start|>system
你是一位精通理情行为疗法（REBT）的心理咨询师...
<|im_end|>
<|im_start|>user
用户的问题
<|im_end|>
<|im_start|>assistant
助手的回复
<|im_end|>

训练详情

训练数据

使用 PsyDTCorpus 数据集进行多轮对话微调。

训练参数

• LoRA rank: 16
• LoRA alpha: 32
• LoRA dropout: 0.1
• 学习率: 2e-4
• 训练轮数: 3
• 批次大小: 1 (梯度累积 16 步)

目标模块

• q_proj
• k_proj
• v_proj
• o_proj

使用限制

• 本模型仅用于心理咨询辅助，不能替代专业心理医生
• 请根据实际情况谨慎使用模型输出
• 对于严重心理问题，建议寻求专业心理医生帮助

引用

如果您使用了本模型，请引用：

@misc{qwen2.5-lora-psydoctor,
  title={PsyDoctor: A LoRA Fine-tuned Qwen2.5 Model for Psychological Counseling},
  author={JERRYPAN617},
  year={2025},
  url={https://huggingface.co/JERRYPAN617/qwen2.5-lora-psydoctor}
}

许可证

本模型继承 Qwen2.5-1.5B-Instruct 的许可证。