shay681/HeBERT_finetuned_Legal_Clauses

HeBERT Finetuned Legal Clauses

This model fine-tunes avichr/heBERT model on LevMuchnik/SupremeCourtOfIsrael dataset.

Training and evaluation data

Dataset	Split	# samples
SupremeCourtOfIsrael	train	147,946
SupremeCourtOfIsrael	validation	36,987

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• evaluation_strategy: "epoch"
• learning_rate: 2e-5
• train_batch_size: 16
• eval_batch_size: 16
• num_train_epochs: 3
• weight_decay: 0.01

Framework versions

• Transformers 4.17.0
• Pytorch 1.10.0+cu111
• Datasets 1.18.4
• Tokenizers 0.11.6

Results

Metric	# Value
Accuracy	0.96
F1	0.96

Example Usage

from transformers import pipeline

model_checkpoint = "shay681/HeBERT_finetuned_Legal_Clauses"
qa_pipeline = pipeline(
    "question-answering",
    model=model_checkpoint, 
    )

predictions = qa_pipeline({
    'context': "ב בית המשפט העליון בירושלים רע"א 2225/01 בפני: כבוד השופטת ט' שטרסברג-כהן המבקשת: שירותי בריאות כללית נגד המשיב ה : חניתה מייטלס, עו"ד בקשת רשות ערעור על החלטת בית המשפט המחוזי בתל-אביב-יפו מיום 21.2.01 בה"פ 11571/99 וה"פ 11243/99 שניתנה על ידי כבוד השופט א' סטרשנוב החלטה 1. הוחלט שהבקשה מצריכה תשובה. 2. המשיבה תגיש תשובתה לבקשה בתוך 15 ימים ממועד ההמצאה. 3. על נוסח התשובה יחולו הוראותיה של תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984-. 4. התשובה תוגש במקביל, הן לבית-משפט זה, והן במישרין למבקשת. 5. בתשובה תיכלל התייחסות לאפשרות שבית-המשפט יבקש לפעול על-פי סמכותו לפי תקנה 410 לתקנות סדר הדין האזרחי, תשמ"ד1984-. מתבקשת התייחסות לשאלה אם במקרה כזה ניתן יהיה לראות בדברי התגובה סיכומים בכתב. העדר התייחסות כמוהו כהסכמה. העדר תגובה כמוהו כאי-התייצבות, על הכרוך בכך. ניתנה היום, י"ג בסיוון תשס"א (4.6.01). ש ו פ ט ת _________________ העתק מתאים למקור 01022250. J01 נוסח זה כפוף לשינויי עריכה טרם פרסומו בקובץ פסקי הדין של בית המשפט העליון בישראל. שמריהו כהן - מזכיר ראשי בבית המשפט העליון פועל מרכז מידע, טל' 02-6750444",
    
    'question': "אילו סעיפים\חוקים\תקנות מצויינים במסמך ?"
})

print(predictions)
# output:
# {'score': 0.9999890327453613, 'start': 0, 'end': 7, 'answer': 'תקנה 406(ב) לתקנות סדר הדין האזרחי, תשמ"ד1984'}

About Me

Created by Shay Doner. This is my final project as part of intelligent systems M.Sc studies at Afeka College in Tel-Aviv. For more cooperation, please contact email: shay681@gmail.com