إلى أي مدى يمكن لنماذج الذكاء الاصطناعي كتابة امتحانات كلية الحقوق دون مساعدة بشرية؟ لمعرفة ذلك ، استخدمنا نموذج AI الذي تم نشره على نطاق واسع ChatGPT لتوليد إجابات على أربعة اختبارات حقيقية في كلية الحقوق بجامعة مينيسوتا. ثم قمنا بعد ذلك بتصنيف هذه الاختبارات بشكل أعمى كجزء من عمليات الدرجات المعتادة لكل فصل.
أكثر من 95 سؤال اختيار من متعدد و 12 سؤال مقالي ، كان أداء ChatGPT في المتوسط على مستوى C + طالب ، وحقق درجة منخفضة ولكن ناجح في جميع الدورات الأربع. بعد تفصيل هذه النتائج ، نناقش آثارها على التعليم القانوني والمحاماة. نقدم أيضًا أمثلة للمطالبات والنصائح حول كيفية مساعدة ChatGPT في الكتابة القانونية.
هل ChatGPT ذكي بما يكفي لاجتياز امتحان القانون؟
تواصل ChatGPT مفاجأتنا. لقد نجح الذكاء الاصطناعي التوليدي الخاص بـ OpenAI في اجتياز امتحان القانون على مستوى الكلية. ولكن على الرغم من الاستجابات الممتازة ، كان برنامج الدردشة الآلي متواضعًا إلى حد ما … وسيئًا تمامًا في الرياضيات.
وضع أساتذة كلية الحقوق بجامعة مينيسوتا ذكاء ChatGPT على المحك. تم تكليف روبوت الدردشة الخاص بـ OpenAI بالإجابة على أسئلة أربعة من اختبارات المؤسسة.
بعد ذلك ، تم خلط الإجابات الناتجة عن الذكاء الاصطناعي مع نسخ الطلاب الآخرين. بهذه الطريقة ، كان المعلمون قادرين على إجراء تقييم أعمى لجودة استجابات ChatGPT. لذلك تم تقييم IA بنفس طريقة تقييم أي محام ناشئ آخر.
طالب متوسط المستوى
بفضل التعلم الآلي ، تمكن برنامج الدردشة الآلي من اجتياز اختبارات القانون. لقد ورثت بالفعل درجة C + ، وهي درجة متواضعة ، لكنها مقبولة. من الواضح أن ChatGPT لم يؤد المعجزات بتفوقه على الطلاب الآخرين بشكل كبير. في المتوسط ، كان الطلاب الآخرون قادرين بالفعل على الحصول على B +. ومع ذلك ، فإن الإجابات التي تم الحصول عليها كانت كافية للحصول على دبلوم.
يقول جوناثان تشوي ، الأستاذ المسؤول عن الدراسة: “لوحده ، سيكون ChatGPT طالب قانون متوسط المستوى إلى حد ما”.
للتسجيل ، تميزت ChatGPT بأداء مماثل في امتحان الإدارة في كلية وارتون للأعمال في ولاية بنسلفانيا. على الرغم من سوء التقدير ، نجح الذكاء الاصطناعي في اجتياز الامتحان بدرجة B. في بعض النقاط ، أعطى روبوت المحادثة ببساطة إجابة مثالية.
نتائج متوسطة
“أنتج ChatGPT نصًا بدون أخطاء نحوية أو أخطاء مطبعية. كما قام أيضًا ببناء الجمل والفقرات جيدًا ، وإن كان ذلك بطريقة رسمية ، مع جمل واستنتاجات تمهيدية ، “تفاصيل الدراسة من جامعة مينيسوتا.
للحصول على هذه النتائج ، قدم المعلمون أكبر قدر ممكن من المعلومات والسياق في الأسئلة ، لا سيما من خلال تحديد الأسلوب والمنهج الذي سيتم استخدامه. أثناء مراجعة القانون ، سُئل موقع ChatGPT عن الأضرار ، ومزايا الموظفين ، والضرائب ، والقانون الدستوري. إجمالاً ، أجاب الذكاء الاصطناعي على 95 سؤالاً متعدد الخيارات و 12 مقالة.
وفقًا للأساتذة ، قام ChatGPT بعمل جيد من خلال كتابة مقالات منظمة مبنية جيدًا. أظهر برنامج الدردشة الآلي فهماً جيداً لأبسط القواعد القانونية. كانت العديد من المقالات المكتوبة شاملة للغاية. ومع ذلك ، لم تكن كتابات الذكاء الاصطناعي خالية من العيوب.
“لقد كافح من أجل تحديد العناصر ذات الصلة ، وغالبًا ما كان يطبق القواعد بشكل سطحي فقط مقارنة بطلاب القانون الحقيقي” ، حسبما جاء في تقرير الدراسة.
مشكلة حقيقية في الرياضيات
من الواضح أن ChatGPT واجهت صعوبات في تكييف إجاباتها مع سياق السؤال ، خاصةً إذا كان مفتوحًا للغاية. كما لاحظنا أيضًا ، غالبًا ما يميل الذكاء الاصطناعي إلى الكشف عن إجابات نظرية للغاية ، مثل الطالب الذي تعلم كل شيء عن ظهر قلب دون فهم المادة حقًا.
لاحظ المعلمون أيضًا أن ChatGPT لديه مشاكل متكررة مع الرياضيات.
فشل IA أيضًا في امتحان الضرائب ، مع 8 إجابات صحيحة فقط من أصل 29. كان لديه مشكلات حسابية مماثلة أثناء امتحان الإدارة المذكور أعلاه.
لذلك يعتقد الخبراء القانونيون أن برنامج الدردشة الآلي ليس قادرًا بعد على استبدال المحامي أو القانوني تمامًا.
إذا ظل غير قادر على تقديم مشورة قانونية موثوقة تمامًا ، فيمكنه مساعدة محامٍ بشكل كبير في عمله. على سبيل المثال ، يمكن أن تولد ChatGPT أفكارًا للحجج المناصرة أو تلاوة النصوص القانونية.
في الواقع ، فضل المعلمون حظر ChatGPT أثناء الامتحانات لمنع الغش. منذ بدء تشغيله عبر الإنترنت الخريف الماضي ، تم استخدام ChatGPT على نطاق واسع من قبل الطلاب في جميع أنحاء العالم.
حتى أن مدرسًا من ليون أدرك أن 50٪ من طلابه يستخدمون الذكاء الاصطناعي لأداء واجباتهم المدرسية.
المصدر: SSRN