AUTOMATIC TRANSLATION OF ARABIC TEXT TO ARABIC SIGN LANGUAGE USING DEEP LEARNING

Document Type : Original Article

Authors

Systems & Computers Department - Faculty of Engineering, Al-Azhar University, Cairo, Egypt.

Abstract

Deaf and dumb people are an integral part of society, must be merged with it, and must be able to communicate natively in order to get involved with the various aspects of life.  The language of communication between the deaf and dumb is sign language; a language that is not known by almost all those who do not suffer from the deficiency.  Therefore, this research focuses on automating the translation of Arabic text into Arabic Sign Language (ArSL) in order to enable normal people to communicate with the deaf and dumb without being overburdened.  This article discusses how deep Learning and Neural Machine Translation (NMT), particularly Encoder-Decoder Transformer Architecture Model, can aid this translation process.
The proposed model has been trained on a manually generated dataset of 6500 pairs of Arabic sentences and their corresponding intermediate representation of Arabic sign sentences. The produced learning model was able to translate an input Arabic sentence into an intermediate format of Sign Language with an accuracy of 72%. After generating an intermediate sentence, a video is then generated for its corresponding Sign Language. The model achieved an average BLEU score of 69% on the test data.
 
يعتبر الصم والبكم جزءًا لا يتجزأ من المجتمع ، ويجب دمجهم معه ، ولذا يجب أن يكونوا قادرين على التواصل بشكل طبيعى من أجل المشاركة في مختلف جوانب الحياة. لغة التواصل بين الصم والبكم هي لغة الإشارة وهى لغة لا يعرفها تقريبا كل الأشخاص الأصحاء الذين لايعانون من فقدان السمع  لذلك ، يركز هذا البحث على ترجمة النص العربي إلى لغة الإشارة العربية (ArSL) من أجل تمكين الأشخاص الطبيعيين من التواصل مع الصم والبكم دون إرهاقهم.
 تناقش هذه المقالة كيف يمكن أن يساعد التعلم العميق والترجمة الآلية العصبية (NMT) في عملية الترجمة هذه. وقد قمنا بإنشاء قاعدة بيانات خاصة بنا يدويًا تتكون من 6500 زوجًا من جملة عربية وتمثيلها الوسيط المقابل لجملة الإشارة العربية. كما استخدمنا خوارزميات التعلم العميق (Encoder-Decoder Transformer Architecture Model). وأصبح نموذج التعلم الناتج قادرًا على ترجمة جملة عربية إلى جملة وسيطة للغة الإشارة بدقة 72٪. وبعدها يتم إنشاء مقطع فيديو للغة الإشارة المقابلة من هذه الجملة الوسيطة.

Keywords

Main Subjects

Files

Share

How to cite

Statistics