חזרה לרשימת הפרויקטים

מתורגמן מקוון לשפת הסימנים

Details

אלגוריתם AI המתמלל וידאו של אדם המשתמש בשפת הסימנים.

ההישגים האחרונים של מומחי CV (קורות חיים) נותנים הזדמנות לאנשים עם לקויות שמיעה או דיבור לתקשר בצורה חלקה ונוחה.

זיהוי מילים של שפת הסימנים מתבצע על פי האלגוריתם:

מידע על המיקום המרחבי של חלקי הגוף מתקבל באמצעות מודלים הוליסטיים של MediaPipe. המודל מקבל תמונה כקלט, מחפש אנשים בתמונה ובונה שלד אנושי עם נקודות במרחב תלת מימדי.

SignLab eng.png
הכנת מידע: מידע ראשוני מאפשר להגדיר מילים, אך בשל השונות העצומה של התנועות במרחב התלת מימדי, הדבר אפשרי רק למספר מצומצם ביותר של מילים. התוצאה של ביצוע טרנספורמציות על המידע הראשי היא וקטור המכיל את הכמות המקסימלית של מידע שימושי (עבור פריים וידאו אחד) עם שימוש מינימלי בשטח.
זיהוי מילים של שפת הסימנים מתבצע על ידי קבוצה של וקטורים.
וקטור אחד מאפיין את המיקום של חלקי גוף אנושיים על פריים וידאו אחד.
מורחב עם שיטות טקסט לדיבור ודיבור לטקסט, אלגוריתם זה מסוגל לתרגם:
דיבור לטקסט;
טקסט לדיבור;
שפת הסימנים לטקסט;
שפת הסימנים לדיבור.
בשפת הסימנים חסרים סימני פיסוק וכל מרכיב אחר שיכול להצביע על כך שתנועה אחת הסתיימה והחלה אחרת. לכן, כדי לזהות מילים היה צורך לפתור את הבעיה של מציאת התחלה וסוף של מילה בסדרת זמן רציפה. לשם כך פותח אלגוריתם של חלון הזזה (Windowing method), אשר בהתבסס על קבוצה של מילים קודמות רבות, יכול לחזות את המילים הבאות.

האלגוריתם מיושם עבור 2 שפות: רוסית ואנגלית.

זמני פיתוח
50 שבועות 10 מפתחים