איך אנחנו בונים ומודדים את הקול שמאחורי Nehorin: השיטה, התוכנית והיעדים. הקול בפיתוח.
עדיין אין תוצאות. העמוד מציג את השיטה, את התוכנית ואת היעדים שאנחנו מכוונים אליהם. כשיהיו מדידות, נפרסם אותן כאן עם תאריכים. אנחנו עדיין לא מפרסמים אודיו. הדגמה קולית זמינה לפי בקשה.
קול שנבנה קודם כול בשביל עברית, לסוכני טלפון. זו לא עטיפה של שירות קול של מישהו אחר: אנחנו מאמנים את כל המודל (fine-tuning מלא) של VoxCPM2, מודל דיבור בקוד פתוח ברישיון Apache-2.0, על דיבור בעברית.
נתוני האימון שלנו כוללים דיבור ציבורי בעברית מ-ivrit.ai (בכפוף לרישיון של ivrit.ai). אנחנו מתחילים בכ-800 שעות ומרחיבים אותן לכיוון כ-20,000 שעות. בנוסף אנחנו מערבבים דיבור באנגלית מתוך LibriTTS-R (רישיון CC BY 4.0), כדי שהמודל לא יאבד את האנגלית שלו.
מוסיפים נתוני אימון רק כל עוד הציון ממשיך להשתפר. עדיין אין תוצאות.
אנחנו לא בוחרים מודל לפי שגיאת האימון שלו. אנחנו בוחרים אותו לפי מדידה של הדיבור שהוא מפיק.
| מדד | איך מודדים, ומה המצב |
|---|---|
| שיעור שגיאות תווים בעברית (CER) | שני מזהי דיבור עצמאיים, ממשפחות מודלים שונות, מתמללים את הדיבור שנוצר. אנחנו משווים כל תמלול לטקסט שהמודל התבקש להקריא. מתוכנן. עדיין אין תוצאות. |
| כשלי עצירה | מקרים שבהם הקול לא נעצר, חותך את המילה הראשונה או האחרונה, או חוזר על מילים או מדלג עליהן. מתוכנן. עדיין אין תוצאות. |
| האזנה | אנשים מאזינים לדגימות ושופטים אותן. מתוכנן. עדיין אין תוצאות. |
| צליל ראשון | כמה מהר הסוכן מתחיל לדבר אחרי שהמתקשר מסיים לדבר. היעד: תוך שנייה אחת. זה יעד ולא תוצאה. |
| נתוני אימון | תוכנית: כ-800 שעות, וגדילה לכיוון כ-20,000 שעות, רק כל עוד הציון ממשיך להשתפר. |
יעדים ותוכניות הם מטרות, לא תוצאות.
בטקסט רגיל בעברית אין ניקוד. הקורא משתמש בהקשר כדי לבחור את המילה הנכונה, ומודל דיבור צריך לעשות את אותו הדבר לפני שהוא מדבר.
את הכתיב ספר אפשר לקרוא סֵפֶר (חיבור מודפס), סַפָּר (מי שגוזר שיער) או סָפַר (מלשון ספירה).
זו המחשה של הבעיה, ולא מדידה.
בטקסט, תאריך, שעה וכמות נכתבים בספרות. הקול צריך לומר אותם במילים, ובעברית חלק מהמילים האלה משתנות לפי המין הדקדוקי.
בשתי הדוגמאות האלה הספרה 3 זהה, אבל בעברית אומרים אותה אחרת: שלושה לפני ילדים (זכר), ושלוש לפני בנות (נקבה). הספרה לא מראה באיזו צורה להשתמש, ולכן הקול צריך להבין זאת מהשם שאחריה. הדוגמאות האלה מראות את המשימה, ולא תוצאות של המודל שלנו.
דיבור שמוקלט באולפן רחב ומפורט. שיחת טלפון נדגמת ב-8 kHz, ולכן הצליל שהיא נושאת מגיע רק עד כ-3.4 kHz. הקול שלנו צריך להישאר ברור וטבעי בתוך הפס הצר הזה.
עוד לא מדדנו את הקול שלנו על קו טלפון אמיתי. עד כמה קול סינתטי נשאר ברור שם היא שאלה פתוחה אצלנו.