תיעוד Nodaroסנכרון שפתיים
רכיב סנכרון שפתיים גורם לפורטרט לדבר לפי רצועת אודיו, או מדבב סרטון קיים לדיבור חדש, עם Kling Avatar, OmniHuman, Seedance ועוד.
רכיב סנכרון שפתיים גורם לפנים לדבר לפי רצועת אודיו. כשמזינים לרכיב פורטרט ורצועת קול, הוא יוצר סרטון של ראש מדבר. כשמזינים לו סרטון ואודיו חדש, הוא מסנכרן מחדש את השפתיים בסרטון לדיבור החדש, וכך מדבב את הקליפ. בוחרים מודל, והרכיב מציג את הקלטים שהמודל הזה צריך.
מתי להשתמש
- ראש מדבר מתמונה אחת, למשל דמות שנוצרה ב-AI עם קריינות.
- סרטון דובר להדגמת מוצר.
- גרסה מדובבת של סרטון: דיבור מתורגם, שמסונכרן מחדש לשפתיים של הדובר.
- הופעה בהכוונת פרומפט, כגון שירה לתוך מיקרופון, עם OmniHuman 1.5.
לסרטון אווטאר מלא מתסריט, עם קולות וכתוביות מובנים, השתמשו ברכיב אווטאר AI.
התחלה מהירה
הוספת הרכיב
הקישו Tab על הקנבס ובחרו וידאו › הנפשה וביצוע › סנכרון שפתיים.
בחירת המודל
פתחו את חלונית ההגדרות ובחרו מודל תחת ספק. הרכיב מציג אז את הקלטים שהמודל הזה צריך: פורטרט, וידאו מקור או שניהם.
חיבור הפנים והקול
חברו תמונה לקלט פורטרט או סרטון לקלט וידאו מקור, ורכיב אודיו לקלט אודיו, למשל רכיב טקסט לדיבור.
הרצה
לחצו על הרצה. הסרטון עם סנכרון השפתיים מופיע על הרכיב.
פורטרט או סרטון
| מה מחברים | מה הרכיב יוצר | מודלים |
|---|---|---|
| פורטרט ואודיו | סרטון חדש של ראש מדבר מתמונת סטילס. | Kling Avatar, Kling Avatar Pro, InfiniTalk, OmniHuman 1.5, Seedance 2, Seedance 2 Fast, Seedance 2 Mini, Seedance 2.5, SadTalker |
| וידאו מקור ואודיו | אותו סרטון, עם השפתיים מסונכרנות מחדש לאודיו החדש. | Volcengine Lip Sync, Sync Lipsync v3, Lipsync 2 Pro, HeyGen Lipsync Precision, LatentSync, Video-Retalking |
| אחד מהשניים, ואודיו | Wav2Lip מקבל פורטרט או סרטון. | Wav2Lip |
קלטים
| קלט | מקבל | מה הוא עושה |
|---|---|---|
| אודיו | רכיבי אודיו | הדיבור או הקריינות. נדרש בכל מודל. |
| פורטרט | רכיבי תמונה | תמונה ברורה של פנים, למודלי פורטרט. |
| וידאו מקור | רכיבי וידאו | הקליפ לדיבוב, למודלי דיבוב. |
הפלט, וידאו, הוא כתובת ה-URL של הסרטון עם סנכרון השפתיים. כשמחוברים כמה רכיבים, כרטיס הרכיב מאפשר לבחור באיזו תמונה, באיזה סרטון ובאיזה אודיו להשתמש.
הגדרות
| הגדרה | מה היא עושה |
|---|---|
| ספק | מודל סנכרון השפתיים. ברירת המחדל היא Kling Avatar. |
| רזולוציה | ב-Kling Avatar, ב-Kling Avatar Pro, ב-InfiniTalk ובמודלי Seedance: 480p או 720p, וברירת המחדל היא 720p. Seedance 2 מציע גם 1080p. OmniHuman 1.5 מציע 720p או 1080p, וברירת המחדל היא 1080p. |
| פרומפט תנועה (אופציונלי) | באותם מודלים: תנועת הראש וההבעות, למשל "slight head nods" (הנהונים קלים) או "expressive eyebrows" (גבות אקספרסיביות). ב-OmniHuman 1.5, הפרומפט מכוון את ההופעה כולה. |
| טקסט לפני ואחרי | טקסט שמתווסף תמיד לפני פרומפט התנועה ואחריו. ראו את הדף טקסט לפני ואחרי הפרומפט. |
הגדרות למודלים מסוימים
| מודל | הגדרות |
|---|---|
| OmniHuman 1.5 | פרומפט תנועה מכוון את ההופעה, למשל "sing confidently into a microphone" (שירה בביטחון לתוך מיקרופון). מצב מהיר מוותר על חלק מהאיכות לטובת מהירות. זרע מאפשר לשחזר תוצאה; הערך -1 פירושו ערך אקראי. OmniHuman 1.5 מנפיש אנשים, חיות מחמד ואנימה בכל יחס גובה־רוחב. |
| HeyGen Lipsync Precision | משך דינמי (מופעל כברירת מחדל) מתאים את אורך הפלט לאודיו החדש. הסרת רצועת מוזיקה (כבויה כברירת מחדל) מסירה את מוזיקת הרקע מסרטון המקור. שיפור דיבור (כבוי כברירת מחדל) משפר את בהירות הדיבור. |
| Lipsync 2 Pro | מצב סנכרון קובע מה קורה כשלאודיו ולסרטון יש אורכים שונים: לולאה (ברירת המחדל), הלוך ושוב, קטיעה, השתקה או מיפוי מחדש. טמפרטורה, מ-0 עד 1, קובעת עד כמה סנכרון השפתיים אקספרסיבי; ברירת המחדל היא 0.5. זיהוי דובר פעיל מסנכרן את מי שמדבר. |
| Sync Lipsync v3 | מצב סנכרון, עם קטיעה כברירת מחדל, וזיהוי דובר פעיל, שכדאי להפעיל בסרטון עם יותר מאדם אחד. המודל מנהל בעצמו את רמת ההבעה. |
| Volcengine Lip Sync | מצב: קליל לדובר יחיד במבט קדמי, מהיר יותר, או בסיסי לסצנות מורכבות עם כמה דוברים. הפרדת שירה (הפחתת רעש) מסירה רעשים מהאודיו. זיהוי סצנות + זיהוי דובר (במצב בסיסי בלבד) מוצא חיתוכי סצנה ואת מי שמדבר. הפעלת לולאת וידאו אם האודיו ארוך יותר (במצב קליל בלבד, מופעלת כברירת מחדל) ולולאה הפוכה (הלוך ושוב) מטפלות באודיו שנמשך אחרי סוף הסרטון. זמן התחלת התבנית (שניות) קובע מאיזה רגע בסרטון השפתיים מתחילות לעקוב אחרי האודיו. הפלט ארוך כמו האודיו: סרטון ארוך יותר נחתך, וסרטון קצר יותר רץ בלולאה. |
מודלי Seedance מבצעים סנכרון שפתיים מובנה ברמת הפונמה, ביותר מ-8 שפות. הם עובדים כמו רכיב יצירת וידאו, כשהאודיו נשלח כאודיו ייחוס.
מודלים
| מודל | יצרן | מצבים | קרדיטים | פרטים |
|---|---|---|---|---|
| MiniMax H3 | MiniMax | תמונה לווידאו, טקסט לווידאו | החל מ-253 | MiniMax H3 — רמת פרימיום מולטימודלית: פריים פתיחה וסיום, ייחוסי תמונה, וידאו ואודיו, אודיו מובנה, פלט ב-2K (ברירת מחדל) או ב-768P, ותמחור לפי שנייה, 4–15 שניות. |
| Kling Avatar Standard | Kuaishou | סנכרון שפתיים | 308 | סנכרון שפתיים של פורטרט סטטי לאודיו מוביל. איכות סטנדרטית. |
| Kling Avatar Pro | Kuaishou | סנכרון שפתיים | 616 | סנכרון שפתיים ברמת פרימיום — צורת פה ותזמון טובים יותר. |
| Seedance 2 | Bytedance | תמונה לווידאו, טקסט לווידאו | החל מ-253 | Seedance 2 — רמת פרימיום עם אודיו מובנה. תמחור לפי שנייה, בהתאם לרזולוציה. |
| Seedance 2 Fast | Bytedance | תמונה לווידאו, טקסט לווידאו | החל מ-198 | הרמה הזולה והמהירה יותר של Seedance 2. |
| Seedance 2 Mini | Bytedance | תמונה לווידאו, טקסט לווידאו | החל מ-132 | הרמה החסכונית של Seedance 2 — 480p/720p בלבד, תמחור לפי שנייה בהתאם לרזולוציה. |
| Seedance 2.5 | Bytedance | תמונה לווידאו, טקסט לווידאו | החל מ-374 | Seedance 2.5 — עד 30 שניות בשוט אחד, אודיו מובנה ומגוון רחב של ייחוסים מולטימודליים. 480p/720p/1080p. |
| OmniHuman 1.5 | Bytedance | סנכרון שפתיים | החל מ-1,122 | אווטאר מדבר ברמת פרימיום, מונחה בפרומפט, מתמונה סטטית ואודיו. 720p / 1080p, עד 60 שניות. אנשים, חיות מחמד ואנימה. |
| InfiniTalk | InfiniTalk | סנכרון שפתיים | החל מ-121 | ראש מדבר מתמונה סטטית, שהאודיו מניע אותו. 480p / 720p. |
| Sync Lipsync v3 | Sync | סנכרון שפתיים | החל מ-1,100 | דיבוב של סרטון קיים — מסנכרן מחדש את השפתיים לרצועת אודיו חדשה. קלט וידאו, חיוב לפי שנייה. |
| Volcengine Lip Sync | Volcengine | סנכרון שפתיים | החל מ-330 | דיבוב AI מווידאו לווידאו — מסנכרן מחדש את השפתיים לרצועת קול חדשה. כמה דוברים (זיהוי סצנות וזיהוי דוברים) במצב הבסיסי. קלט וידאו, חיוב לפי שנייה. |
התפריט ספק מציע גם את HeyGen Lipsync Precision ואת Lipsync 2 Pro לדיבוב, ואת LatentSync, הטוב ביותר לשירה, את Wav2Lip, המהיר והזול ביותר, את Video-Retalking, עם שיפור פנים מובנה, ואת SadTalker. MiniMax H3 (minimax-h3) זמין דרך ה-API, ולא בתפריט ספק.
אורך האודיו
| מודל | אורך מרבי לאודיו |
|---|---|
| Kling Avatar, Kling Avatar Pro | 5 דק׳ |
| Volcengine Lip Sync | 5 דק׳ |
| HeyGen Lipsync Precision, Lipsync 2 Pro, Sync Lipsync v3 | 5 דק׳, כמגבלת השריון |
| OmniHuman 1.5 | 60 שנ׳ |
| InfiniTalk | 15 שנ׳ |
| Seedance 2 Fast | 15.2 שנ׳ לקליפ |
| Seedance 2.5 | 30 שנ׳ לקליפ |
ב-Kling Avatar, ב-InfiniTalk, ב-OmniHuman 1.5 וב-Volcengine Lip Sync, אודיו ארוך מהמגבלה מקוצץ לפני ההרצה. ב-HeyGen Lipsync Precision, ב-Lipsync 2 Pro וב-Sync Lipsync v3, המגבלה של 5 דקות היא מגבלת שריון הקרדיטים, לא קיצוץ: לקליפים ארוכים יותר, השריון הוא לפי מדרגת 5 הדקות. הרצות ארוכות ב-Kling Avatar וב-Volcengine Lip Sync יכולות להימשך עשרות דקות, והעורך ממתין עד כשעה.
קרדיטים
רוב המודלים גובים לפי שנייה, בעיגול כלפי מעלה למדרגת האורך הבאה. תגית הקרדיטים על הרכיב מתעדכנת כשמחברים את האודיו, כי הרכיב מודד את האורך שלו. כשהאורך לא ידוע, משוריינים קרדיטים לפי מדרגת 5 הדקות. הקרדיטים שמעבר לעלות בפועל מוחזרים כשהסרטון מוכן.
| מודל | 15 שנ׳ | 30 שנ׳ | 1 דק׳ | 2 דק׳ | 5 דק׳ |
|---|---|---|---|---|---|
| Kling Avatar (720p) | 330 | 660 | 1,320 | 2,640 | 6,600 |
| Kling Avatar Pro (1080p) | 660 | 1,320 | 2,640 | 5,280 | 13,200 |
| OmniHuman 1.5 | 1,122 | 2,233 | 4,455 | — | — |
| Volcengine Lip Sync | 330 | 660 | 1,320 | 2,640 | 6,600 |
| HeyGen Lipsync Precision | 561 | 1,111 | 2,211 | 4,411 | 11,011 |
| Lipsync 2 Pro | 693 | 1,375 | 2,750 | 5,500 | 13,739 |
| Sync Lipsync v3 | 1,100 | 2,200 | 4,400 | 8,800 | 22,000 |
- OmniHuman 1.5 מקבל לכל היותר 60 שניות של אודיו, ולכן רק המדרגות של 15 שניות, 30 שניות ודקה חלות עליו. הרזולוציה שלו לא משנה את המחיר.
- ל-InfiniTalk יש מחיר קבוע להרצה: 121 קרדיטים ב-480p ו-462 ב-720p.
- מודלי Seedance מתומחרים לפי שנייה, באותו אופן כמו ברכיב יצירת וידאו.
טיפים
- השתמשו בפורטרט ברור וחזיתי. איכות הפנים חשובה יותר מהרזולוציה: תמונה חדה ב-720p נותנת תוצאה טובה יותר מתמונה מטושטשת ב-4K.
- נקו את האודיו קודם. דיבור בלי מוזיקה ובלי רעש מסתנכרן הכי טוב. השתמשו ברכיב מחלץ קול כדי לבודד את הקול.
- הוסיפו תנועות קטנות. פרומפט תנועה כגון "slight head nods" (הנהונים קלים) מוסיף ריאליזם.
- דבבו לכמה שפות. תרגמו את הדיבור ברכיב דיבוב או בקריינות חדשה, ואז סנכרנו מחדש את השפתיים עם מודל דיבוב.
- קליפים קצרים זולים. בתמחור לפי שנייה, משפט קצר עולה מעט; שימו לב לתגית הקרדיטים אחרי שמחברים את האודיו.
דרך ה-API
כשקוראים ל-Sync Lipsync v3 או ל-Volcengine Lip Sync מה-API או מה-SDK, העבירו את audioDurationSec, אורך הפלט בשניות. בלעדיו, ההרצה מחויבת לפי מדרגת 5 הדקות, בלי החזר: 22,000 קרדיטים ב-Sync Lipsync v3 ו-6,600 ב-Volcengine Lip Sync. העורך וכלי ה-MCP מודדים את האודיו בשבילכם. ראו את דף ה-API הרצת רכיב יחיד.
שאלות נפוצות
מה צריך לחבר לרכיב סנכרון שפתיים?
רכיב סנכרון שפתיים צריך רצועת אודיו עם דיבור, ובנוסף תמונת פורטרט או סרטון, לפי המודל. מודלי פורטרט יוצרים סרטון חדש של ראש מדבר. מודלי דיבוב, כגון Sync Lipsync v3 ו-Volcengine Lip Sync, מסנכרנים מחדש את השפתיים בסרטון קיים לאודיו חדש.
איזה מודל לבחור ברכיב סנכרון שפתיים?
ברכיב סנכרון שפתיים, Kling Avatar Pro נותן את צורת הפה הטובה ביותר לפורטרט. InfiniTalk נותן שליטה ברזולוציה. OmniHuman 1.5 מציית לפרומפט תנועה ומנפיש אנשים, חיות מחמד ואנימה. לדיבוב של סרטון קיים, Volcengine Lip Sync הוא האפשרות המודרנית הזולה ביותר, והיחידה שמטפלת בכמה דוברים.
כמה קרדיטים עולה רכיב סנכרון שפתיים?
רוב המודלים ברכיב סנכרון שפתיים גובים לפי שנייה של אודיו, בעיגול כלפי מעלה למדרגת אורך של 15 שניות, 30 שניות, דקה, 2 דקות או 5 דקות. למשל, Kling Avatar עולה 330 קרדיטים ל-15 שניות, ו-Volcengine Lip Sync עולה 1,320 קרדיטים לדקה. ל-InfiniTalk יש מחיר קבוע להרצה.
מה האורך המרבי של האודיו ברכיב סנכרון שפתיים?
ברוב המודלים של רכיב סנכרון שפתיים, האודיו יכול להיות באורך של עד 5 דקות. InfiniTalk מקבל 15 שניות ו-OmniHuman 1.5 מקבל 60 שניות; במודלים האלה, אודיו ארוך יותר מקוצץ.
איך יוצרים ראש מדבר מטקסט?
חברו רכיב טקסט לדיבור לקלט אודיו של רכיב סנכרון שפתיים, ותמונת פורטרט לקלט פורטרט. רצועת הקול קובעת אז את תנועת השפתיים.
דפים קשורים
אווטאר AI
טקסט לדיבור
דיבוב
מחלץ קול
מודלי וידאו
עודכן לאחרונה