מסכת וידאו

רכיב מסכת וידאו עוקב לאורך סרטון אחרי נושא שאתם מתארים במילים פשוטות, ומחזיר סרטון מסכה בשחור־לבן. למסכה יש אותו אורך ואותו קצב פריימים כמו לקליפ. היא לבנה בכל פיקסל של הנושא, בכל פריים, ושחורה בכל מקום אחר. הרכיב מריץ את SAM 3.1 או את SAM 3.

המסכה היא סרטון רגיל, ולכן אפשר לחבר אותה לכל מקום שמקבל וידאו. השותף העיקרי שלה הוא רכיב שילוב לפי מסכה, שמשתמש במסכה כדי להציב את הנושא מסרטון אחד מעל סרטון אחר. המסכה מזינה גם את הקלט וידאו מסכה של רכיב תאורה מחדש והחלפה במצב מותאם אישית.

מתי להשתמש

• העברת נושא לסצנה חדשה, למשל רקדן לחוף ים, יחד עם רכיב שילוב לפי מסכה.
• החלפת הרקע מאחורי מוצר או אדם בקליפ.
• יצירת סרטון מאט מדויק ברמת הפריים למצב מותאם אישית של רכיב תאורה מחדש והחלפה.
• השארת הכול חוץ מנושא אחד, עם היפוך המסכה ברכיב שילוב לפי מסכה.
• פיקסול או טשטוש של פנים, לוחיות רישוי או מסכים, כשההגדרה מילוי ברכיב שילוב לפי מסכה מוגדרת לפיקסול או לטשטוש.

התחלה מהירה

קלטים

פלטים

לבן פירושו הנושא. רכיב יצירת מסכה, שיוצר מסכה לתמונת סטילס, משתמש באותו כלל, ורכיב שילוב לפי מסכה מצפה לו.

קליפ טלפון מסובב, קליפ עם קצב פריימים משתנה או קליפ שהצד הארוך שלו גדול מ-1920 פיקסלים, מומר קודם לקליפ זקוף, בקצב פריימים קבוע ובגודל של 1920 פיקסלים לכל היותר. המסכה מקבלת את הגודל הזה. רכיב שילוב לפי מסכה מותח את המסכה על הסרטון בגודל המלא, ולכן אין צורך לעשות שום דבר.

על המסכה אף פעם אין סימן מים, בשום תוכנית וגם לא במסלול החינמי.

הגדרות

מגבלות

• אורך: קליפים של עד 5 דקות ב-30 פריימים לשנייה.
• קצב פריימים: קליפ מהיר יותר נספר ארוך יותר באופן יחסי, כי המודל עובד פריים אחר פריים. קליפ ב-60 פריימים לשנייה נספר באורך כפול, ולכן הוא יכול להיות באורך של עד 2.5 דקות.
• קליפים ארוכים: קליפ ארוך מ-60 שניות ב-30 פריימים לשנייה מעובד בחלקים של 60 שניות, והחלקים מאוחדים פריים אחר פריים. המעקב מתחיל מחדש בתחילת כל חלק. המסכה כוללת את כל מה שמתאים לתיאור, ולכן ההתחלה מחדש כמעט לא ניכרת. כשהתיבה זיהוי מחדש אחרי כל חיתוך מסומנת, כל חיתוך מתחיל גם הוא חלק חדש, ושוט ארוך מ-60 שניות ב-30 פריימים לשנייה מפוצל באותו אופן. כשההגדרה זיהוי מחדש כל (שניות) מוגדרת, אורך החלקים הוא מספר השניות הזה, והמעקב מתחיל מחדש בכל אחד מהם בכוונה.

קליפ ש-Nodaro לא יכול לקרוא, או קליפ שחורג מהמגבלה, נדחה עוד לפני כל חיוב. קצצו קודם קליפ ארוך עם רכיב קיצוץ וידאו.

קרדיטים

המחיר נקבע לפי המודל ואורך הקליפ, כשהאורך נספר ב-30 פריימים לשנייה. האורך מעוגל כלפי מעלה לשנייה שלמה, אחרי שמתעלמים מחריגה של עד 0.05 שנייה מעבר לשנייה שלמה, וההרצה מחויבת לפי השורה הראשונה שמכסה אותו. למשל, קטע של 5 שניות ב-29.97 פריימים לשנייה הוא באורך 5.005 שניות, ומתומחר כ-5 שניות.

קליפ מהיר מ-30 פריימים לשנייה נספר ארוך יותר באופן יחסי. למשל, קליפ של 12 שניות ב-24 פריימים לשנייה נספר כ-12 שניות, ולכן ב-SAM 3.1 הוא עולה 160 קרדיטים. קליפ של 10 שניות ב-60 פריימים לשנייה נספר כ-20 שניות, ולכן ב-SAM 3.1 הוא עולה 314 קרדיטים.

לפני הרצה, הרכיב יודע מה אורך הקליפ רק כשהקליפ הנכנס מעביר לו אותו. למשל, האורך המוצהר של העלאה, החלון שנבחר ברכיב קיצוץ וידאו, או האורך שהוגדר ברכיב שיוצר וידאו. כשהקליפ הוא העלאה שמצהירה גם על קצב הפריימים שלה, הרכיב מציג את המחיר לפי האורך שנספר לפי קצב הפריימים, אותו כלל שלפיו ההרצה מחויבת. החישוב הזה עובד כשההעלאה מחוברת ישירות, או דרך רכיב קיצוץ וידאו, רכיב לולאת וידאו, או רכיב שילוב סרטונים שכל הקליפים שלו מצהירים על אותו קצב. למשל, העלאה של 10 שניות ב-60 פריימים לשנייה מתומחרת כ-20 שניות. כשאין קצב מוצהר, הרכיב מציג את המחיר של האורך הזה ב-30 פריימים לשנייה. כשהאורך לא ידוע, הרכיב מציג טווח: מ-55 עד 3,108 קרדיטים ב-SAM 3.1, ומ-28 עד 1,555 קרדיטים ב-SAM 3. ההרצה עצמה תמיד מודדת את הקליפ, כולל קצב הפריימים שלו בפועל, ומחויבת לפי השורה המתאימה.

טיפים

• השתמשו בצירוף שמני קצר. the dancer (הרקדן) עדיף על משפט ארוך שמתאר את הרקדן.
• הנמיכו את הסף כששום דבר לא מתאים. נסו 0.3 לפני שאתם כותבים מחדש את התיאור.
• קצצו לפני שאתם יוצרים מסכה. המחיר נקבע לפי אורך הקליפ, ולכן קצצו את הקליפ לרגע שאתם צריכים עם רכיב קיצוץ וידאו.
• בחרו ב-SAM 3 כדי לחסוך קרדיטים. SAM 3 עולה חצי מהמחיר של SAM 3.1. SAM 3.1 עוקב אחרי כמה אובייקטים במעבר אחד ורץ מהר יותר.
• נושא שיוצא מהפריים נמצא שוב. כשהנושא חוזר, המסכה עוקבת אחריו שוב. הפריימים שבהם הוא חסר נשארים שחורים, אלא אם התיבה החזקת המסכה כשהנושא אובד מסומנת.
• מסנני הגודל וההגדרה אזור פועלים לפני ההחזקה. פריים שנשארו בו רק אזורים קטנים, או שאין בו שום דבר בתוך האזור שהוגדר, נחשב ריק, ולכן ההחזקה חוזרת על הפריים האחרון שנשאר בו נושא. אם שום אזור באף פריים לא עובר את מסנני הגודל ואת ההגדרה אזור, התוצאה היא מסכה שחורה לגמרי, וההרצה מחויבת כרגיל.
• צרו מסכה לקליפ ערוך שוט אחר שוט. סמנו את התיבה זיהוי מחדש אחרי כל חיתוך כשיש בקליפ חיתוכים ונושא חדש מופיע אחרי חיתוך.
• תפסו נושא שמופיע באמצע שוט. קבעו בהגדרה זיהוי מחדש כל (שניות) את הערך 1 או 2 כשמישהו נכנס לשוט או מסתובב למצלמה באמצע.

פתרון בעיות

ההרצה נכשלת עם "No region matched the mask prompt on any frame" (שום אזור לא התאים לפרומפט המסכה באף פריים). שום דבר בסרטון לא התאים לתיאור שלכם. הקרדיטים שלכם מוחזרים. קצרו את התיאור לצירוף שמני פשוט, או הנמיכו את ההגדרה סף זיהוי.

הקליפ נדחה כארוך מדי. הקליפ ארוך מ-5 דקות ב-30 פריימים לשנייה, או שקצב הפריימים שלו גבוה יותר והוא נספר כארוך מזה. קצצו אותו עם רכיב קיצוץ וידאו והריצו שוב.

ההרצה נכשלת בהתקנה באירוח עצמי. בהתקנה באירוח עצמי, רכיב מסכת וידאו צריך מפתח לספק שמריץ את המודלים שלו. בלי המפתח, ההרצה נכשלת עם הודעה שמציינת זאת. ראו את הדף מפתחות ספק.

דרך ה-API

הנתיב POST /v1/video-mask מקבל את videoUrl, את prompt (עד 500 תווים; עם פסיקים אפשר לעקוב אחרי כמה נושאים), threshold אופציונלי מ-0.05 עד 0.95 (ברירת מחדל 0.5) ו-provider אופציונלי, sam-3.1 (ברירת המחדל) או sam-3. הנתיב מקבל גם את השדות האופציונליים holdLastMask (ברירת מחדל false), minSubjectHeightPct ו-maxSubjectHeightPct (0–100, ברירת מחדל 0, כלומר כבוי), zone ו-perShot (ברירת מחדל false). הערך של redetectEverySec הוא 0, ברירת המחדל, שפירושה כבוי, או ערך מ-1 עד 10. כל ערך אחר נדחה עם שגיאת 400. השדה zone הוא { leftPct, rightPct, topPct, bottomPct }, כל אחד מ-0 עד 49. צד שלא נשלח מקבל 0, והערך null, או 0 בכל הארבעה, מכבה את האזור. מינימום שגבוה מהמקסימום נדחה עם שגיאת 400. הנתיב מחזיר משימה. הפלט של משימה שהסתיימה כולל את videoUrl (המסכה), thumbnailUrl, width, height, frames, chunks, shots (1 כש-perShot כבוי), coverage, kept ו-recipe, ובנוסף את heldFrames כש-holdLastMask מופעל ואת droppedRegions כשמסנן גודל או אזור מופעלים. השדה chunks סופר את הבקשות שנשלחו למודל. השדה recipe הוא הגרסה של השיטה שיצרה את המסכה. הערך משתנה בכל פעם שאותו קליפ ואותן הגדרות היו נותנים מסכה אחרת, כך שאפשר לדעת מתי מסכה ששמרתם לשימוש חוזר כבר לא עדכנית. השדה coverage מעוגל ל-4 ספרות אחרי הנקודה. כדי להבחין בין מסכה ריקה למסכה קטנה מאוד, בדקו את kept: הערך הוא false רק כשמסנני הגודל והאזור לא השאירו שום דבר באף פריים. קליפ שאי אפשר לקרוא, או קליפ שחורג מהמגבלה, נדחה עם שגיאת 400 עוד לפני כל חיוב.

• SDK: videoMask({ videoUrl, prompt, threshold, provider, holdLastMask, minSubjectHeightPct, maxSubjectHeightPct, zone, perShot }). ראו את הדף מדיה והעלאות.
• MCP: הכלי video_mask מקבל את video_url או את video_asset_id, את prompt, ואת השדות האופציונליים threshold, provider, hold_last_mask, min_subject_height_pct, max_subject_height_pct, zone (left_pct, right_pct, top_pct, bottom_pct) ו-per_shot. מזהה המשימה שלו עובר ל-mask_composite בתור mask_asset_id. ראו את מדריך כלי ה-MCP.
• CLI: nodaro media video-mask <videoUrl> <prompt> [--threshold <n>] [--model sam-3.1|sam-3] [--hold-last-mask] [--min-subject-height <pct>] [--max-subject-height <pct>] [--zone <L,R,T,B>] [--per-shot]. למשל, --zone 10,10,5,5 משאיר רק את הנושאים שהמרכז שלהם נמצא בתוך השוליים האלה משמאל, מימין, מלמעלה ומלמטה. ראו את הדף פקודות מדיה וקול.

ראו את דפי ה-API הרצת רכיב יחיד ומשימות.