סנכרון אודיו

רכיב סנכרון אודיו מודד, לפי הסאונד, כמה רחוקים זה מזה השעונים של 2–6 הקלטות של אותה שיחה. פודקאסט מוקלט לעיתים קרובות בכמה מכשירים במקביל: מצלמה לכל אורח, שוט רחב ומיקרופון ראשי, וכל אחד מהם מתחיל להקליט ברגע אחר. רכיב סנכרון אודיו מאזין לכל ההקלטות ומדווח בכמה כל הקלטה מוזזת ביחס להקלטת ייחוס אחת. כך עריכה מכמה מצלמות מסתנכרנת בלי שמישהו יצטרך להקליד היסטים.

הרכיב רץ מקומית, בלי מודל AI ובלי מפתח ספק, ולכן הוא עובד בכל מהדורה.

מתי להשתמש

• ליישר פודקאסט שצולם בכמה מצלמות, עם מצלמה לכל אורח ומיקרופון ראשי, לפני שמתכננים את העריכה.
• למצוא את ההיסט של מקליט אודיו נפרד, כגון מקליט שמונח על השולחן, ביחס לסאונד של המצלמה.
• לבדוק אם השעונים של שני מקליטים מתרחקים זה מזה לאורך הקלטה ארוכה.

התחלה מהירה

קלט ופלט

כל הקלטה מזוהה לפי הרכיב שהיא מגיעה ממנו. המזהה של הרכיב הזה הופך ל-sourceId של ההקלטה בתוצאה, והוא גם המזהה שתוכנית עריכה נותנת לאותה הקלטה.

הפלט, היסטים, הוא נתונים, לא אודיו. חברו אותו לקלט היסטים (סנכרון אודיו) של רכיב תוכנית עריכה, שמיישר בעזרתו עריכה מכמה מצלמות, או לרכיב אחר שקורא נתונים, כגון רכיב חילוץ שדה.

הגדרות

איך הרכיב מודד

הרכיב משווה כל הקלטה להקלטת הייחוס בשלושה שלבים:

1. שלב גס. הרכיב משווה את עוצמת הקול לאורך שתי ההקלטות המלאות. כך הרכיב מוצא את ההזזה בכל מרחק, גם כשמצלמה התחילה להקליט כמה דקות לפני המיקרופון.
2. שלב מדויק. הרכיב משווה את צורות הגל סביב התשובה הראשונה, בחלונות של 10 שניות, שלושה לכל היותר, מתוך הקטע ששתי ההקלטות חולקות. כל תדר מקבל משקל לפי הפאזה שלו, ולכן מצלמה שנמצאת בצד השני של חדר עם הד מתוזמנת לפי הצליל הישיר ולא לפי ההד. הקלטות נקיות מגיעות לדיוק של כאלפית שנייה, והקלטות עם הד בדרך כלל לדיוק של כמה אלפיות שנייה.
3. סחיפה. השעונים של מקליטים נפרדים רצים במהירויות שונות במעט, בדרך כלל בהפרש של 20–100 חלקים למיליון. הרכיב מתאים קו ישר להיסטים של החלונות, והשיפוע של הקו הזה הוא הסחיפה. הרכיב מודד סחיפה של עד 200 חלקים למיליון.

הזמנים נקראים לפי השעון של כל קובץ, אותו שעון שלפיו חותכים עריכות. סרטון שהסאונד שלו מתחיל אחרי התמונה נמדד כשהפער הזה נשאר במקומו.

קריאת התוצאה

הפלט היסטים נראה כך:

{
  "version": 1,
  "reference": "mic",
  "offsets": [
    { "sourceId": "mic", "offsetMs": 0, "confidence": 1, "driftMsPerHour": 0 },
    { "sourceId": "camA", "offsetMs": 7500, "confidence": 0.94, "driftMsPerHour": 1.2 },
    { "sourceId": "camB", "offsetMs": -40000, "confidence": 0.91, "driftMsPerHour": null }
  ],
  "notes": []
}

כלל ההיסט

זמן הייחוס = זמן ההקלטה + ההיסט. זה אותו כלל סימנים שרשימת עריכה משתמשת בו. כשהייחוס הוא ההקלטה הראשית שלכם, כל היסט הוא בדיוק הערך שההקלטה שלו מקבלת בעריכה.

• למצלמה שהתחילה להקליט 7.5 שניות אחרי המיקרופון יש היסט של +7500: השנייה 0 שלה היא השנייה 7.5 של המיקרופון.
• למצלמה שהתחילה להקליט 40 שניות לפני המיקרופון יש היסט של -40000.

רמת ביטחון

• כשהקטע המשותף נמשך 6 דקות או יותר, הרכיב מודד שלושה חלונות. כשההפרש בין החלונות הוא עד אלפית שנייה, ההיסט נחשב אמין, עם רמת ביטחון של 0.6 לפחות, גם במצלמה שנמצאת בצד השני של חדר עם הד. התאמה חדה מעלה את רמת הביטחון ל-1. כשההפרש בין החלונות הוא 5 אלפיות שנייה או יותר, רמת הביטחון היא 0.
• בקטע משותף קצר יותר יש חלון אחד בלבד, ולכן גם ההתאמה בחלון הזה וגם היישור הכולל חייבים להיות ברורים.
• רמת ביטחון נמוכה היא תוצאה, לא כשל. למצלמה שהמיקרופון שלה היה כבוי אין מה ליישר, וההרצה בכל זאת מסתיימת.

הערות

קרדיטים

רכיב סנכרון אודיו עולה 11 קרדיטים לכל הקלטה שמיושרת מול הייחוס. הייחוס עצמו לא מיושר מול שום דבר, ולכן הוא לא עולה כלום. אורך ההקלטות לא משנה את המחיר.

על הקנבס, המחיר נקבע לפי מספר ההקלטות שמחוברות לקלט מקורות. אומדן שנעשה בלי החיבורים של התהליך נותן את המחיר של 6 הקלטות, 55 קרדיטים, כדי שהאומדן לעולם לא יהיה נמוך מדי. מהדורות Community ו-Business באירוח עצמי לא משתמשות בקרדיטים.

דוגמאות

מיקרופון ומצלמה אחת. המצלמה התחילה להקליט 7.5 שניות אחרי המיקרופון. בתוצאה, ההיסט של mic, הייחוס, הוא 0, וההיסט של cam הוא +7500. ההרצה עולה 11 קרדיטים.

מיקרופון ושלוש מצלמות. מצלמה A התחילה להקליט 7.5 שניות אחרי המיקרופון, מצלמה B התחילה 40 שניות לפניו, ומצלמה C, שמקליטה ב-44.1 kHz, התחילה 3.25 שניות אחריו. בתוצאה, ההיסט של mic הוא 0, של camA הוא +7500, של camB הוא -40000 ושל camC הוא +3250. ההרצה עולה 33 קרדיטים.

שש הקלטות, עם מצלמה A כייחוס. אותם היסטים נמדדים במקום זאת לפי השעון של מצלמה A. כל ערך זז בהיסט של מצלמה A עצמה, וההיסט של camA הוא 0. ההרצה עולה 55 קרדיטים.

סחיפה. שני מקליטים שהשעונים שלהם שונים ב-100 חלקים למיליון מתרחקים זה מזה ב-360 אלפיות שנייה בשעה. לאורך קטע משותף של 40 דקות, ההפרש מגיע ל-240 אלפיות שנייה, הרבה מעל הסף של 33 אלפיות שנייה. הערך המוחלט של driftMsPerHour הוא כ-360, והסימן שלו אומר לאיזה כיוון ההקלטה זזה. הערה מזהירה שבקצוות הסטייה מגיעה עד 120 אלפיות שנייה. שום דבר לא מתוקן.

מגבלות

• בין 2 ל-6 הקלטות בכל הרצה. עם פחות או יותר, ההרצה נדחית לפני שהיא מתחילה, ולא משוריינים קרדיטים.
• סאונד משותף. ההקלטות צריכות לחלוק לפחות 2 שניות של סאונד. הקלטה בלי סאונד משותף מקבלת הערה ורמת ביטחון 0.
• לייחוס חייב להיות סאונד. הייחוס הוא השעון שלפיו נמדד כל השאר. כשאין לייחוס רצועת אודיו, ההרצה נכשלת עם הודעה שמציינת אותו. כל הקלטה אחרת בלי סאונד רק מקבלת שורה משלה עם רמת ביטחון 0.
• הסחיפה מדווחת, לא מתוקנת.
• קבצים ארוכים. בהרצה הראשונה, ההקלטה מורדת במלואה. הקובץ יכול להגיע ל-64 GB, וההורדה יכולה להימשך עד שעה. קובץ שהגודל שלו ידוע חייב להגיע בתוך הזמן שלוקח להוריד אותו בקצב של 2 MB/s (16 Mbit/s); הזמן הזה הוא לפחות 2 דקות ולכל היותר שעה. אחרי 2 הדקות הראשונות, ההורדה חייבת להמשיך להגיע בקצב של כ-2 Mbit/s או יותר. אם היא איטית מזה במשך דקה שלמה, ההורדה מבוטלת. הרצות מאוחרות יותר משתמשות שוב באודיו שכבר הוכן.

טיפים

• הפכו את המיקרופון הראשי לייחוס. חברו אותו ראשון, או בחרו אותו תחת ייחוס. כך קל לקרוא את המספרים: ההיסטים שנמדדים מולו הם בדיוק הערכים שהעריכה מקבלת.
• בדקו בהאזנה היסטים עם רמת ביטחון נמוכה. רמת ביטחון נמוכה אומרת בדרך כלל שההקלטה כמעט לא שמעה את השיחה, למשל מצלמה מושתקת או שוט רחב מרוחק בחדר רועש.
• בדקו את הערות הסחיפה בפרקים ארוכים. סחיפה של יותר מפריים אחד אומרת שהסנכרון בין השפתיים לסאונד הולך ומשתבש לאורך הפרק, גם כשההתחלה מסונכרנת.
• סנכרנו את העריכה. חברו את הפלט היסטים לקלט היסטים (סנכרון אודיו) של רכיב תוכנית עריכה, ואת אותן הקלטות לקלט מקורות שלו. רכיב תוכנית עריכה מעביר כל היסט לשעון של המאסטר שלו, ולכן כל הקלטה יכולה לשמש כאן כייחוס. הרכיב נעצר לפני כל חיוב כשהקלטה שהוא משתמש בה לא נמדדה, או שההתאמה שלה חלשה. ראו את הסעיף הקלטות מכמה מצלמות בדף תוכנית עריכה.
• התחילו מהתבנית Multicam Cut. התבנית Multicam Cut בשוק התבניות מגיעה מחוברת כך, כשאודיו המאסטר משמש כייחוס. משם התהליך ממשיך דרך רכיב מחליף מצלמות אל רכיב החלת רשימת עריכה, שמרנדר את הסרטון הערוך.

דרך ה-API

הנתיב POST /v1/audio-sync מקבל את sources, רשימה של 2–6 אובייקטים, לכל אחד מהם id ייחודי ו-url, ואת reference האופציונלי, שחייב להיות אחד מהמזהים. מזהה שחוזר פעמיים, או ייחוס שהוא לא אחד מהמזהים, נדחה עם 400 validation_error שמציין אותו. ה-output_data.json של הרצה שהסתיימה הוא התוצאה שלמעלה. המתודה ב-SDK היא client.edit.audioSync, הפקודה ב-CLI היא nodaro edit audio-sync, וכלי ה-MCP הוא audio_sync. ראו את דף ה-API קול ומדיה.