Чому від 3d болить голова - частина 7 зсув у часі між ракурсами

S3D: No pain IS gain

Сьогодні мова піде про проблеми, яка чомусь дуже рідко згадується, але при цьому регулярно зустрічається у фільмах - приблизно в 10 разів частіше переплутаних ракурсів - зсуві в часі між ракурсами. Шукати цю проблему - вельми нетривіальне завдання з точки зору комп'ютерного зору. Однак в підсумку нами був створений алгоритм, який дозволяє виявити зрушення з точністю до 0,1 кадру. В результаті було знайдено більше 500 проблемних сцен в 27 фільмах з 105 проаналізованих. Найбільші зрушення - на 1-2 кадри, найменші - на 0,1 кадру. Цікаво, що зсув у часі - одне з найболючіших артефактів після переплутаних ракурсів. Чому таке відбувається, як виглядає, сильно чи помітно і чи можна виправити, буде розказано далі.

Звідки в стерео береться зсув у часі

Свого часу, коли стереографери скаржилися вашому покірному слузі на зсув у часі і пропонували зайнятися розробкою методів автоматичного виявлення проблеми, робити це дуже не хотілося. Здавалося - ну пройде рік-другий, будуть вирішені дитячі проблеми синхронізації і про "рассінхрон" можна буде забути як про страшний сон. Тим більше, що алгоритмічно його виявлення - дуже нетривіальне завдання. Однак роки йшли, а проблема залишалася.

Причому рассинхронизация ракурсів зустрічається у документалістів, дуже часто знімають на дешеві стереорігі, що в загальному-то очікувано. Інтерфейси синхронізації технічних параметрів зйомки в стерео мають тільки досить дорогі камери. Але коли на CG-Event розповідали, що при зйомці "Сталінграда" на дорогі орендовані у великої голлівудської студії професійні стереорігі дані про час в метаданих кадрів розрізнялися на 4 кадри, і вирівнювання робили вручну по "хлопушке" ... і на заході це досить часта ситуація , про що регулярно згадують професіонали. Загалом, стало зрозуміло, що проблемою треба займатися. Якщо в студіях все ще вирівнюють вручну, це означає, що неминучі помилки людей, а значить зсув у часі між ракурсами потраплятиме в фільми на екрани кінотеатрів.

Документалісти розповідають про зовсім вже феєричні ситуації, коли вони одночасно купують дві камери з однаковими акумуляторами, знімають по горах і лісах і в процесі переглянуто знятого матеріалу вже вдома виявляють, що камери іноді (мабуть, коли один з акумуляторів сідав сильніше) починають розходитися по частоті кадрів (!). Тобто прямо під час дубля одна камера тікає вперед в порівнянні з другою. У таких випадках в повітрі густо повисає зміг з трибуквених англійської абревіатури ( "WTF."), Що приблизно і з втратою сенсу перекладається: "Як вони це зробили?";)

Отже! У нас на руках дорогий професійний клунь орендований в голлівудської студії стереоріг з двома роздільними камерами. Далі із загадкових причин, про які історія замовчує (у камер немає інтерфейсу синхронізації, при зйомці забули сінхронізіровавать годинник камер і т.д.), час ракурсів розходиться. Що робити? Рішення знайдеться завжди! )

Сьогодні на знімальному майданчику почали використовувати хлопавки з електронним таймером:

Однак уважний Новомосковсктель, думаю, вже готує питання: "А що якщо розбіжність не в цілий кадр, а в полкадра? Таке можливо?". Відповідь вас не потішить - таке не тільки можливо, але і досить часто зустрічається.

Приклад зсуву в часі стереопари на хлопушке (для зручності хлопавка зрушена до рівня екрану). Зверніть увагу, що фільм - 48 FPS, тобто 48 кадрів в секунду, тому часове зрушення в гіршому випадку при виправленні буде в два рази менше. Проте, на руці добре видно розбіжність в русі по вертикалі

Відповідь на питання: полкадра - це багато чи мало? Добре видно, що "стара" хлопавка на 24 кадру не встигає змінити номер кадру за два кадри 48 fps на одному з ракурсів (в ньому номер змінюється кожні два кадри) ... Мда, для 48 fps пора випускати нові хлопавки!

Власне, розбіжність рівно в кадр або два кадри добре тим, що воно дуже просто виправляється. Для непрофесіоналів це може прозвучати дивно, але різниця в одну десяту кадру також виправляється відносно легко. І як раз різниця в полкадра виправляється найскладніше. Втім, про виправлення - пізніше. Запам'ятаємо тільки, що якщо проблему вчасно зловили, вона можлива.

Природно виникає питання: а наскільки взагалі помітно розбіжність у часі? Інтуїтивно зрозуміло, що при розбіжності в часі на будь-якому вертикальному русі ми будемо бачити "неможливу" картинку. Але наскільки це дискомфортно? Може бути мозок. як люблять говорити деякі практики, "легко це компенсує"? Рівно о ці тижні, коли пишеться ця серія статей, нами готується один з вельми цікавих експериментів - порівняння рівня дискомфорту від окремих вимірюваних нами артефактів стерео:

Один з тестових прогонів. Людина готується до того, щоб протягом години дивитися спеціальний фільм, в якому зібрані сцени з різним рівнем різних артефактів. На голові у нього - електроенцефалограф, на задньому плані тортур стільці спеціальні зручні крісла з веб-камерою, яка знімає емоції особи, трекером рухів очей і поліграфом. Зосереджений вираз обличчя людини викликано тим, що це його останні хвилини без головного болю в цей день. Прогони виконуються на обладнанні компанії "Нейротренд", за що їм величезне спасибі.

Загалом, ми працюємо над тим, щоб наші респонденти страждали не дарма і загальна кількість дискомфорту від 3D фільмів зменшувалася. Ці роботи публікуються англійською і, як мінімум, західні стереографери з великим інтересом і вельми позитивно реагують на наші нові результати.

Зрушення в часі при вертикальному русі

Якщо в сцені було вертикальний рух, то при зсуві в часі ми отримуємо "неможливе" зображення, вельми дискомфортний для нашого мозку:

На цій сцені глядач буде чітко бачити "неможливе" зображення. Цікаво, що хоча фільм 1954 року народження, проблему можна було легко виправити, так як 0,042s - це якраз зрушення на 1/24 секунди, тобто на один кадр

Таблиця відсортована по зведеної величиною, пропорційної розміру зсуву в часі і тривалості містить його сцени.

Які можна зробити висновки по таблиці:

Цікаво подивитися статистику розподілу числа сцен з різним зсувом за часом (в кадрах):

Добре видно, що досить багато сцен мають вельми невеликий зсув близько 0,2 кадру, однак є пік в районі 1 кадру і в районі 2 кадрів. Причому якщо відняти 218 сцен фільму "Creature from the Black Lagoon" (на який припадає майже половина сцен), виходить така картина:

Як видно, кардинальної зміни характеру зрушень в інших 26 фільмах не відбувається, тобто після 1954 року великих змін в характері зрушень не відбулося

Також нагадаю, що самий "неприємний" в плані виправлення зрушення - це зрушення на полкадра. За гистограмме видно, що таких зрушень відносно небагато. Відповідно, маючи кошти перевірки, відносно легко можна поліпшити ситуацію для досить великої кількості сцен.

Тенденції для зсуву в часі

Традиційно подивимося, як змінюється ситуація по роках:

По бюджету ситуація також вельми очікувана:

Левова частка проблем доводиться на фільми з бюджетом менше $ 500 за хвилину фільму. У високобюджетних фільмів, які використовують дорогі якісні камери, проблем рассинхронизации фактично немає.

Виправлення зсуву в часі

Уже традиційно наведемо приклади виправлення проблеми. Про виправлення рассинхронизации можна написати окрему серію статей. В основі виправлення - алгоритм зсуву кадру в часі, при цьому виникає маса проблем, особливо з напівпрозорими областями. Втім, почнемо з простих випадків:

Вкрай дискомфортно сцена з рендерингом з фільму "Діти Шпигунів 3D" - зрушення на 2 кадри

Як видно, з нього досить легко можна отримати абсолютно комфортне стерео

Приклад явно дискомфортного зсуву на один кадр з азіатського фільму

Виправляється також легко і майже ідеально. Видно, що легкий поворот залишається через нескомпенсованого невеликого зсуву. Також в цьому прикладі виправлені кольору (добре видно по далекій руці і підлозі над столом) і невеликий вертикальний зсув (видно по ліктя в кутку). На жаль повністю виправити відблиски в цьому випадку досить складно (чому вони з'являються і про їх виправлення см. Шосту частину циклу)

Більш складний приклад, при якому використовувалася компенсація зсуву в часі, тобто зрушення часового ряду кадрів

Виправлений кадр - практично ідеальний за часом, також виправлений вертикальний зсув і помітна різниця за кольором

Приклад, який буде явно дискомфорт, через те, що собака повертається

В даному прикладі виправлені зрушення за часом, геометричні спотворення (поворот кадру) і спотворення кольору. Для зручності оцінки кадр зміщений до рівня екрану. Цікаво, що після виправлення кадр став практично плоским і тільки відблиски видають зйомку в стерео. Тобто, використовуючи конвертацію, вони могли отримати результат набагато краще. У фільмах з великим бюджетом для таких сцен використовують бім-спліттер (див. П'яту частину) або конвертацію (буде в дев'ятій частині :) Проте дискомфорт серйозно знижений.

Зрушення на півтора кадру. Також має місце бути помітна різниця за кольорами між ракурсами

Спеціально для тих, кому цікаво "заглянути під капот" - виправлення просто зрушенням на один кадр, з правкою кольору і геометрії. Тобто залишився зрушення на полкадра. Стало значно краще (футболка і дах машини не так сильно змінюються за кольорами), але ще не ідеально (видно обертання сцени, що залишилося від руху камери). Зокрема навіть на зменшеному кадрі добре видно, як змінюється за масштабом молода людина праворуч. На великому екрані кінотеатру це "невелика зміна" буде "бити по очах".

І, нарешті, на останньому прикладі виправлений і зсув у часі на полкадра. Добре видно, що тепер всі троє молодих людей знаходяться на покладеної глибині без спотворень через рух камери - молода людина і дівчина - ближче всіх, людина праворуч - подалі. Відблиски частково залишилися і заважають, але це вже питання до оператора. Порівняйте цей кадр з оригінальним і відчуйте різницю.

Як бонус для дочитали до цього місця. Нижче пара загадок для тих, хто вірить написаному на цінниках. )

Уважний Новомосковсктель напевно детально вивчає технічні характеристики різних пристроїв. У тому числі бачив цінники, типу цього (фото не нове):

Зліва, як можна бачити, чорним по білому написано: "Частота оновлення: Чим більше Гц (Герц), тим більше кадрів в секунду буде відображатися", а праворуч красуються горді "3000 Гц"

Далі буде. Stay tuned! )

Всім поменше головного болю взагалі і від 3D зокрема!

Подяки

Хотілося би сердечно подякувати: