Oligur

• ニュース

Appleが火曜日に発表した数々の機能の中で、私にとって最も印象的だったのはiPhone 13の新機能「シネマティック」モードです。被写界深度効果によって、被写体間のフォーカスの切り替えが驚くほど美しく表現されます。

Appleは基本的にiPhone 13にAI撮影装置を組み込んだ。

フーダニット

シネマティック モードは、従来のカメラやレンズで実現できるものに匹敵するかそれを超える驚くべき写真効果を生み出すためにデジタル処理を活用する、コンピューテーショナル フォトグラフィーの新しい時代を象徴するものです。

iPhone 13のビデオカメラはシーンを継続的に分析し、被写体がフレーム内に入ったことを認識してフォーカスすることができます。

被写体が何かを見るために顔を横に向けると、カメラは自動的に被写体の視線にフォーカスを合わせます。その名の通り、非常にシネマティックな撮影方法ですが、これはソフトウェアによって自動的に行われます。

Appleは、新型iPhone 13で完全に撮影された短編映画でシネマティックモードを披露した。以下でご覧ください。

1:02のショットを見てください。犬が後ろに立っている執事の方を向いているところです。最初は犬にフォーカスが当てられ、次に執事にフォーカスが当たります。これは私たちのような一般ユーザーが簡単に試せるショットでしょう。もしAppleのような結果が出れば、素晴らしいホームムービーになるでしょう。

決して小さな偉業ではない

Appleは、iPhoneにシネマティックモードを導入することは「決して簡単なことではなかった」と述べている。

まず、システムは大量の深度データを生成し、シーン内のすべての人物、ペット、場所までの正確な距離を把握します。これを30fpsで継続的に実行します。次に、ハリウッドの撮影監督とフォーカス調整者を兼任するようにトレーニングされたニューラルエンジンが、焦点を合わせる対象を継続的に判断し、焦点が変化した場合にはスムーズなフォーカス遷移を適用します。

「機械学習アルゴリズムを実行し、オートフォーカスの変更をレンダリングし、手動でのフォーカス変更をサポートし、ドルビービジョンで各フレームをグレーディングするすべての作業をリアルタイムで行うために必要な計算能力は驚異的です」と同社はウェブサイトで述べている。

しかし、すべてが厳密に自動というわけではありません。撮影時にシステムを制御したり、後で編集中に調整したりすることもできます。

計算写真の新時代

iPhone 13のシネマティックモードは、カメラが何を見ているのかを認識している点で印象的です。これは、以前から存在するコンピュテーショナルフォトグラフィーにとって大きな進歩です。初期の例としては、ソフトウェアで合成するデジタルパノラマや、露出の異なる複数の画像を1枚の画像に合成するハイダイナミックレンジ写真などが挙げられます。

カメラがはるかに興味深く複雑な計算を実行できる時代に入りつつあります。例えば、ライトフィールド効果（シーンに3D情報を追加する）は、印象的なポートレート効果を生み出したり、ポストプロダクションでボケを調整したりすることを可能にします。

iOS 15でまもなく導入されるAppleの新機能「Live Text」も、同様に素晴らしい機能です。画面上のテキストを認識し、切り取ったり他のアプリに渡したり編集できるようになります。iOSベータ版で試してみたのですが、まさに奇跡的です。私のひどい、蜘蛛の巣のような手書き文字でさえ、（ある程度）認識してくれます。

また、iOS 15 に搭載された Visual Lookup では、写真ライブラリ内の植物、動物、ランドマーク、アート作品などのオブジェクトを識別できます。

これらの例すべてにおいて、カメラは単なるガラスと金属の塊ではありません。内蔵AIは、シーン内の物体やオブジェクトを認識できます。しかも写真だけでなく、動画でもリアルタイムで動作します。

シネマティックモードがAppleのデモのように実生活でもうまく機能するかどうかはまだ分からない。しかし、実に素晴らしいアイデアだ。アップルが、スリムなスマートフォンに巧みに偽装した驚異的なカメラをどこまで進化させられるのか、期待が膨らむ。