笑顔による顔の変化の例。笑顔の正確な認識には、顔全体の形状の詳細な解析が必要だ。 (c) Copyright OMRON Corporation

「3Dモデルフィッティング」による顔形状の測定。 (c) Copyright OMRON Corporation

フィッティング結果から笑顔度を測定。 (c) Copyright OMRON Corporation

それでは、この笑顔度の測定の技術的な背景を見てみよう。
笑顔度測定は「3Dモデルフィッティング」という技術がベースになっている。これはオムロンが既に開発していた技術で、大量の顔画像を分析して作られた「３次元顔モデル」を使って、目や口等の顔の器官の位置を正確に検出するものだ。仕組みを非常に簡略化して言うと、目を見つけたら、その真ん中やや下方にあるモノは鼻で、更にその下にあるのは口で…といった具合になる。３次元顔モデルは、目や眉、鼻、口等、顔の各箇所に付けられた印（しるし）を線で結ぶ事でできる“お面”のようなものを想像するとわかりやすいかもしれない。この“お面”を画像上の人の顔に当てはめ、お面を構成する無数の印の位置関係から判断して、その顔の各器官の形状を情報化し、顔の向きや各器官の位置等を判別するというわけだ。
人間の場合、顔の各器官の位置を見ながら、目や口の形状、顔のしわの形等顔全体にある特徴を読み取って、そこから笑顔や泣き顔等の表情を判断している。例えば人間が笑顔になった時の顔には「口角が上がる」「目尻が下がる」「口が開く」等の特徴がある。それだけでなく「目が細くなる」「鼻の脇にしわができる」等、顔全体がさまざまに変化する。ロボットの場合でも、こうした細かい情報を追加することによって、 人間のように相手の表情を判断できるようになるというわけだ。つまり「リアルタイム笑顔度測定技術」では、まず「3Dモデルフィッティング」の技術を使って顔の様子を高速に測定し、目や口の形状をリアルタイムにとらえる。次に、目や口の周辺については笑顔に特徴的な顔のしわ等の変化を詳細にとらえて、これらの変化を最新の統計的識別手法によって総合的に解析する事で、０〜100％という数値で表わされる正確な笑顔度の測定を実現しているのだ。

お話を伺った、オムロン株式会社 技術本部 センシング＆コントロール研究所 OKAOプロジェクトリーダの川出雅人さん。	「リアルタイム笑顔度測定技術」の開発メンバーである、オムロン株式会社 技術本部 センシング＆コントロール研究所 OKAOプロジェクトの小西嘉典さん。

では、実際にはこの技術はどういう場面で使われる事になるのだろうか。
「当社でも想定していたように、接客業での従業員教育や就業前の笑顔チェックに使えないかというお話はやはり多くいただきました。一方、こちらであまり想定していなかったところでは、メンタルヘルスケアの現場で使えないかというお問い合わせでした。心の病を患っておられる方々がリハビリ等を行なうのに笑顔が役に立つかもしれないという事で、現在、この分野での利用については大学等と共同で研究を進めているところです。それから、笑顔と真顔を繰り返す事で表情筋が鍛えられて美容に効果があるとの事で、そういった業界からもお問い合わせをいただいています」（オムロン株式会社 技術本部 センシング＆コントロール研究所 OKAOプロジェクトリーダ 川出雅人氏）
そもそもオムロンが、表情には喜怒哀楽という種類がある中で笑顔を選んだのは、人間の代表的な表情であるという理由だった。泣き顔では、世間からここまでの反応はなかったに違いない。笑顔を選んだことで結果的にはさまざまな方面からの反応を確認する事ができたことになる。オムロンでは、先述の他、デジタルカメラで最も良い笑顔を撮影するための機能やロボットとのコミュニケーション等に応用する事も想定している。

「OKAO Vision」による顔状態推定技術の今後の進化。 (c) Copyright OMRON Corporation

オムロンでは、顔からさまざまな情報を取得する技術を自社のコア技術の一つとして位置付け、1995年以来、他社に先駆けて技術開発を進めてきた。それが顔画像センシング技術の「OKAO Vision（おかおビジョン）」だ。「3Dモデルフィッティング」による顔器官位置検出の技術や「リアルタイム笑顔度測定技術」は、この「OKAO Vision」に長年取り組んできた事の成果なのだ。
「OKAO Vision」プロジェクトでは、「顔位置検出」「本人認証」「顔向き検出」「視線やまぶた･口の開閉検出」「年代･性別等の属性推定」といった事を可能にしてきた。そしてそれらは、携帯電話に搭載される個人認証機能やデジタルカメラのオートフォーカス機能、プリンタの美肌補正機能などに応用されている。その他にも色々な場面で使われているのだが、自社の名前を出さない契約で技術を提供していることが多く、オムロンという社名が表に出ることは珍しいとのこと。だが、オムロンはこの分野では世界のトップをリードする企業であるため、私たちは、知らないところでこの技術の恩恵を受けている可能性もありそうだ。
オムロンでは現在までの12年以上にわたる技術開発によって、顔状態推定技術の開発を進めてきた。これを更に進化させていくと、単に顔の位置や形状がわかるといった事にとどまらず、笑顔度測定技術も含めた表情の推定、更にはより高度な感情理解へとつながっていくのだという。これはまさしく、機械が人間の感情を読み取ってくれて、こちらの気持ちが伝わるという事だ。人間とロボットが心を通わせて、本当のパートナーとして一緒に生活する未来は意外に近いところまで来ているのかもしれない。