マルチモーダルデータ活用の4つのフレームワークと活用事例
マルチモーダルデータを活用しようとした時、課題となるのが、異なる非構造化データは簡単に統合ができず、特徴量エンジニアリング（人為的にAIの予測精度を上げるため用いる技術）が難しいことだ。そこでフレームワーク化がなされ、特に次の4つについては具体的な活用が進んでいるという。
1．マルチモーダルインターフェイスデータ活用
カメラやセンサー、レコーダーなど様々なインターフェイスから得られる画像・音声・テキストなどの解析データを組み合わせた機械学習のこと。たとえば、映画を見せて、カメラから人々の表情を、センサーで汗や体温などのデータを収集し分析することで、いつどのようなシーンでどのような感情になったのかがわかり、ある感情を抱いた場面だけを抽出することもできる。
DATAFLUCTでは、動画とドキュメントのデータを融合させ、自律学習を定着させるアクティブラーニング型のオンライン学習プラットフォームとして実装しているという。盛り上がったグループワークや動画コンテンツなどが抽出でき、オンラインのミーティングなどへの活用も可能だ。
画像クリックで拡大表示
2．マルチモーダルサービスデータ活用
複数のサービスから得られるデータを組み合わせて最適なサービスを実現するというもの。具体的には、オンデマンドやレコメンド、マッチングなどが可能となり、既にMaaSでの最適マッチングへの構想も進んでいるという。
DATAFLUCTでは、SNSとクライアントシステムのデータを掛け合わせた機械学習に取り組んでいる。たとえば、SNSのマーケティングで効率化を図ろうとした時、複数メディアの効果はわかりにくい。そこでそれぞれのデータをCSVベースでインポートして統合することで、SNSの指標がKGIに与えた影響を自動的に評価し、表示するというサービスを開発した。どの投稿で効果があったのか、内容を高度な自然言語処理によって分析し、反応の良し悪しへの影響を可視化できるという。
画像クリックで拡大表示
3．マルチステークホルダーデータ活用
関係するステークホルダーが多い場合、データを活用して全体最適化を図ろうというもの。たとえば、MaaSの場合、タクシーや物流、駐車場、店舗、自治体などのステークホルダーに対し、都市の最適化として「二酸化炭素の削減」が求められる時、全体的なアルゴリズムを見出して運用するなどの試みが行われている。
DATAFLUCTでもフードサプライチェーンにおいて同様の取り組みを行っているという。たとえば全体のフードロスを減そうとした時、データを活用した機械学習による需要予測・供給予測を行う。なお上流向けに、衛星データの分析に加えて、栽培や気象、価格などを活用した「収量予測ソリューション」を提供しており、消費者というステークホルダーを含めて分析した「市場取引価格予測」も人気が高い。
画像クリックで拡大表示
4．マルチレイヤー型データ活用
地理空間や経済空間、人間活動空間、時系列など、異なる次元（ディメンション）・レイヤーのデータを組み合わせて活用するというもの。たとえば、あるエリア空間に、地価や商圏、道路などの情報を紐づけた「マルチレイヤー」による物件データがあるとして、そこに人流や気象データなど時間で変化する時系列データを掛け合わせることで、未来の店舗や客数予測がかなうという。
DATAFLUCTでは、ある商圏で物件を選ぶと自動的に売上の予想がかなう「AI商圏分析サービス」を提供している。地図上である物件を選ぶと推定売上に加えて競合店の推定売上を表示すると同時に、それらから出店余地を算出し、商圏をヒートマッピングするという。他にも次元が異なるデータを掛け合わせて発注量をシミュレートできるサービスなども提供している。
画像クリックで拡大表示
「元々DATAFLUCTは、衛星画像分析から事業を開始したこともあり、衛星画像を重ねることでエリアの変化を見ることを得意としてきた。エリアの変化を時系列で追いかける『4次元サイバーシティ』※のノウハウで都市計画や収穫予測、人口や交通量の推定など、社会問題解決に寄与したい」と久米村氏は語った。
※4次元サイバーシティ：衛星データによる3次元空間内の情報の把握と、AI解析による時間変化の自動抽出等により、4次元（3次元＋時間軸）的に様々な情報の分析を可能とするもの。
