今年のお盆は「AR帰省」！？離れて暮らす家族へ子供の成長をARで届けよう！ARで成長記録アプリ「せいくらべ」、バージョンアップ。

バージョンアップによって、2D撮影&測定機能の背景切り抜き精度が大幅アップ！LiDAR搭載iPhoneの3D撮影&測定機能も撮影スピードが改善しました。

株式会社無重力（代表取締役：六反孝幸）は、ARを利用した子供の成長記録アプリ「せいくらべ」のバージョンアップを行いました。
このバージョンアップによって、2D撮影&測定機能の背景切り抜き精度を大幅改善。
LiDAR搭載iPhoneの3D撮影&測定機能も撮影スピードが改善しました。

共有機能を活用して、この夏、帰省できない方も、離れて暮らす祖父母などの家族のもとへ孫を「AR帰省」させて、大きくなった姿を見せることができます。

是非、この機会にお試しください。
https://seikura.be/

アプリ概要

「せいくらべ」は、ARを利用した子供の成長記録アプリです。
https://seikura.be/

写真撮影と身長計測を同時に行い子供の成長を記録します。
記録したデータは原寸大でAR表示し、成長を実感することができます。

子供は、ARで過去の自分と「せいくらべ」することも可能です。
iPhoneの画面をテレビなどに画面共有することで子供と一緒にARデータを見ながら楽しむこともできます。

また、記録したデータはアプリを利用していない方へもWebARを用いて共有できる機能を搭載しています。
WebAR共有機能を活用して、URLを共有するだけで子供の成長を祖父母などの離れて過ごす家族へ届けることができます。

iPhone12 ProなどのLiDARスキャナを搭載している端末では高精度の身長計測と3Dデータによる撮影、ARデータ生成が可能です。

ダウンロード

AppStore URL：https://apps.apple.com/jp/app/id1528614716
アプリ紹介サイト：https://seikura.be/

ARで「帰省」を

祖父母などの離れて暮らす家族へも子供の成長を共有することを想定して、アプリを利用していない方でも共有URLを受け取るだけでWebAR技術を用いてAR表示可能が可能です。
計測同様、WebARにおける表示サイズの精度も利用端末の影響を受けてしまうため誤差は出てしまいますが、写真とは違った臨場感のある形での成長記録の閲覧を可能にしています。

長引くコロナウイルス感染症の影響で、実家への帰省をしばらくできていない家庭も多いのではないかと思います。今年の夏は帰省できない方も、離れて暮らす祖父母などの家族のもとへ孫をせめて「AR帰省」させて、大きくなった姿を見せるためのツールとして活用いただければ幸いです。

WebAR共有機能による共有用URLサンプル
https://seikura.be/watch?v=B2BE3EF6-1A7C-4132-90EA-31DC3A64AF68

「対応端末」の項目に記載の閲覧に対応したスマートフォンのブラウザでAR表示が可能です。
サンプルとして記載するためURLの有効期限を延長してあります。
サンプルはアルバムから追加機能を用いて作成したものです。）

撮影後、アプリで撮影データをタップすると表示される「WebARで共有」ボタンから共有URLを発行することが可能です。

今回のバージョンアップについて

【バージョンアップ１】2D撮影&測定機能の背景切り抜き精度が大幅アップ！
旧バージョンでは背景切り抜き精度が悪く体の一部が欠けることがありました。新バージョンでは、背景切り抜きに機械学習推論モデルを用いてより正確に切り抜きを行えるようになっています。

＜技術解説＞
「せいくらべ」は、開発プラットフォームUnity（Unity Technologies）とiOS開発言語Swift（Apple）を用いて開発をしています。
ARや撮影と測定に関する開発はUnity、データ保存や閲覧、編集に関する開発はSwiftで行い、Unityをネイティブアプリのライブラリとして利用可能なUnity as a libraryを用いて連動しています。
今回の背景切り抜き精度向上は、Unityの機械学習推論エンジン「Barracuda」で画像セグメンテーションの機械学習モデルを動作させることにより、サーバーサイドではなくアプリ内で背景切り抜きを行っています。

【バージョンアップ２】LiDAR搭載iPhoneの3D撮影&測定機能も撮影スピードが改善！
撮影がより速くなり、3Dデータのメッシュ分解能も向上しました。

現状の機能一覧
・計測＆撮影機能
・3D撮影機能（LiDARスキャナ搭載iPhone限定）
・過去の写真からARデータを作成する機能
・AR表示機能
・WebAR共有機能
・複数のARデータを同時に配置する機能

今後の開発予定
・計測のみを行う機能
・共有URLの有効期限の延長やパスワード設定機能

開発までの道のり

# 着想
開発リーダーは、４歳の娘の父です。自分が利用したくてサービスを開発しました。
娘の写真を撮るのが好きでたくさんの写真が残っているが、写真だと当時の大きさまではなかなか実感しづらい。少し前までは小さかったこと、どんどん大きくなっていることを娘と共有して、一緒に成長を喜ぶためにARの技術を活用することを思いつきました。

# プロトタイプ
2020年3月にAppleより発売されたiPad ProにLiDARスキャナ（深度検出を可能にするセンサー）を利用すると高精度に空間認識が可能なため、撮影したデータをほぼ正確なサイズでAR表示することが可能だと気付き、成長記録への活用のための検証を進めました。
当初は、LiDARスキャナ搭載端末に限定して、3Dデータを撮影、同時に身長を計測するアプリを想定し、プロトタイプを進めました。
プロトタイプ版のアプリも以下で配信中です。
https://arcopyandpaste.fuwa2.jp/jp/

# ベータ版開発
プロトタイプ版のように3Dデータを撮影する仕様の場合、利用可能な端末がLiDARスキャナ搭載端末に限定されてしまいます。2020年10月に発売されたiPhone 12 ProシリーズへもLiDARスキャナが搭載されたものの、まだまだ対応端末が少ないため、一旦、3Dデータでの記録ではなく、2Dの写真切り抜きによるARデータの生成を行う仕様でベータ版の開発を進めた。そのためLiDARスキャナ搭載端末以外でも利用可能なアプリとなりました。

ただし、iPhone 12 ProなどのLiDARスキャナを搭載したiPhoneでは高精度の身長計測が可能ですが、LiDARスキャナを搭載していないiPhoneでは身長測定に30cm前後の誤差があります。
記録の保存前に計測値を確認して手動で修正する必要があります。

現在、ベータ版として配信中。
エラーや不具合が発生したり正しく機能しなかったりする可能性があることにご注意ください。
お試しいただきまして、気づいたことや要望がある場合、是非、フィードバックをお寄せください。
フィードバック送信URL：https://seikura.be/feedback

対応端末

# アプリの対応端末（撮影と計測が可能な端末）
– iOS14以上のA12 Bionic以降のチップを搭載したiPhone（iPhoneXs以降に発売されたiPhone）

3D撮影機能は、iPhone 12 ProなどのLiDARスキャナを搭載したiPhoneでのみ利用可能です。

また、iPhone 12 ProなどのLiDARスキャナを搭載したiPhoneでは高精度の身長計測が可能です。
LiDARスキャナを搭載していないiPhoneでは身長測定に30cm前後の誤差があります。
記録の保存前に計測値を確認して手動で修正する必要があります。

# 共有機能を通じて共有されたURLからWebARを閲覧できる端末（閲覧のみが可能な端末）
– iOS：iOS12.0以上の端末
– Android：AR Core対応の端末

株式会社無重力について

株式会社無重力は、技術とクリエイティブをかけあわせ新しい体験を作り出すことを目指し、コンテンツやサービスの企画・ディレクションを手掛ける会社です。
https://fuwa2.jp/

代表プロジェクト
人工衛星アクセサリー Satellite-U（サテライトユー）
はやぶさ２やだいち２号などのJAXAの人工衛星をモチーフにしたアクセサリー
https://satellite-u.com/
JAXA COSMODE（JAXA商品化許諾品-デザイン）ブランド商品
AR機能を搭載したアプリが付随