連続撮影のストリート写真で、桜の開花の変遷を地図化(大学院理工学研究科 堤田成政准教授)
2023/10/11
ポイント
● 生物季節観測のための新たなアプローチを提案。
● 不特定多数が撮りためたストリート写真により地域環境を把握できる可能性を示した。
● 観測可能な道路沿いにある桜の開花日、満開日、落花日を詳細かつ簡便に収集することが大きく期待される。
概要
埼玉大学大学院理工学研究科数理電子情報部門の堤田成政准教授の研究グループは、連続撮影されたストリート写真より桜の開花日、満開日、落花日を推定する手法を提案しました。
桜の開花といった、気候変動の重要な指標である生物季節(フェノロジー)※１の記録を作成することは大変な労力とコストがかかっています。気象庁による従来の定点観測では最も正確に記録がなされてきていますが、観測地点での記録に限定されています。広域観測は、市民主体の観測プログラムやリモートセンシングにより実施されてきました。しかし、これらのアプローチは継続性や対象範囲の拡張性に乏しいといった課題がありました。
本研究では、スマートフォンやアクションカメラにより連続撮影されたストリート写真と深層学習モデルを組み合わせた新しい観測システムフレームワークを提案しました。具体的には、路上から撮影した風景写真（以下、ストリート写真）から深層学習モデルを使用して桜の開花を検出し、写真の観測位置と日付より10m×10mの空間グリッドに桜の開花の発生確率を日々マッピングしました。これにより、十分な観測データが取得された場所において、桜の開花日、満開日、落花日を時系列分析によって推定しました。
2022年に埼玉大学のキャンパスで実証実験を実施し、連続撮影のストリート写真からのみによる桜の開花フェノロジーの地図化に成功しました。本アプローチは、事前の桜の種類の識別の知識を持たずに撮影できる位置情報付きストリート写真にのみ依存しているため、従来の方法よりも容易にデータの収集が可能となり、空間的および時間的な開花記録を作成することができます。このアプローチにより、従来よりも広域的な生物季節観測が可能となると期待されます。
本研究成果は、2023年9月23日にElsevierの『Ecological Informatics』誌に掲載されました。
研究の背景
生物季節観測は、気候変動による季節の変化や環境応答などの推移を把握するために、長きにわたり継続されてきました。気象庁による桜などの開花情報は標本木による長期観測が実現していますが、局所的な環境変動の影響は把握することができませんでした。また、近年では長期観測の資金的な困難性から対象種が削減されており、それに代わる手段として市民参加型の観測アプローチが実施されています。しかし、調査員による記録の不確実性や観測の継続性など課題も残ります。
研究内容
本研究では、高頻度に撮影されたスマートフォンやアクションカメラを用いた位置情報付きのストリート写真データベースから桜の開花フェノロジーを取得するフレームワークを提案しました。まず、ストリート写真から桜の開花の有無を検出可能なAIモデルを開発しました。これを連日撮影されたストリート写真に適用し、エリアごとに桜の開花検出確率の時系列データを取得し、この変化特性から開花日、満開日、落花日を取得します。
ケーススタディとして、埼玉大学のメインキャンパスで2022年3-4月に日次で観測した約7000枚の位置情報付きストリート画像に本フレームワークを適用し検証した結果、86.7%の精度で桜の開花を検出し、開花情報を地図化することに成功しました(図1)。
図１．桜の開花日、満開日、落花日のマッピング
日々収集されたストリート写真から推定された桜の開花検出確率を時系列に並べたものを詳しく見てみると(図2)、桜の状態に応じて値が変化することが確認されます。
図２．桜の開花検出確率の時系列変化
今後の展開
本アプローチでは、桜の開花をモデルの基準で判別するため、観測員による観測不確実性の低減が期待されます。また、不特定多数のユーザーが撮影した位置情報付きのストリート写真のレポジトリであるMapillary(https://www.mapillary.com/
)のようなプラットフォームを活用することで、生物季節観測を目的としないソーシャルセンシングデータ※2からも桜の開花検出および開花情報の収集が期待されます。そのため、公共交通機関や自家用車に搭載された車載カメラによる撮影写真を収集することで、生物季節観測が実現する可能性を秘めています。
今後は、他の種目に対象を拡張するなどで、生物季節観測の新たなアプローチとして技術を確立していきます。
研究支援
本研究は、科学技術振興機構(JST)戦略的創造研究推進事業(ACT-X)「AI活用で挑む学問の革新と創成」(研究総括：國吉 康夫(東京大学 大学院情報理工学系研究科 教授))研究領域における「マルチスケール?マルチアングルリモートセンシングデータの統合基盤の創成」(研究者：堤田成政)(21455106)、National Geographic Labs Fellowship「Satellite Imagery Computer Vision Modeling for Land Use/Cover」(研究者：堤田成政)の支援を受けて実施されました。
原論文情報
| 掲載誌 | Ecological Informatics |
|---|---|
| 論文名 | Mapping cherry blossom phenology using a semi-automatic observation system with street level photos |
| 著者名 | Narumasa Tsutsumida, Shuya Funada |
| DOI | 10.1016/j.ecoinf.2023.102314 |
| URL |
https://doi.org/10.1016/j.ecoinf.2023.102314
|
用語解説
※1 生物季節(フェノロジー)
季節の移り変わりのシグナルとなる桜の開花日、満開日といった指標。
※2 ソーシャルセンシングデータ
インターネットを通じて収集可能な不特定多数のユーザーがアップロードしたデータ。
参考URL
