前回の記事「夏、ぶどう枝の3D点群データとAIの活用へ」から引き続き、JAさまと共に2018年春からぶどう枝判別作業の効率化、圃場収益の最大化を目的としておこなった「ぶどうの栽培効率化の研究」についてお伝えします。秋はなんといってもぶどうのシーズン。「山梨県産」と書かれたぶどうを皆さんが目にすることも多くなる時期ではないでしょうか。
昨今、収穫シーズンになるとぶどうの盗難被害が起きたという心苦しいニュースをよく耳にするようになりました。高価なシャインマスカットが100房以上も盗まれてしまうということもあるそうです。そのため、農業に携わる方は圃場のパトロールなども含め、私たちが思っている以上に多くの仕事をこなさなければならないのが現実です。最近では、このような獣害・盗難被害に対しても最新技術を用いたロボット・センサーを活用したIoT装置の実験が日本各地の自治体ですすめられているようです。
秋のぶどう圃場のようす
ぶどうの収穫は、晩夏から秋のひと月ほどを費やして行われます。袋かけされたぶどうを一房一房確認し、熟しているかどうか確認します。色濃く熟れたぶどうは実が潰れたり形が崩れたりしないよう大切に収穫・出荷され、私たちが普段目にするお店まで流通し、購入できるようになるのです。もちろん、「収穫して終わり」ということはありません。出荷後は、次の年に向けて必ず土づくりをおこなっています。肥料や堆肥を撒き、養分豊かな土を育むことでさらに美味しいぶどうを作る第一歩が始まります。
ぶどう作りをはじめとして、農業には全ての作業に「経験」が付きものです。農業に長年携わる方の多くは、作物をより美味しくするためのノウハウを常に五感から得て、四季のサイクルを農作物と共に繰り返し経験を積んでいきます。そして、小さなことから改良を毎年行い、前の年よりも美味しい作物の出荷に至ることができます。私たちは、そんな経験が活きた行動というものを、最新技術を活かして再現したり、実現したりしたいと思い研究・開発に当たってきました。その背景には、農業の担い手の高齢化と減少がすすむ現状もあります。
改善のため繰り返す再調査・試作
3D点群データの利用・AIディープラーニングの活用において課題となった点を洗い出し、カメラ及びレンズが適切かといった再調査を行います。また、選定したドローンの自動航行ソフトの移動速度は適切か、高度はどの位置で撮れば最適なデータを作れるかなども考えなければなりません。使う機器・ソフトに加え、その使い方や試験方法においても見直す点は数多くあります。
まず、現在使っているドローンの自動航行ソフトでは3D点群データに使用できるような低高度かつ高ラップ率の画像データを撮影できませんでした。ドローンは航行において、高度15mで安全装置が働きホバーしてブレが出てしまうのです。このような問題点が浮き彫りになり、弊社で独自の自動航行ソフトを開発することも考えましたが、コストの面で難しくもありました。そのため、今後は手動操縦航行と従来の自動航行を併用することとし、高度については試験と研究を繰り返した結果18mが最適であるという結論に落ち着きました。
以下の写真は、その18mの高度よりドローンにて撮影した写真をPhotoshopで手動にて組み合わせ、マージしたものです。自動のフォトマージ機能もありますが、より正確性を高めるため、今回はこの手法を取りました。
さらに、クラウドサーバーで行ったSfM（複数の視点から撮影した写真を使った3D形状の復元） の結果から、撮影する画像データを半球面に加工したり、単眼カメラによるラップ率の限界を考慮して複眼カメラによる深度情報を画像データに付加したりすることを検討しました。社内では単眼カメラでは困難だった被写体の距離を数値化できるステレオカメラを使う案も出たため、シャッターやピントを合わせられるカメラを試作。生成された画像データを合成してみるなど手は尽くしましたが、ステレオカメラの自作は現実的ではないと今回は判断しました。枝判別の手法においては、2種類の判別方法において実証試験を行い、ソフトウェア開発に関しての現実性を鑑みながら検討していくこととなりました。
このように研究の中においては技術面にかける稼働やコストが見合わないことも出てくるのが現実です。ですが、当時から見て現在であれば、2眼・3眼の複眼カメラを搭載したiPhone 11,11 proなどを始めとしたスマートフォンが手に入るようになるなど、機器の技術革新・普及によって検討できる手法が増えています。それは、同じくして不可能だったことが実現可能になるという大きな可能性を意味するのです。
次回は最終回である、「冬、枝剪定と研究の成果」についての記事へと続きます。
ぶどうの収穫が終わった圃場の様子と次の年への動き、弊社の研究・開発の最終章をお伝えしたいと思います。