前回の記事「春、ぶどうの新芽と研究の芽吹」から引き続き、JAさまと共に2018年春からぶどう枝判別作業の効率化、圃場収益の最大化を目的としておこなった「ぶどうの栽培効率化の研究」についてお伝えします。夏、盆地である山梨県の夏季は全国でも屈指の最高気温を記録するうえ、湿度も大変高く、猛暑日が続くことも少なくありません。しかし、このように朝・昼・晩の気温の差が大きく、日照が十分で降水量が少ない気候は果樹栽培に対しての大きなメリットともなっているのです。
夏のぶどう圃場のようす
夏が近づくにつれて、浅い緑色のぶどうの房ができてきます。青々とした空の下、白い入道雲に負けじと大きくなってくるぶどうの房と粒。そんな風景が見られる初夏、まず枝の伸びを止める摘心作業が行われます。また、最近主流となっている種のないぶどうにするために「ジベレリン（植物ホルモン）処理」といって全ての房を手作業で薬品に浸けていくこともあります。さらに、暑い日差しの下で、形のよくないものを選り抜きながら樹になる数を考えて房を除いたり、ぶどうの粒自体も減らしていく摘果・摘粒作業も適宜必要となってきます。そうして最後に、傷や虫を避けるために丁寧に一房一房「袋かけ」をします。ここは、広い圃場、上を向いて手を上げた状態で一日中作業しなければならないため、体力・気力ともに必要な現場となっています。
収穫は早いところで8月ごろから行われますが、ここまでで行われる全てが一粒一粒を大きくするため・ぶどうの形をよくするためにどれも欠かせない作業です。ぶどうの完成形を何よりも考え、より見た目がよく味の美味しいぶどうにするために一つ一つ目で見て、手作業で行われています。春の枝剪定や芽かき作業と同じように、「どの粒・房を除けばよいか」などの判断は培われた経験から行われています。
ドローンを使用した写真撮影とその活用技術
春に引き続きドローン「INSPIRE 1 PRO」と4Kカメラ「Zenmuse X5」の組み合わせで圃場の写真撮影を行っていきます。では、その写真データをどのように活用していくのでしょうか？ぶどうの枝判別方法を調査した結果、予算と期間と当時の技術から、画像を3D点群データ処理（3Dオルソ化）する方法、正解ラベルを付与した教師データを使ったAIで判別する方法の2種類を選定し研究することとなりました。
まず、3D点群データとは非常に多くの点が集まって写真のように見えるものです。その点全てに個体の色や位置(X,Y,Z)の情報が記録されており、写真のように見えるものの実際は「情報を持った点の集まりによる、3Dを表すデータ」となっています。一般的に、このデータは3Dスキャナーなどの装置で処理・作成することが可能です。弊社ではドローンの自動航行とこの3D点群データ処理の仕組みを構築することにより、圃場に行かなくても実際の圃場がサイバー空間上のデジタルツインにて再現できるようにしました。そのため圃場までの移動時間や再撮影も不要、何度でも調査・判別可能のため業務稼働を大幅に削減することができます。
デジタルツインを活用するためには、現実世界をスキャンして得られる膨大な数の3D点群データが不可欠となっています。今回は3D点群データ処理をするにあたり、高スペックなGPUを用いること・画像処理エンジンの開発を行うことを決めました。画像処理エンジンは、複数の視点から撮影した写真を使い3D形状の復元ができるSfM(Structure from Motion)のMVG, MVS, MVEを使って、ドローンで撮影した4K画像・動画を効率的かつスピーディーに処理します。実際に、高速なクラウドサーバーとして AWS p3インスタンス GPU Tesla V100 ×8個、GPUメモリ×128GB を並列に6台構築し、並行して複数の3D点群データ処理行う試験を実施しました。その結果、枝判別で3D地面と枝を分けることに成功。50箇所以上の全ての3D点群データ処理化に成功することは難しく、その点に関しては課題を残す結果となりました。
このようなデジタルツインの技術は、これまで限定的であった圃場のデータが飛躍的に増やし、遠隔からの現場指揮や未来予測などにも活用を見込むことができるため、農業における大幅な業務効率化が期待されます。
次に、正解ラベルを付与した教師データを使ったAIで判別する方法においても試験を行いました。農業に活用し作業の自動化、効率化が期待できるAI ディープラーニング。AIで評価・判別を行うためには、前段階において正解ラベルを付与した教師データを用いての「ラベリング作業（=AIに正解を学習させる作業）」が不可欠です。この作業については、ぶどう圃場における枝の影のデータに正解ラベルを付与した数千枚の画像データを元に行いました。弊社の研究ではどのようなプロジェクトにおいても徹底して様々な技術の調査・試験を繰り返し、随時最適な方法を探っています。
次回は「秋、ぶどうの収穫と研究の改善に向けて」についての記事へと続きます。
ぶどうの旬の時期である秋の収穫時期の圃場の様子と、弊社の研究・開発の改善について写真を交えてお伝えします。