オリーブに実がなった時に「？」マークみたいなのが出るから、それがまず目印
そこから稀に謎の種が収穫できる(体感的には20〜25％程度の確率）

とりあえず「？」マークの実になったら収穫時にマークや収穫の動作が出るけど
もしそのリアクションがなかったとしても念の為に倉庫内を確認するといいよ