树莓剪枝机器人设计
孟繁佳ꎬ刘泰阳
(中国农业大学信息与电气工程学院ꎬ北京 100083)
摘 要:树莓在我国边疆地区大面积种植ꎬ如要有良好的长势ꎬ剪枝尤为重要ꎬ需要大量的人力ꎮ受地理条件限制ꎬ边疆地区地广人稀、人力成本高ꎬ为降低生产成本ꎬ研制树莓剪枝机器人非常必要ꎮ为此ꎬ针对早春时节树莓需要定植修剪的实际需要ꎬ研发了一款树莓剪枝机器人ꎮ工作时ꎬ以上位机与下位机进行串口通信的控制系统为核心ꎬ利用机器视觉技术ꎬ对采集到的图像进行实时处理ꎬ控制剪枝机器人前进ꎬ左右机械臂同时工作ꎬ高效地实现对细弱枝、破损枝的识别与剪除ꎮ试验表明:树莓剪枝机器人工作时有极大的可靠性与自适应能力ꎬ能适应各种复杂环境ꎬ可在早春时节实现智能化树莓定植修剪ꎬ对过密的细弱枝、破损枝可以齐地剪除ꎮ关键词:剪枝机器人ꎻ树莓定植ꎻ机器视觉ꎻ图像识别ꎻ串口通信中图分类号:S224ꎻTP242 文献标识码:A
文章编号:1003-188X(2019)01-0138-05
0 引言
农业机器人将信息技术进行综合集成ꎬ集感知、传输、控制、作业为一体ꎬ将农业的标准化、规范化大大向前推进了一步ꎮ其不仅节省了人力成本ꎬ也提高了品质控制能力ꎬ增强了自然风险抗击能力ꎮ与国外相比ꎬ我国农业机器人研究与开发方面尚处于起步阶段ꎬ20世纪90年代中期ꎬ国内才开始了农业机器人技术的研发ꎮ
树莓是灌木型果树ꎬ是生态经济型水土保持灌木树种ꎬ在欧、美一些国家早已广泛栽培ꎬ并形成产业化发展ꎬ引入中国后也得到了快速发展ꎬ在很多省、市、自治区都得到广泛种植ꎮ因其具有很好的营养价值、药用价值和食用价值ꎬ所以经济效益较好ꎮ
在早春进行定植修剪ꎬ需对过密的细弱枝、破损枝齐地剪除ꎬ以保证植株的长势均匀ꎮ由于树莓多种植于中国东北、甘肃、青海、新疆、西藏等地广人稀的地区ꎬ定植修剪又需要大量的人力ꎬ面临劳动力大量短缺的困境ꎻ雇佣外来务工人员又面临劳务工资急剧上升的局面ꎬ用工成本严重制约了树莓产业的发展ꎮ本研究结合树莓生产种植环境和实际定植修剪过程ꎬ基于机器视觉技术ꎬ设计了树莓剪枝机器人ꎬ在实际工作环境下ꎬ实现了树莓弱枝、破损枝的智能修剪ꎮ
1 机器人机械结构设计
剪枝机器人机械结构包括可移动载体、升降台、两个机械臂及两个剪枝器ꎮ机械结构是整个机器人的基础架构ꎬ是各个模块与器件依附的平台ꎻ每个部分均有其功能ꎬ与控制结构一起实现机器人的智能控制ꎮ
可移动载体是机器人得以移动的先决条件ꎬ采用履带式车轮设计ꎬ与地面接触面积大ꎬ增大了可移动载体的受力面积ꎬ给地面的压力小ꎬ适合在田间松软复杂的地面上行驶ꎮ可移动载体以IAP15W4K61S4单片机主控系统发出的指令进行驱动ꎬ主控板采用直流航模锂电池供电ꎮ
升降台由滚珠丝杠滑台和剪叉式机械结构组成ꎬ其顶端安装了摄像头ꎮ主控系统控制电动机带动滚珠丝杠的运动来实现摄像头竖直方向的定位ꎬ确保在机器人总体结构较小且轻便条件下田间植株定位的准确性ꎮ
两个机械臂分别安装在可移动载体的左右两侧ꎬ以提高机器人的工作效率ꎮ机械臂由多关节机械结构构成ꎬ有2个自由度ꎬ在其长度范围内配合剪枝器的转动可以使剪枝器到达任意二维坐标点ꎮ该机械臂的质量轻、韧性强ꎬ中间关节装有滚轮可以触地ꎬ因此在臂展较长、作业面积较大的情况下也能承受较大负载ꎬ灵活性高ꎬ到达指定坐标点精确度高ꎬ在作业过
收稿日期:2017-09-01
基金项目:国家自然科学基金项目(31401294)
作者简介:孟繁佳(1983-)ꎬ男ꎬ北京人ꎬ高级工程师ꎬ硕士生导师ꎬ博
士ꎬ(E-mail)mengfanjia@126.comꎮ
程中速度平稳适中、惯性小、平稳性很强ꎮ
剪枝器是机器人的剪刀手ꎬ是动作的最终执行机构ꎮ为保证长势较差的弱枝齐地剪断ꎬ将剪枝器设计
138
2019年1月 农机化研究 第1期
成剪刀模样ꎬ由舵机控制剪刀手的张开与闭合ꎮ剪枝时ꎬ机械臂中间带转轮关节着地ꎬ配合剪枝器贴合地
面将弱小枝条剪断ꎬ以确保稳定性ꎮ剪枝机器人结构如图1所示ꎮ
图1 剪枝机器人结构图Fig.1 Thestructureofthepruningrobot
2 枝条的分割识别
在环境复杂又广阔的田间中ꎬ剪枝机器人进行剪枝作业的前提是先识别出枝条ꎬ这样剪枝机器人才能代替人力劳动进行剪枝ꎮ识别的首要任务是进行田间植株图像样本的采集ꎬ主要是采用固定在升降台上的高清摄像头ꎬ升降台使其升到指定高度去拍摄成像ꎬ然后把采集到的图像送到工控计算机ꎮ
对于枝条的识别ꎬ运用颜色、面积和形态多个特征结合的算法ꎬ多个特征结合使目标的识别更加准确ꎮ首先采用阈值分割法对树莓枝条进行图像分割处理ꎬ建立颜色模型ꎬ通过分析颜色空间的色差ꎬ进行三原色RGB运算ꎬ可以将图像分割ꎮRGB颜色模型如图2所示ꎮ
图像经过分割处理后ꎬ会存在噪音ꎬ所以需要对
图像进行消噪处理ꎮ先得到连通域ꎬ再进行区域标记ꎬ通过设置连通面积阈值ꎬ消除背景噪音ꎮ在处理过程中发现部分枝条会出现断续现象ꎬ采用膨胀方式进行补偿处理ꎮ
对图像进行自适应阈值分割ꎬ分割枝条和杂质图像ꎬ对枝条进行边缘提取ꎻ经过一系列消噪处理之后ꎬ完成目标的识别ꎬ得到能够满足后续图像处理要求的二值图像ꎮ枝条图像处理流程如图3所示ꎮ
图2 RGB颜色模型Fig.2 RGBcolormodel
图3 枝条图像处理流程图
Fig.3 Theflowchartofthebranchesimageprocessing
139
2019年1月 农机化研究 第1期
3 控制系统设计
(Soarsea-V200)、IAP151W4K61S4单片机、高清摄像头(c930e)、激光传感器、直流电机、舵机、航模锂电池和多功能移动电源ꎮ
上位机部分是一台搭载Win10系统的工控计算机ꎬ运用MatLab软件进行图像处理任务ꎬ处理摄像头拍到的高清图片ꎬ识别和定位目标枝条ꎬ由其进行决策规划出路径ꎬ并通过串口通讯的方式将数据传递给下位机ꎮ下位机部分以STC公司生产的IAP15W4K61
智能剪枝机器人控制系统硬件包括工控计算机
在输出端起续流保护作用ꎬ如图7所示ꎮ
图5 驱动芯片L298Fig.5 Thedrivechip
S4单片机为主控ꎬ具有最高30MHz晶振、4kB片内RAM(原256B+3840BXDATA)、61kB程序存储空间(ROM)、5个16位定时/计数器、4个串口及64个I/O引脚ꎮ其通过串口1与上位机进行通信ꎬ通过串口2
获取激光传感器返回的距离信息ꎬ通过PWM模块输出PWM波控制电机驱动芯片L298进行电机转速控制ꎬ通过定时器中断使用I/O口模拟输出PWM控制舵机转角进行机械臂控制ꎬ通过I/O输出电平控制升降台直流电机升降运动ꎮ
剪枝机器人开始作业后ꎬ首先启动摄像头ꎬ进行图像采集ꎻ将采集到的图像传到工控计算机ꎬ利用密度等指标ꎬ识别出要修剪的目标枝条ꎬ计算出应剪枝条的坐标ꎬ规划出机械臂的运动轨迹ꎬ通过串口送到主控单片机ꎬ控制机械臂运动到指定位置ꎬ剪枝器将目标枝条齐地剪除ꎮ控制系统结构如图4所示ꎮ
图6 光耦隔离电路
Fig.6 Thecircuitofoptocouplerisolation
MatLab软件对采集的图像进行处理ꎬ根据颜色、粗细、
图4 控制系统结构
该控制系统的硬件电路主要包括直流电机驱动、下载烧录和串口通讯及电源电路等ꎮ3.1 直流电机驱动电路
直流电机驱动电路由驱动芯片L298、光耦隔离电路及二极管桥式续流保护电路3部分组成ꎮ其中ꎬ驱动芯片L298为大功率电机专用ꎬ可直接驱动两个直流电机ꎬ如图5所示ꎮ在电路的输入端处增加了光耦隔离ꎬ提高抗干扰性ꎬ如图6所示ꎮ二极管桥式电路ꎬ
140
图7 二极管桥式电路Fig.7 Thecircuitofdiodebridge
Fig.4 Thestructureofthecontrolsystem
直流电机驱动电路通过输入PWM脉宽调制信号对电机进行调速控制ꎬ控制端高低电平转换实现电机
2019年1月 的正反转和停止ꎮ
农机化研究 第1期
3.3 电源电路
剪枝机器人采用12V航模锂电池供电ꎬ电池12V电压经过降压芯片LM2596构成的电路ꎬ实现DC-DC降压转换ꎬ从12V转换到5Vꎬ再经过DC-C转换器实现5V到3.3V的转换ꎮ外围电路对芯片存在很大的干扰ꎬ需要加滤波电容ꎮ其电路原理图如图9所示ꎮ
3.2 下载烧录和串口通讯电路
单片机开发的第一步是下载程序ꎬ需要将其他信号转换成TTL电平ꎬ才能使单片机下载程序成功ꎮ下载烧录主要核心芯片是CH340ꎬ该芯片是将USB信号转换成TTL电平ꎬ实现USB转串口功能ꎮ其电路原理图如图8所示ꎮ
4 软件设计
软件部分包括上位机软件系统和下位机软件系统ꎮ上位机软件系统主要包括图像处理模块和通信模块ꎻ下位机软件系统主要包括机械臂和剪枝器的控制模块ꎮ剪枝机器人能正常稳定运作ꎬ是依靠各个子程序的正确调用ꎬ并构造闭环根据信号反馈实时调整姿态和修改控制指令ꎮ系统开机运行后ꎬ运行主程序ꎬ上位机收到下位机信号后去采集图像ꎬ并对图像进行处理ꎬ处理完后做出决策ꎬ传给下位机去执行剪枝动作ꎮ系统主程序流程图如图10所示ꎮ
图8 下载烧录和串口通讯电路
Fig.8 Thecircuitofdownloadburningandserialcommunication
图9 电源电路Fig.9 Powersupplycircuit
5 测试与结果分析
为了验证该剪枝机器人图像识别技术的可靠性ꎬ在树莓试验田对该机器人进行了图像识别实验ꎬ测试其识别成功率ꎮ在不同时间段进行6次实验ꎬ每次拍摄60张照片ꎬ然后利用图像处理进行识别ꎮ处理工作完成以后ꎬ记录需剪枝条量、识别到的应修剪量ꎮ其中ꎬ需剪枝条量是人工标记的弱损枝的数量ꎻ识别到的应修剪量是经过图像处理后识别到的弱损枝的数量ꎬ实验结果如表1所示ꎮ
表1 剪枝机器人剪枝实验结果
Table1 Thepruningtestresultsofthepruningrobot
实验编号
12
需剪枝条量
/个218223
识别到的应修剪量
/个185189
识别成功率
/%84.8684.75
图10 系统主程序流程图
Fig.10 Themainprogramflowchartofthesystem
141
2019年1月
续表1
农机化研究
[7] 黄彪.枇杷剪枝机器人关键技术的研究[D].广州:华南
理工大学ꎬ2016.
[8] 赵金英ꎬ张铁中ꎬ杨丽.西红柿采摘机器人视觉系统的目
标提取[J].农业机械学报ꎬ2006(10):200-203.江:江苏大学ꎬ2010.
[9] 李占坤.果树采摘机器人控制系统研究与设计[D].镇[10] 袁国勇ꎬ张铁中.温室黄瓜果实的模式识别与分割———
150-153.
第1期
实验编号
3456
需剪枝条量
/个205212198191
识别到的应修剪量
/个176186181165
识别成功率
/%85.8587.7491.4186.39
利用Bayes分类判别模型[J].农机化研究ꎬ2006(7):
由表1可以看出:该机器人图像识别成功率很高ꎬ识别成功率最低为84.75%ꎬ可靠性强ꎬ符合设计要求ꎬ[11] 姬江涛ꎬ郑治华ꎬ杜蒙蒙ꎬ等.农业机器人的发展现状及
趋势[J].农机化研究ꎬ2014ꎬ36(2):1-4ꎬ9.[12] 林欢ꎬ许林云.中国农业机器人发展及应用现状[J].浙可见该树莓剪枝机器人有较强的实用性ꎮ
6 结论
[13]为了解放人力ꎬ实现树莓定植修剪的机械化和自[14]动化ꎬ本研究设计了树莓剪枝机器人ꎮ该机器人采用机器视觉技术ꎬ运用颜色模型和多种算法进行图像处[15]理ꎬ串口通信实现数据传输ꎬ快速准确地实现信息处理ꎬ工作效率高ꎮ该机器人机械结构简单灵活、运动[16]速度快ꎬ定植剪枝成功率高ꎬ对于农业剪枝机器人准[17]确快速识别目标ꎬ并进行正确剪枝作业具有很大参考价值ꎬ同时对智能剪枝的发展具有非常重要的意义ꎮ[18]参考文献:
[1] 贾洪雷ꎬ王刚ꎬ郭明卓[19]获取方法与试验[J].ꎬ农业工程学报等.基于机器视觉的玉米植株数量
ꎬ2015ꎬ31(3):215-[2] 220.
李伟[20][D]..杨凌农业机器人试验平台视觉导航系统的研究与开发[3] 万强:西北农林科技大学ꎬ2015.
[21]京:南京农业大学.基于机器视觉的农业机器人自主作业研究ꎬ2014.
[D].南
[4] 郭伟斌[22]学ꎬ2008.
.除草机器人设计与控制[D].南京:南京林业大
[5] 顾宝兴[23]京:南京农业大学.智能移动式水果采摘机器人系统的研究ꎬ2012.
[D].南
[6] 宋健[24]试验ꎬ[孙学岩J].农业机械学报ꎬ张铁中ꎬ等ꎬ2009ꎬ40(1).开放式茄子采摘机器人设计与
:143-147.142
江农业学报ꎬ2015ꎬ27(5):865-871.[安秋D]..农业机器人视觉导航系统及其光照问题的研究周渝.农业多机器人系统无线通信技术研究南京:南京农业大学ꎬ2008.西北农林科技大学ꎬ2014.[D].杨凌:春贺琨:吉林大学.基于WIFIꎬ2012.
通信的目标识别与定位系统[D].长罗雪宁处理研究ꎬ彭云发[J].农机化研究ꎬ代希君ꎬ等ꎬ2015ꎬ37(3).基于MATLAB:183的红枣图像
-186.[许J].志计算机与现代化影ꎬ李晋平.MATLABꎬ2003(4)及其:64在-图65ꎬ69.
像处理中的应用闫继宏运动学分析ꎬ郭鑫[ꎬJ].刘玉斌哈尔滨工业大学学报ꎬ等.一种模块化机械臂的设计与
ꎬ2015ꎬ47(1):20
-李25.
[D].江道上海.空:间上海交通大学机械臂机电ꎬ2012.
一体化关节的设计与控制杨文亮镇江:江苏大学.苹果采摘机器人机械手结构设计与分析ꎬ2009.
[D].
田素博结构比较的研究ꎬ邱立春ꎬ[秦军伟J].农机化研究ꎬ等.国内外采摘机器人机械手
ꎬ2007(3):195-197.
刁智华像分割方法ꎬ王欢[ꎬJ].宋寅卯农业工程学报ꎬ等.复杂背景下棉花病叶害螨图
ꎬ2013ꎬ29(5):147-152.汉杨振亚:华东师范大学.彩色图像处理中几个基本问题的研究ꎬ2008.
[D].武田昊提取算法ꎬ王维新[J].ꎬ江苏农业科学毕新胜ꎬ等.基于图像处理的机采棉杂质
ꎬ2014ꎬ42(1):366-(下转第147368.页)
[21] 周秀君.基于PLC的混凝土搅拌站控制系统设计[D].
广州:广东工业大学ꎬ2008.
2019年1月 农机化研究
[23] 周克良ꎬ肖清.失重秤配料控制系统在工业上的应用[24] А.Д.Селезневꎬ脱宝珍.立式饲料搅拌机参数的计算
[J].粮油加工与食品机械ꎬ1990(2):23-24.[J].有色设备ꎬ2004(4):10-12ꎬ51.
第1期
[22] 李连华ꎬ门立杰ꎬ金鹍鹏.HJJ-80型卧式饲料搅拌机的
设计[J].农机化研究ꎬ2006(7):99-100.
DesignofIntelligentControlSystemforFullMixingAgriculturalFeedMixerBasedontheControlPrincipleofConcreteMixer
(WuchangShouyiUniversityꎬWuhan430064ꎬChina)
HuangKeliang
Abstract:Takinglarge-scaleanimalhusbandrybreedingofforageprocessingdemandasthestartingpointꎬinthebasisofthecontrolsystemwiththeoptimizationofconcretemixerwithmixedfeedmixerapplicationcharacteristicsꎬitdesignssetofAT9621asthecoreprocessorofthemixedfeedmixerintelligentcontrolsystemꎬandthesystemtest.Thetestre ̄andhashighvalidityandfeasibility.(上接第142页)
Keywords:concreteꎻoptimummixingratioꎻfullmixedfeedꎻmixerꎻnavigation
sultsshowthattheintelligentcontrolsystemofthewholemixerisveryhighꎬwhichcanmeetthedesignrequirementsꎬ
AbstractID:1003-188X(2019)01-0138-EA
DesignforRaspberryPruningRobot
(CollegeofInformationandElectricalEngineeringꎬChinaAgriculturalUniversityꎬBeijing100083ꎬChina)
MengFanjiaꎬLiuTaiyang
Abstract:Theraspberryiscultivatedinalargeareaofourcountryborderareas.Pruningisespeciallyimportantforrasp ̄
berrieshavegoodgrowthꎬandpruningrequiresalotofmanpower.Limitedbygeographicalconditionsꎬthefrontierareaissparselypopulatedꎬandthehumancostishighꎬsoitisverynecessarytodevelopthepruningrobottoreducethecostofproduction.Basedontheactualneedsofpruningraspberryintheearlyspringꎬwedevelopedaraspberrypruningrobot.Therobotisbasedonthecontrolsystemoftheuppercomputerandthelowercomputerasthecoreꎬandrealizestherealatthesametimeworkꎬandefficientimplementationofthethinbranchesꎬbrokenbranchesidentificationpositioningandandcanadapttoallkindsofcomplexenvironmentinthefield.Intheearlyspringseasonꎬitcanrealizetheintelligenceoftheraspberrypruningꎬandthedensethinbranchesandbrokenbranchescanbecutoffclosetotheground.Keywords:pruningrobotꎻraspberryengraftmentꎻmachinevisionꎻimageidentificationꎻserialportcommunication
-timeimageacquisitionbyusingthemachinevisiontechnology.Bycontrollingpruningrobotforwardꎬleftandrightarm
cutoff.Experimentsshowthattheraspberrypruningrobothasgreatreliabilityandadaptabilitywhenworkinginthefieldꎬ
147
因篇幅问题不能全部显示,请点此查看更多更全内容