■匾！题研琴篡慧黟研ｗ文章编号：１００１－９９４４（２０１１）０２－０００４－－０４嵌入式全景视觉实时目标识别李利，曹作良，赵首博３００３８４）（天津理工大学机械工程学院，天津摘要：在嵌入式系统中，使用鱼眼镜头实现全景视觉．完成实时目标跟踪工作。采用ＦＰＧＡ＋ＤＳＰ＋ＰＣ的硬件系统架构作为识别器．使用ＳＡＡ７１１３Ｈ芯片采集图像．再由ＦＰＧＡ将采集后的图像存入到ＳＫＡＭ．因为使用鱼眼镜头采集后的图像是畸变的。所以采用ＦＰＧＡ对图像进行矫正．运用Ｆｒｅｅｒ咖链码进行目标识别。尤其是对直线的识别，这些工作都需要大量的计算，高效的ＦＰＧＡ和Ａｌｔｅｒａ公司提供的ＩＰ核．加快目标识别速度，以达到目标跟踪的目的。关键词：现场可编程逻辑器件；Ｆｒｅｅｍａｎ链码；实时；嵌入式；数字信号处理器中图分类号：ＴＰ２４２．６文献标志码：ＡＥｍｂｅｄｅｄＯｍｎｉ－ｖｉｓｉｏｎＯｂｊｅｃｔＲｅｃｏｇｎｉｚｉｎｇｉｎＲｅａｌ－ｔｉｍｅＵＬｉ．ＣＡ０Ｚｕｏ．１ｉａｎｇ．ＺＨＡ０Ｓｈｏｕ．ｂｏ（ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＴｉａｎｊｉｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔｉａｎｊｉｎ３００３８４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓ蚰ｅｍｂｅｄｄｅｄｓｙｓｔｅｍ．ｗｈｉｃｈｄｅｐｅｎｄｓｏｎｆｉｓｈｅｙｅｌｅｎｓｗｉｔｈｏｍｎｉ－ｖｉｓｉｏｎｒｅａｌ－ｔｉｍｅｉｎｏｒｄｅｒｔｏｏｂｊｅｃｔａｒｅｃｏｇｎｉｚｉｎｇ．ＴｈｅＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）＋ＤＳＰ（ｄｉｇｉｔａｌｓｉｇｎ址ｐｒｏｃｅｓｓｏｒ）＋ＰＣ（ｐｒｉｖａｔｅｃｏｍｐｕｔｅｒ）ｐｒｏｖｉｄｅｓｒｅｃｏｇｎｉｚｅｒ，ｗｈｉｃｈｉｎｖｏｌｖｅｓｃｏｌｌｅｃｔｉｎｇｉｍａｇｅｕｔｉｌｉｚｉｎｇＳＡＡ７１１３Ｈｃｈｉｐａｎｄｔｈｅｎｗｅｓｔｏｒｅｓｈａｒｄｗａｒｅｐｌａｔｆｏｒｍｆｏｒｏｎ－ｂｏａｒｄｔｈｅｐｒｏｃｅｓｓｅｄｉｍａｇｅｉｎｔｏＳＲＡＭ（ｓｔａｔｉｃｒａｎｄｏｍ龇ｃｅｓｓｍｅｍｏｒｙ）．ＳｉｎｃｅｏｆＦＰＧＡｔｏｃｏｒｒｅｃｔｉｎｇｔｈｅａｔｅｍｐｌｏｙｆｉｓｈｅｙｅｌｅｎｓ，ｔｈｅｉｍａｇｅｗｉｌｌｂｅｄｉｓｔｏｒｔｅｄ，ｍａｋｉｎｇｕｓｅｄｉｓｔｏｒｔｅｄｉｍａｇｅ．ａｎｄｅｘｐｌｏｄｉｎｇｔｈｅｎ佻ｍ粕ｃｈａｉｎｃｏｄｅｍｅｔｈｏｄｓｔｏｒｅｃｏｇｎｉｚｅｔｈｅｏｂ－ｊｅｅｔ．ｅｓｐｅｃｉａｌｌｙａｉｍｉｎｇｂｅｔｔｅｒｌｉｎｅｒｅｃｏｇｎｉｚｉｎｇ．Ｔｈｅｓｅｔａｓｋｓｎｅｅｄａｍｏｕｎｔｓｏｆｃａｌｃｕｔａｔｉｏｎａｎｄｅｍｐｌｏｙｔｈｅｈｉｓｈ－ｐｅｒｆｏｒｍｏｆＦＰＧＡａｎｄＩＰ（ｉｎｔｅｌｌｅｃｔｕａｌｐｒｏｐｅｒｔｙ）ＣＯｌｅｆｒｏｍＡｈｅｒａ，ｗｈｉｃｈａｃｃｅｌｅｒａｔｅｔｈｅｓｐｅｅｄｏｆｃａｌｃｕｌａｔｉｏｎａｎｄｒｅｄｕｃｅｓｔｈｅｔｉｍｅｏｆｏｂｊｅｃｔｒｅｃｏｇｎｉｚｉｎｇ，ｉｔｉｓｆｏｒｏｂｊｅｃｔｔｒａｃｋｉｎｇ．ｇａｔｅＫｅｙｗｏｒｄｓ：ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅａｒｒａｙ（ＦＰＧＡ）；Ｆｒｅｅｍａｎｃｈａｉｎｃｏｄｅｍｅｔｈｏｄｓ；ｒｅａｌ－ｔｉｍｅ；ｅｍｂｅｄｄｅｄ；ＤＳＰ在现代工业中．机器视觉系统越来越被广泛使用，例如定位、自动地图设备、动态导航、物件识别、特征识别等领域…。实际上．图像处理需要大量信息和自动处理的能力。而且．在危险的环境中。使用机器视觉代替人工视觉．更加安全可靠。鱼眼镜头是一种广角视觉图像设备．它提供全景图像信息．建立有效的全景视觉系统．可减少在利用其它镜头情况下的机械转到才可达到全景视觉的效果．因此采用鱼眼镜头识别目标更加方便．甚至可到达１８００的视场范围．２＇¨］。图像处理是需花费大量时间的。这和收稿日期：２０１０－０８—１８：修订日期：２０１０－１１－２５实时性矛盾．在本文中。采用ＦＰＧＡ＋ＤＳＰ芯片系统实现目标识别可克服图像处理速度慢不能达到实时识别的瓶颈问题。这套芯片系统主要做以下三个工作：图像实时采集及矫正，高效实时目标跟踪和ＦＰＧＡ、ＤＳＰ、ＰＣ三者通信，在ＰＣ上显示处理后的视频图像。实现实时目标跟踪．采用Ｆｒｅｅｍａｎ链码方法．是基于形状探测识别目标的方法。所以处理前要对图像二值化，减少颜色对其影响．当然这种方法会消耗大量时间．ＦＰＧＡ内部的并行处理结构和Ａｌｔｅｒａ公司提供的ＩＰ核可加快运算速度和对时钟管理．因基金项目：中芬国际合作项目（２００６ＤＦＡｌ２４１０）；天津市自然基金项目（１０ＪＣＣＢＪＣ２２８００）作者简介：李利（１９８４－），女，在读硕士研究生，研究方向为数字图像处理及机器观觉；曹作良（１９４５一），男，教授，研究方向为数字图像处理及机器视觉；赵首博（１９８５一），男，在读硕士研究生，研究方向为机器视觉。■万方数据而ＦＰＧＡ是适合这样复杂的链码识别算法的处理器。运行平台Ｃｙｃｌｏｎｅ１ＩＦＰＧＡ，ＴＭＳ３２０ＶＣ５５０２ＤＳＰ．应用软件ＱｕａｔｕｓＩＩ，ＣＣＳｔｕｄｉｏ３．１，以达到大范围目标识别和跟踪的目的。１基于ＦＰＧＡ图像实时采集和矫正１．１图像采集ＦＰＧＡ本身的并行结构特点．可以更好地完成实时图像采集的功能。ＳＡＡ７１１３Ｈ是一款功能强大且操作简单的９位视频输入处理芯片．该芯片采用ＣＭＯＳ工艺…．通过１２Ｃ总线与ＰＣ或ＦＰＧＡ相连构成应用系统。图像实时采集的一般标准：ＩＴＵ—Ｒ６５６：Ｙ：Ｕ：Ｖ（４：２：２）的视频输出【４．引。也就是每个像素都有自己的亮度信号Ｙ．但是输出的数据中每２个相邻的像素共用一组色差数据ｃｂ、ｃｒ。通常情况下．图像采集采用隔行扫描。一帧图像要传送２次．分别记为奇场和偶场【３１．这就需要将２场图像进行合并。这与实时性矛盾．因而只采集奇场信号达到实时性目标。ＳＡＡ７１１３Ｈ的ＶＰＯ数据总线以及ＲＴＳ０、ＲＴＳｌ、ＬＬＣ与ＦＰＧＡ相连．并且用ＤＳＰ的１２Ｃ总线来配置其内部的各个寄存器。ＳＡＡ７１１３Ｈ与ＦＰＧＡ的连接方式如图１所示。ＡＩｌｌＶＰ００—７１００一７ＡＩｌ２Ｕ上１０ＡＩｌ３Ａｌｌ４ＳＡＡ７１１３ＦＰＣＡＤＳＰＳＣＩ。ＲＴｓ０ＩＯＳＣＬＤＳＰＳＤＡＳＤＡＲＴＳＩＩＯ圈１ＳＡＡ７１１３Ｈ与ＦＰＧＡ的连接方式Ｆｉｇ．１ＣｏｎｎｅｃｔｉｏｎｗａｙｓｏｆＳＡＡ７１１３ＨａｎｄＦＰＧＡ１．２图像矫正鱼眼镜头使得图像畸变严重．影响后面的目标识别工作的进行．所以需要通过ＦＰＧＡ对采集图像进行矫正。在ＳＲＡＭ中开辟一块内存．作为存储矫正后图像所用。根据有关论文的地址计算公式【５］．计算每个矫正后图像的点对应的原图像中点的坐标．把计算出的坐标作为地址．重新采样相应的像素值到矫正后罔像．实现图像矫正。当ｌ帧图像扫描完全后，即完成｜冬ｊ像矫正，发送中断到ＤＳＰ．ＤＳＰ控制ＵＳＢ接１３传送图像数据给ＰＣ机显示。将很多浮点运算采用取整运算。虽然有误差。但是这种误差可自动诧与仪表２０１１。（２｝万方数据专题研细以接受，对图像矫正效果影响不大。Ａｈｅｒａ公司提供的ＩＰ核可以加快运算速度。矫正地址使用的球表面投影公式：Ｘ２＋，电２＝尺２（１）空间中一点Ａ（茗，Ｙ，：）指向原点０，这条射线与球表面交于Ａ’，而Ａ’投影到（ｘｏｙ）平面于Ａ”（Ｍ，移，０），如图２所示。则Ａ”（ｕ，秽，Ｄ）就是Ａ（ｘ，ｙ，彳）矫正后的坐标：互：上：衄：兰：必疆“秽、伍５矿Ｖ—Ｒ２－ｕ—２－ｖ２Ｒ（２）ｚ＝——』些一、／蒂＝丽侣型ｉｑ畏ｉ禹ｆ（３）ｚ，Ｙ，：）图２球表面投影模型Ｆｉｇ．２Ｓｐｈｅｒｉｃａｌｓｕｒｆａｃｅｐｒｏｊｅｃｔｉｏｎｍｏｄｅｌ２相关工作ＦＰＧＡ的特殊内部结构．使用窗１３暂时存储结构，可以充分发挥ＦＰＧＡ的并行工作的优势。２．１窗口暂时存储结构相邻像素可能对整个图像处理有着重要的作用．与此同时．这些像素提供了当前像素的重要信息．包括数据和地址。因此创建一种叫做“窗口暂时存储结构”。用于存储每个像素信息。窗１３暂时存储结构包含窗口缓冲寄存器（ｗｉｎｄｏｗｂｕｆｆｅｒ）。移位寄存器（ｓｈｉｆｔｒｅｇｉｓｔｅｒｂｕｆｆｅｒ）。窗１３缓冲寄存器主要由几个寄存器构成（数鳝可以自行确定）．主要暂存图像处理数据流。窗口缓冲寄存器可以看成一个矩阵结构．可以贮存每个像素的数据信息。本系统中。窗口缓冲寄存器可以存储综合信息．例如空间关系和相邻像素之间的关系。另外结构是移位寄存器，将串行像素转换并行。加快运算速度。通常采用３ｘ３或者５ｘ５的窗口缓冲寄存器。Ａｌｔｅｒａ公司提供参数化宏功能可以优化Ａｌｔｅｒａ设备结构。这种移位寄存日■一题研究器就是一种双端口ＲＡＭ（嵌入式存储块），一个时钟周期内支持单比特或多比特的数据传输．这个依据扇入扇出（ｓｈｉｆｉｉｎ，ｓｈｉｆｉｏｕｔ）的数据宽度。图３中显示了数据在窗Ｅｌ暂存存储结构中的流程。图３窗口暂时存储结构及功能（３ｘ３窗口，数据宽度为７）Ｆｉｇ．３Ｗ＇Ｉ＇ＡａｎｄｉｔｓｆｕｎｃｔｉｏｎＩ肥３。ｔｈｅｗｉｄｔｈｏｆｄａｔａ＝－７）２．２Ｆｒｅｅｍａｎ链码方法在采用链码方法前，试图采取Ｈｏｕｇｈ变换，基于形态学变换方法．其计算量很大［６］．导致识别目标结果不是很理想．所以最终采用链码方法。ＦＰＧＡ在采集图像时是对图像一个像素一个像素的处理而非图像流．对每个像素的处理是符合Ｆｒｅｅｍａｎ链码方法要求的。链码就是在图像中描述１个像素宽度的目标或线段边缘．边缘有像素坐标和信号序列表示。互相联系的像素组成１个域．任意２个有联系的像素．一定存在最大频率方向就为这２个像素之间的最终方向．这个最终方向是２个邻近像素的正确方向。１个像素有８个可能方向．如图４所示，将以遍历８个方向．如果一个像素同时存在２个相对方向．则此路可通。Ｏｌ２３’ｂｏｏｏ★３’叩１３’ｂｏｌ０，＼Ｉ／３．＿＿●４３’ｂｏｌｌ——ｐｉｘｅｌ——／Ｉ＼３’ｂ１００，｛Ｉ５７３’ｂｌＯｌ３’ｂｌｌ０３’ｂｌｌｌ图４每个像素的８个方向Ｆｉｇ．４Ｅｉｇｈｔａｄｊａｃｅｎｔｄｉｒｅｃｔｉｏｎｓｏｆｅｖｅｒｙｐｉｘｅｌ日万方数据系统中采用一个１２ｂｉｔ的寄存器存储像素数据和每个像素方向．像素方向占３ｂｉｔ．就是可能方向的频率。最后确定最大频率的那个方向为链码方向。采用３ｘ３窗口暂时存储结构．行列同时扫描，计算链码方向，算法如下：首先，ｄｉｒ［ｉ］属于链码值（‘ｐ（ｉ＋１））一个集合，则ｄｉｒ［ｉ］也成为第ｉ＋１个链码的主方向链。ｄｉｒ［ｉ］是３ｂｉｔ表示８个方向。第二，确定每个方向的频率．选择最大频率方向。如果计算器（ｃｏｕｎｔｉ）是最大频率，则方向为主方向，如图５所示，在点（５。６）开始扫描，到达点（５，３）后可能３个方向：（４，２），（５，２），（６，２），此时的链码值为４，５，６，‘ｐ（ｉ＋１）＝｛４，５．６｝，则主方向为３’ｂ１０１，因为频率值最大。第三，遍历过程中，面对第１个黑色像素．方向可能有（３，在链码值返回，输出图像，否则继续遍历。如果８个方向都没有黑色像素点，则此链码值无效。０ｌ２３４５６７ｏ图５直线识别的例子Ｆｉｇ．５Ｅｘａｍｐｌｅｏｆｒｅｃｏｇｎｉｚｉｎｇｔｈｅｌｉｎｅｓ实验及结果采用ＦＰＧＡ＋ＤＳＰ网像采集卡．如图６所示，它图６ＦＰＧＡ＋ＤＳＰ图像采集卡ＦＰＧＡ＋ＤＳＰｃｈｉｐ．ｔｈｅｉｍａｇｅｃａｒｄｗｅｈａｖｅｄｅｓｉｇｎｅｄ４。５。６），继续探测相应的像素，如果下个像素为黑，８个方向计数从０．７，依据互联原则．识别直线时可３实验及结果３．１显示了在这个图像采集卡上的一些重要部分．ＤＳＰ和ＦＰＧＡ的协同Ｔ作．视频信号通过ＳＡＡ７１１３芯片的解码，通过ＵＳＢ接口传送视频信号到ＰＣ机上。ＳＲＡＭ存储处理前后的图像信号等。Ｆｉｇ．６专题研细图７是用鱼眼镜头显示的实验窒的屋顶：图８是对畸变屋顶矫正后的结果：图９是实验窒的窗户：图１０是识别窗户中的阿线。３．２实时性使用ＦＰＧＡ完成这些功能。显示３２０ｘ２４０像素大小的图像，运行时间５．１ｍｓ（１０１．９２ＭＨｚｘ８０％）。这里最差的数据路径时钟频率是１０１．９２ＭＨｚ．选择这个频率的８０％作为系统时钟频率．而在ＭｉｃｒｏｓｏｆｔＶｉｓｕａｌＳｔｕｄｉｏ．６．０中运行同样功能的程序需要花费１７ｍｓ，由此可见，在ＦＰＧＡ上实现识别功能具有实时性．４结语本论文中．已经在ＦＰＧＡ＋ＤＳＰ图像处理板上应用Ｆｒｅｅｍａｎ链码实现了目标识别算法．并且具有实时性好、高效低功耗的特点。而且减少了光照的影响．片上系统支持复杂的运算．应用ＩＰ核更好地加快运算速度。实现了ＦＰＧＡ．ＤＳＰ和ＰＣ之间三者的通信。参考文献：［１］ＣａｏＺｕｏｌｉａｎｇ，ＬｉｕＳｈｉｙｕ，ＲｏｎｉｎｇＪｕｈａ．Ｏｎｍｉ－ｄｉｒｅｃｔｉｏｎａｌｖｉｓｉｏｎｌｏｃａｌｉｚａｔｉｏｎｂａｓｅｄｏｎｐａｒｔｉｃｌｅｆｉｌｔｅｒ【Ｃ】ＩＩＩｍａｇｅａｎｄＧｒａｐｈｉｃｓ２００７。Ｃｏｎｆｅｒｅｎｃｅ，２００７：４７８－４８３．［２］ＷｉｎｔｅｒｓＮ，ＧａｓｐａｒＪ．ＬａｃｅｙｖｉｓｉｏｎＧ．Ｓａｎｔｏｓ－Ｖｉｃｔｏｒ．Ｊ．Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌｆｏｒｒｏｂｏｔｎａｖｉｇａｔｉｏｎ［ＪＪ．ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｓｉｏｎ．Ｐｒｏｃ．ＩＥＥＥＷｏｒｋｓｈｏｐｏｎ．２０００：２１－２８．［３］孔样刚，诸静．阳涛．ＳＡＡ７１１３Ｈ在视频采集接口设计中的应用【Ｊ］．电子技术．２００３，３０（１２）：２６—２８．［４】ＺｈａｎｇＸｉｎｘｉ．ＬｉＹｏｎｇ，ＷａｎｇＪｉｎｙａｎｇ，ｅｔａ１．Ｄｅｓｉｇｎｏｆｈｉｇｈ－ｓｐ，ｅｅｄｉｍａｇｅｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｏｎｂａｓｅｄｏｎＦＰＧＡ［Ｃ】／／ＴｈｅＮｉｎｔｈＩｎｔｅｒ－ｎａｔｉｏｎａｌＣｏｎｆｅｆｅｎｃｅＥｌｅｃｔｒｏｎｉｃＭｅａｓｕｒｅｍｅｎｔ＆Ｉｎｓｔｒｕｍｅｎｔ．ＩＣＥ．ＭＩ．２００９：６５—６９．［５］黄有度．苏化明．一种鱼眼图像到透视投影图像的变换模型［Ｊ］．系统仿真学报，２００５．１７（Ｉ）：２９—３３．［６］ＨａｓｗａｄｉＨａｓａｎ．Ｈａｂｉｂ０ＩｌａｈｅｘｔｒａｃｔｉｏｎｕｓｉｎｇＨａｒｏｎ．ＳｉｔｉｄｉｆｆｅｒｅｎｔｉａｌＺａｉｔｏｎＨａ－ｓｈｉｍ．Ｆｒｅｅｍａｎｐａｒ－ｃｈａｉｎｃｏｄｅｔｉｃｌｅｅｎｃｅｅｖｏｌｕｔｉｏｎ（ＤＥ）ａｎｄｓｗｓ，ｒｌⅪｔｏｐｔｉｍｉｚａｔｉｏｎ（ＰＳＯ）【Ｃ】１１２００９ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒ－Ｒｅｃｏｇｎｉｔｉｏｎ．２００９：７７－８１．ｏｆＳｏｆｔＣｏｍｐｕｔｉｎｇａｎｄＰａｔｔｅｒｎ【７］席志红．孙丽华。孙昭光．基于鱼眼镜头的全视觉罔像【Ｊ］．应用科技．２００７．３４（１２）：８－１６．【８］ＳｈａｈＳ．ＡｇｇａｃｗａＪＫ．Ａｓｉｍｐｌｅｃａｌｉｂｒａｔｉｏｎｐｒｏｃｅｄｕｒｅｆｏｒｆｉｓｈ．ｅｙｅ（ｈｉｇｈ・ｄｉｓｔｏｒｔｉｏｎ）ｌｅｎｓ【Ｃ】／／ＰｒｏｃｅｅｄｉｎｇｓｏｆＣｏｎｆｅｒｅｎｃｅｏｎＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ．ＳａｎＤｉｅｇｏ，ＣＡ，ＵＳＡ．１９９４：３４２２—３４２７．［９］ＳＡＡ７１１３Ｈ９－ｂｉｔｖｉｄｅｏｉｎｐｕｔｐｒｏｃｅｓｓｏｒ．ＤａｔａＳｈｅｅｔ．Ｐｈｉｌｉｐｓ［Ｚ］．１９９９．■自动化与仪寰２０ｔｔｆ２）万方数据
