<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><br><div>hi,<br>&nbsp;&nbsp; That's because&nbsp; I'm using the Broadcom Nic for performing-test and found the uio problem("Cannot open /dev/uio0: Permission denied").<br>and I now RECHECKED&nbsp; the problem in my own VM environment。<br>Pity that, the uio Permission denied problem still alway exists.(the ovs2.7 is ok).<br><br></div><div>and the ovs is<span style="color: rgb(136, 0, 0);"> 2.8.1</span>, dpdk-1705.2<br><br></div><span style="background-color: rgb(192, 192, 192);">[root@localhost test]# rpm -qa | grep openvswitch<br>openvswitch-2.8.1-1.el7.centos.x86_64<br>openvswitch-debuginfo-2.8.1-1.el7.centos.x86_64<br>[root@localhost test]# rpm -qa | grep dpdk<br>dpdk-17.05.2-1.x86_64<br>dpdk-devel-17.05.2-1.x86_64<br>dpdk-debuginfo-17.05.2-1.x86_64</span><br><br><div><br><br><span style="background-color: rgb(192, 192, 192);">2017-11-22T11:37:24.909Z|00061|dpdk|WARN|EAL: rte_pci_probe_one execing.<br>2017-11-22T11:37:24.909Z|00062|dpdk|INFO|EAL: PCI device 0000:00:09.0 on NUMA socket -1<br>2017-11-22T11:37:24.909Z|00063|dpdk|INFO|EAL:&nbsp;&nbsp; probe driver: 8086:100e net_e1000_em<br>2017-11-22T11:37:24.909Z|00064|dpdk|ERR|EAL: Cannot open /dev/uio0: Permission denied<br>2017-11-22T11:37:24.909Z|00065|dpdk|WARN|EAL: Requested device 0000:00:09.0 cannot be used<br>2017-11-22T11:37:24.909Z|00066|dpdk|ERR|EAL: Driver cannot attach the device (0000:00:09.0)</span><br><br><br><span style="background-color: rgb(192, 192, 192);">[root@localhost test]# dpdk-devbind --status<br><br>Network devices using DPDK-compatible driver<br>============================================<br>0000:00:09.0 '82540EM Gigabit Ethernet Controller 100e' drv=igb_uio unused=<br>0000:00:0a.0 '82540EM Gigabit Ethernet Controller 100e' drv=igb_uio unused=<br><br>Network devices using kernel driver<br>===================================<br>0000:00:03.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=igb_uio *Active*</span><br><br><br><span style="background-color: rgb(192, 192, 192);">[root@localhost test]# lspci | egrep -i --color 'network|ethernet'<br>00:03.0 Ethernet controller: Red Hat, Inc Virtio network device<br>00:09.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 03)<br>00:0a.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 03)</span><br><br><span style="background-color: rgb(192, 192, 192);">[root@localhost test]# lshw -c network -businfo<br>Bus info&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Class&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Description<br>========================================================<br>pci@0000:00:03.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Virtio network device<br>virtio@0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; eth0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>pci@0000:00:09.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 82540EM Gigabit Ethernet Controller<br>pci@0000:00:0a.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 82540EM Gigabit Ethernet Controller<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; br0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ovs-system&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; virbr0-nic&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; virbr0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface</span><br><br><br><br><br><br><br></div><div style="position:relative;zoom:1"></div><br>在 2017-11-16 02:21:54,"Shivaram Mysore" &lt;shivaram.mysore@gmail.com&gt; 写道:<br> <blockquote id="isReplyContent" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"><div dir="ltr">Glad to hear that you solved the problem.<div><br></div><div>What you have are Intel NIC - 82540em.&nbsp; The driver igb_uio should work for this - which is what you have.&nbsp; I am confused as to why you said that you were using Broadcom Nextreme card&nbsp;</div><div><br></div><div>Anyways, it is good to hear that you were able to rectify the issue.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Nov 15, 2017 at 4:40 AM, 王嵘 <span dir="ltr">&lt;<a href="mailto:rong.wang@easystack.cn" target="_blank">rong.wang@easystack.cn</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div><div class="h5"><br><div>hi, I solved the NIC bind problem.<br>I checked the log found that<br><span style="background-color:rgb(192,192,192)">&nbsp;netdev_dpdk|ERR|Interface dpdk-eth2(rxq:1 txq:3) configure error: Invalid argument</span><br>so, I changed the rxq of the NIC to 3 by "options:n_rxq=3", and it works. ^^ <br><br>I tested the ovs2.8-dpdk in another VM of Centos7, but the "<span style="background-color:rgb(192,192,192);color:rgb(255,0,0)">Permission denied</span>" problem still exists.<br>Here is the results of the commands you asked to execute, <br></div><br>[root@localhost ~]# lshw -c network -businfo<br>Bus info&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Class&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Description<br>==============================<wbr></wbr>==========================<br>pci@0000:00:03.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Virtio network device<br>virtio@0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; eth0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>pci@0000:00:09.0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 82540EM Gigabit Ethernet Controller<br>pci@0000:00:0a.0&nbsp; ens10&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 82540EM Gigabit Ethernet Controller<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; br0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ovs-netdev&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; virbr0-nic&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; virbr0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; network&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Ethernet interface<br>[root@localhost ~]# lspci | egrep -i --color 'network|ethernet'<br>00:03.0 Ethernet controller: Red Hat, Inc Virtio network device<br>00:09.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 03)<br>00:0a.0 Ethernet controller: Intel Corporation 82540EM Gigabit Ethernet Controller (rev 03)<br>[root@localhost ~]# lsmod | grep uio<br>igb_uio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13224&nbsp; 1 <br>uio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 19259&nbsp; 3 igb_uio<br><br>[root@localhost test]#&nbsp; lsmod | grep uio<br>igb_uio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13224&nbsp; 0 <br>uio&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 19259&nbsp; 1 igb_uio<br><br><br><br><br><div style="zoom:1"></div><br>在 2017-11-15 04:29:34,"Shivaram Mysore" &lt;<a href="mailto:shivaram.mysore@gmail.com" target="_blank">shivaram.mysore@gmail.com</a>&gt; 写道:<br> </div></div><div><div class="h5"><blockquote id="m_-6536986810327580421isReplyContent" style="PADDING-LEFT:1ex;MARGIN:0px 0px 0px 0.8ex;BORDER-LEFT:#ccc 1px solid"><div dir="ltr">What is the output of the following commands:<div><br><div><br></div><div><span style="color:rgb(36,41,46);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap">lshw -c network -businfo</span><br></div><div><span style="color:rgb(36,41,46);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><br></span></div><div><span style="font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><font color="#000000">lspci | egrep -i --color 'network|ethernet'</font></span><span style="color:rgb(36,41,46);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><br></span></div><div><span style="font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><font color="#000000"><br></font></span></div><div><font color="#000000"><font face="SFMono-Regular, Consolas, Liberation Mono, Menlo, Courier, monospace"><span style="font-size:12px;white-space:pre-wrap">lsmod | grep uio</span></font><br></font></div><div><span style="color:rgb(106,115,125);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><br></span></div></div><div><span style="color:rgb(36,41,46);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap">/sbin/dpdk-devbind --status</span><span style="color:rgb(106,115,125);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><br></span></div><div><span style="color:rgb(36,41,46);font-family:SFMono-Regular,Consolas,&quot;Liberation Mono&quot;,Menlo,Courier,monospace;font-size:12px;white-space:pre-wrap"><br></span></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 13, 2017 at 9:29 PM, 王嵘 <span dir="ltr">&lt;<a href="mailto:rong.wang@easystack.cn" target="_blank">rong.wang@easystack.cn</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div>I just want to use ovs-2.8 for userspace connection-track, and I choose the&nbsp; latest LST DPDK 1705.</div><div>But, you mean theres is something like broadcom-uio.ko when using broadcom NIC?&nbsp;</div><div>I just have changed the&nbsp;&nbsp;config/common_base:</div><br><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_PMD=y</span></div><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_DEBUG=<wbr></wbr>y</span></div><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_DEBUG_<wbr></wbr>INIT=y</span></div><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_DEBUG_<wbr></wbr>RX=y</span></div><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_DEBUG_<wbr></wbr>TX=y</span></div><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_MF_SUP<wbr></wbr>PORT=y</span></div><div><span style="background-color:rgb(192,192,192)">CONFIG_RTE_LIBRTE_BNX2X_DEBUG_<wbr></wbr>PERIODIC=y</span></div><div><div class="m_-6536986810327580421h5"><div><br></div><br><br><div style="zoom:1"></div><br>在 2017-11-14 12:49:44,"Shivaram Mysore" &lt;<a href="mailto:shivaram.mysore@gmail.com" target="_blank">shivaram.mysore@gmail.com</a>&gt; 写道:<br> <blockquote id="m_-6536986810327580421m_-3772908555472190887isReplyContent" style="PADDING-LEFT:1ex;MARGIN:0px 0px 0px 0.8ex;BORDER-LEFT:#ccc 1px solid"><div dir="ltr">Is there a specific reason as to why you would want to use this version of DPDK?&nbsp; I have never had to check permission.<div><br></div><div>Also, igb is mainly for Intel NICs.&nbsp; You are using a Broadcom NIC -&nbsp;<a href="http://dpdk.org/doc/guides/nics/bnxt.html" target="_blank">http://dpdk.org/doc/guides/n<wbr></wbr>ics/bnxt.html</a> for driver info.&nbsp; I think what you have is a misconfiguration.</div><div><br></div><div>You may want to check out the scripts here&nbsp;<a href="https://github.com/shivarammysore/faucetsdn-intel/tree/master/src/ubuntu/zesty/ovs_281" target="_blank">https://github.com/shivar<wbr></wbr>ammysore/faucetsdn-intel/tree/<wbr></wbr>master/src/ubuntu/zesty/ovs_<wbr></wbr>281</a> - to setup and configure DPDK.&nbsp; I have only used Intel NICs.</div><div><br></div><div>Cheers!</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Nov 13, 2017 at 6:50 PM, 王嵘 <span dir="ltr">&lt;<a href="mailto:rong.wang@easystack.cn" target="_blank">rong.wang@easystack.cn</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div>hi, I'm using ovs2.8 with dpdk-17052, and the&nbsp;'<span style="color:rgb(255,0,0)"><b>NetXtreme II BCM57810 10 Gigabit Ethernet 168e</b></span>'.</div><div>There comes the error, while I try to bind the NIC using igb_uio.</div><div><br></div><div><div><span style="background-color:rgb(192,192,192)">2017-11-14T02:25:18.400Z|00362<wbr></wbr>|dpdk|INFO|EAL:&nbsp; &nbsp;probe driver: 14e4:168e net_bnx2x</span></div><div><span style="background-color:rgb(192,192,192)">2017-11-14T02:25:18.400Z|00363<wbr></wbr>|dpdk|ERR|EAL: </span><span style="background-color:rgb(192,192,192);color:rgb(255,0,0)">Cannot open /dev/uio0: Permission denied</span></div></div><div><br></div><div>Then I chmod the file, like "chmod 777 /dev/uio0",(but I dont think this is right way.)</div><div>but there comes other files with the same error, and I also chmod them.</div><div>And I do the actions:</div><div><div>chmod 777 /sys/bus/pci/devices/0000:20:0<wbr></wbr>0.1/*</div><div>chmod 777 /sys/class/uio/uio0/device/con<wbr></wbr>fig</div></div><div><br></div><div>Then , restart the ovs-dpdk,</div><div>But, there comes the following error:</div><div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>80|dpdk|ERR|PMD: pci_read(): Can't read from PCI config space</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>81|dpdk|ERR|PMD: pci_read(): Can't read from PCI config space</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>82|dpdk|ERR|PMD: pci_read(): Can't read from PCI config space</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>83|dpdk|ERR|PMD: </span><span style="background-color:rgb(192,192,192);color:rgb(255,0,0)">pci_read(): Can't read from PCI config space</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>84|dpdk|INFO|PMD: bnx2x_pci_get_caps(): Failed to allocate memory</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>85|dpdk|INFO|PMD: bnx2x_attach(): PCIe caps reading was failed</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>86|dpdk|ERR|PMD: bnx2x_common_dev_init(): bnx2x_attach failed (-12)</span></div><div><span style="color:rgb(0,0,0);background-color:rgb(192,192,192)">2017-11-14T02:40:05.436Z|83845<wbr></wbr>87|dpdk|ERR|EAL: Requested device 0000:20:00.1 cannot be used</span></div></div><div><br></div><div>So, why there comes the Permission prolem? And what should I do for the PCIe error? Or it is the NIC drivers' problem?</div><div>Thanks a lot.</div><div><br></div></div><br>______________________________<wbr></wbr>_________________<br>
discuss mailing list<br>
<a href="mailto:discuss@openvswitch.org" target="_blank">discuss@openvswitch.org</a><br>
<a href="https://mail.openvswitch.org/mailman/listinfo/ovs-discuss" rel="noreferrer" target="_blank">https://mail.openvswitch.org/m<wbr></wbr>ailman/listinfo/ovs-discuss</a><br>
<br></blockquote></div><br></div>
</blockquote></div></div></div></blockquote></div><br></div>
</blockquote></div></div></div></div></blockquote></div><br></div>
</blockquote></div>