<div dir="ltr">Hi Christian,<div><br></div><div>Ok.  Here is what I did now.  I restarted ovswitch and below are the logs.  I think I found one issue from this:</div><div><br></div><div><span style="font-family:monospace,monospace;background-color:rgb(255,255,0)">Nov 24 23:03:59 ovswitch systemd-udevd[3243]: Could not generate persistent MAC address for ovs-netdev: No such file or directory</span><br></div><div><span style="font-family:monospace,monospace;background-color:rgb(255,255,0)"><br></span></div><div><span style="font-family:monospace,monospace;background-color:rgb(255,255,0)"><br></span></div><div><br></div><div><br></div><div><font face="monospace, monospace">root@ovswitch:/ #<b> tail -f /var/log/openvswitch/ovs-vswitchd.log</b> <br></font></div><div><div><font face="monospace, monospace">2016-11-25T07:03:58.707Z|00002|daemon_unix(monitor)|INFO|pid 2313 died, exit status 0, exiting</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.085Z|00001|vlog|INFO|opened log file /var/log/openvswitch/ovs-vswitchd.log</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.089Z|00002|ovs_numa|INFO|Discovered 2 CPU cores on NUMA node 0</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.089Z|00003|ovs_numa|INFO|Discovered 1 NUMA nodes and 2 CPU cores</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.089Z|00004|reconnect|INFO|unix:/var/run/openvswitch/db.sock: connecting...</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.090Z|00005|reconnect|INFO|unix:/var/run/openvswitch/db.sock: connected</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.092Z|00006|dpdk|INFO|DPDK Enabled, initializing</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.092Z|00007|dpdk|INFO|No vhost-sock-dir provided - defaulting to /var/run/openvswitch</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.092Z|00008|dpdk|INFO|EAL ARGS: ovs-vswitchd --socket-mem 1024,0 -c 0x00000001</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.785Z|00009|dpdk|INFO|DPDK pdump packet capture enabled</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.796Z|00010|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports recirculation</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.796Z|00011|ofproto_dpif|INFO|netdev@ovs-netdev: MPLS label stack length probed as 3</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.796Z|00012|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports truncate action</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.796Z|00013|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports unique flow ids</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.796Z|00014|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports ct_state</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.797Z|00015|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports ct_zone</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.797Z|00016|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports ct_mark</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.797Z|00017|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath supports ct_label</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.797Z|00018|ofproto_dpif|INFO|netdev@ovs-netdev: Datapath does not support ct_state_nat</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.934Z|00019|bridge|WARN|could not open network device dpdk1 (No such device)</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.934Z|00020|bridge|INFO|bridge ovsdpdkbr0: added interface ovsdpdkbr0 on port 65534</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.934Z|00021|bridge|WARN|could not open network device dpdk0 (No such device)</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.934Z|00022|bridge|WARN|could not open network device dpdk2 (No such device)</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.935Z|00023|bridge|INFO|bridge ovsdpdkbr0: using datapath ID 00007ecbdec5534d</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.935Z|00024|connmgr|INFO|ovsdpdkbr0: added service controller &quot;punix:/var/run/openvswitch/ovsdpdkbr0.mgmt&quot;</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.936Z|00025|bridge|WARN|could not open network device dpdk1 (No such device)</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.936Z|00026|bridge|WARN|could not open network device dpdk0 (No such device)</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.936Z|00027|bridge|WARN|could not open network device dpdk2 (No such device)</font></div><div><font face="monospace, monospace">2016-11-25T07:03:59.937Z|00028|bridge|INFO|ovs-vswitchd (Open vSwitch) 2.6.0</font></div><div><font face="monospace, monospace">2016-11-25T07:04:09.460Z|00029|memory|INFO|85392 kB peak resident set size after 10.4 seconds</font></div><div><font face="monospace, monospace">2016-11-25T07:04:09.460Z|00030|memory|INFO|handlers:1 ports:1 revalidators:1 rules:5</font></div></div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">root@ovswitch:/ # <b>tail -f /var/log/syslog</b><br></font></div><div><div><font face="monospace, monospace">Nov 24 23:03:38 ovswitch dhclient[2493]: message repeated 7 times: [ DHCPREQUEST of 10.10.11.11 on enp1s0 to 10.10.22.5 port 67 (xid=0xf42368d)]</font></div><div><font face="monospace, monospace">Nov 24 23:03:47 ovswitch systemd[1]: Started Session 4 of user ovs.</font></div><div><font face="monospace, monospace">Nov 24 23:03:51 ovswitch dhclient[2493]: DHCPREQUEST of 10.10.11.11 on enp1s0 to 10.10.22.5 port 67 (xid=0xf42368d)</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Stopping Open vSwitch...</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Stopped Open vSwitch.</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Stopping Open vSwitch Internal Unit...</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Reloading.</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: snapd.refresh.timer: Adding 3h 3min 20.463373s random time.</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: snapd.refresh.timer: Adding 1h 54min 43.558579s random time.</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch ovs-ctl[3129]:  * Exiting ovs-vswitchd (2313)</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch kernel: [  373.194880] device ovs-netdev left promiscuous mode</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch ovs-ctl[3129]:  * Exiting ovsdb-server (2261)</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Stopped Open vSwitch Internal Unit.</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Starting Open vSwitch Internal Unit...</font></div><div><font face="monospace, monospace">Nov 24 23:03:58 ovswitch systemd[1]: Reloading.</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch systemd[1]: snapd.refresh.timer: Adding 4h 14min 33.062182s random time.</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch systemd[1]: snapd.refresh.timer: Adding 5h 35min 2.197582s random time.</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]:  * Starting ovsdb-server</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vsctl: ovs|00001|vsctl|INFO|Called as ovs-vsctl --no-wait -- init -- set Open_vSwitch . db-version=7.14.0</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vsctl: ovs|00001|vsctl|INFO|Called as ovs-vsctl --no-wait set Open_vSwitch . ovs-version=2.6.0 &quot;external-ids:system-id=\&quot;d1e18317-5af2-4345-a433-6d7559a90741\&quot;&quot; &quot;external-ids:hostname=\&quot;ovswitch\&quot;&quot; &quot;system-type=\&quot;ubuntu\&quot;&quot; &quot;system-version=\&quot;16.10\&quot;&quot;</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]:  * Configuring Open vSwitch system IDs</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL: Detected 2 lcore(s)</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL: Probing VFIO support...</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: PMD: bnxt_rte_pmd_init() called for (null)</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: PMD: bnxt_rte_pmd_init() called for (null)</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL: PCI device 0000:01:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL: PCI device 0000:02:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL: PCI device 0000:03:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL: PCI device 0000:05:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL: PCI device 0000:01:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL: PCI device 0000:02:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL: PCI device 0000:03:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL: PCI device 0000:05:00.0 on NUMA socket -1</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-vswitchd[3236]: EAL:   probe driver: 8086:1539 rte_igb_pmd</font></div><div><font face="monospace, monospace" style="background-color:rgb(255,255,0)">Nov 24 23:03:59 ovswitch systemd-udevd[3243]: Could not generate persistent MAC address for ovs-netdev: No such file or directory</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch kernel: [  374.335853] device ovs-netdev entered promiscuous mode</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch kernel: [  374.474272] device ovsdpdkbr0 entered promiscuous mode</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]:  * Starting ovs-vswitchd</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch ovs-ctl[3190]:  * Enabling remote OVSDB managers</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch systemd[1]: Started Open vSwitch Internal Unit.</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch systemd[1]: Starting Open vSwitch...</font></div><div><font face="monospace, monospace">Nov 24 23:03:59 ovswitch systemd[1]: Started Open vSwitch.</font></div><div><font face="monospace, monospace">Nov 24 23:04:06 ovswitch dhclient[2493]: DHCPREQUEST of 10.10.11.11 on enp1s0 to 10.10.22.5 port 67 (xid=0xf42368d)</font></div><div><font face="monospace, monospace">Nov 24 23:04:59 ovswitch dhclient[2493]: message repeated 3 times: [ DHCPREQUEST of 10.10.11.11 on enp1s0 to 10.10.22.5 port 67 (xid=0xf42368d)]</font></div><div><font face="monospace, monospace">Nov 24 23:05:01 ovswitch CRON[3360]: (root) CMD (   test -x /etc/cron.daily/popularity-contest &amp;&amp; /etc/cron.daily/popularity-contest --crond)</font></div><div><font face="monospace, monospace">Nov 24 23:05:08 ovswitch dhclient[2493]: DHCPREQUEST of 10.10.11.11 on enp1s0 to 10.10.22.5 port 67 (xid=0xf42368d)</font></div></div><div><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Nov 24, 2016 at 10:47 PM, Christian Ehrhardt <span dir="ltr">&lt;<a href="mailto:christian.ehrhardt@canonical.com" target="_blank">christian.ehrhardt@canonical.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div class="gmail_extra"><span class=""><br><div class="gmail_quote">On Thu, Nov 24, 2016 at 8:10 PM, Shivaram Mysore <span dir="ltr">&lt;<a href="mailto:shivaram.mysore@gmail.com" target="_blank">shivaram.mysore@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I don&#39;t think I have missed anything.  What is wrong in my setup?</blockquote></div><br></span>LGTM so far - and I lack the equivalent cards to fully reproduce your case.</div><div class="gmail_extra"><br></div><div class="gmail_extra">But as I outlined before the init phase of OVS with dpdk enabled can also be important.</div><div class="gmail_extra">I shared a link to my logs before in this thread.</div><div class="gmail_extra"><br></div><div class="gmail_extra">You might check there, and post these logs as well if you don&#39;t find anything right away.</div><div class="gmail_extra">They are not in ovs-vswitchd.log but in journal, I&#39;d look for something like what I had in column three of <a href="http://paste.ubuntu.com/17581296/" target="_blank">http://paste.ubuntu.com/<wbr>17581296/</a></div><span class=""><div class="gmail_extra"><br></div><div class="gmail_extra"><br></div><div class="gmail_extra"><br><br clear="all"><div><br></div>-- <br><div class="m_-3001282163893696991gmail_signature"><div dir="ltr"><div><div dir="ltr"><span style="color:rgb(136,136,136);font-size:12.8px">Christian Ehrhardt</span><div style="color:rgb(136,136,136);font-size:12.8px">Software Engineer, Ubuntu Server</div><div style="color:rgb(136,136,136);font-size:12.8px">Canonical Ltd</div></div></div></div></div>
</div></span></div>
</blockquote></div><br></div>