<html xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:Wingdings;
        panose-1:5 0 0 0 0 0 0 0 0 0;}
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:"Times New Roman \(Body CS\)";
        panose-1:2 11 6 4 2 2 2 2 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;
        mso-fareast-language:EN-US;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Tahoma",sans-serif;
        font-variant:normal !important;
        color:#1F3864;
        text-transform:none;
        text-decoration:none none;
        vertical-align:baseline;}
.MsoChpDefault
        {mso-style-type:export-only;
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:2.0cm 42.5pt 2.0cm 3.0cm;}
div.WordSection1
        {page:WordSection1;}
/* List Definitions */
@list l0
        {mso-list-id:835805819;
        mso-list-template-ids:-1011196518;}
@list l0:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:36.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l0:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:72.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:"Courier New";
        mso-bidi-font-family:"Times New Roman";}
@list l0:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:108.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:144.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level5
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:180.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:216.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:252.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level8
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:288.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l0:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:324.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1
        {mso-list-id:1041713614;
        mso-list-template-ids:1147951024;}
@list l1:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:36.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l1:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:72.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:"Courier New";
        mso-bidi-font-family:"Times New Roman";}
@list l1:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:108.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:144.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1:level5
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:180.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:216.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:252.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1:level8
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:288.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l1:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:324.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2
        {mso-list-id:1381782898;
        mso-list-template-ids:-1972568920;}
@list l2:level1
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:36.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Symbol;}
@list l2:level2
        {mso-level-number-format:bullet;
        mso-level-text:o;
        mso-level-tab-stop:72.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:"Courier New";
        mso-bidi-font-family:"Times New Roman";}
@list l2:level3
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:108.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2:level4
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:144.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2:level5
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:180.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2:level6
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:216.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2:level7
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:252.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2:level8
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:288.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
@list l2:level9
        {mso-level-number-format:bullet;
        mso-level-text:;
        mso-level-tab-stop:324.0pt;
        mso-level-number-position:left;
        text-indent:-18.0pt;
        mso-ansi-font-size:10.0pt;
        font-family:Wingdings;}
ol
        {margin-bottom:0cm;}
ul
        {margin-bottom:0cm;}
--></style>
</head>
<body lang="RU" link="#0563C1" vlink="#954F72">
<div class="WordSection1">
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">Hi all.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">I’m trying to configure OVN manually on my CentOS 7.5 server and have two connectivity issues when I use stateful acls.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">Could somebody point me on any type of misconfiguration or say that such topology shouldn’t work?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">I use 2.12.0 version for openvswitch, openvswitch-kmod and ovn (taken from
</span><span style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><a href="http://openvswitch.org"><span lang="EN-US">openvswitch.org</span></a></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">).<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">(apologize for long read)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">First configuration and issue.<o:p></o:p></span></b></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">All tests are done on all-in-one node.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">I’ve got next topology (see ascii scheme):<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                                       +---------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                  +--------------------- lswitch |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                  |                    +|-------|+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                  |                     |       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                  |                     |       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                  |      +--------------|-------|------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                         +--------|--+   |    +---------|-+   +-|----------+ |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                         |   lport1  |   |    |   lport2  |   |   lport3   | |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                         | 172.31.0.1|   |    | 172.31.0.4|   | 172.31.0.5 | |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                         +---------|-+   |    +---------|-+   +-|----------+ |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                   |     | port_group_1 |       |            |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                   |     +--------------|-------|------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                   |                    |       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                   |                    |       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            +----------------------|--+  +--------------|-+  +--|----------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            | router-vm         +--|-+|  | vm1      +---|+|  | +|---+              vm2 |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |         172.31.0.1|eth0||  |172.31.0.4|eth0||  | |eth0|172.31.0.5        |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |                   +----+|  |          +----+|  | +----+                  |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            | # ip r                  |  |                |  | net.ipv4.ip_forward = 1 |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            | 172.31.0.0/24 dev eth0  |  |                |  | +---------------+       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            | 10.0.0.1 via 172.31.0.5 |  |                |  | |lo: 10.0.0.1/32|       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |                         |  |                |  | +---------------+       |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            +-------------------------+  +----------------+  +-------------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">             acl<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            +------------------------------------------------------------+---------------+
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |to-lport  | 1001  |outport == @port_group_1 && ip           |drop           | (default-drop)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |to-lport  | 1002  |outport == @port_group_1 && ip4 && icmp4 |allow-related  |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |from-lport| 1001  |inport == @port_group_1 && ip            |drop           | (default-drop)<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |from-lport| 1002  |inport == @port_group_1 && ip            |allow-related  |
<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">           
</span><span style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">+------------------------------------------------------------+---------------+
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<ul style="margin-top:0cm" type="disc">
<li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">One logical switch with three VIF logical ports attached to QEMU virtual machines with tap interfaces.<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">lport2 and port3 reside in one port group (port_group_1).<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">each port is assigned with mac address and ipv4 address in NorthBound, same mac and IP assigned inside vms.<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">port_group_1 has assigned acls for ingress and egress default drop rules (see table above) and allow-related `all`
 for egress (from the VM point of view, from-lport) and allow-related icmp4 for ingress (from VM point of view, to-lport).<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">lport1 and lswitch have no assigned port_group/acls.<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">vm2 has assigned IP from another subnet (10.0.0.1/32), enabled net.ipv4.ip_forward =1 and no iptables rules with
 accept policy.<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l2 level1 lfo1"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">router-vm (lport1) has route to 10.0.0.1/32 via vm2 (172.31.0.5), enabled net.ipv4.ip_forward =1 and no iptables
 rules with accept policy.<o:p></o:p></span></li></ul>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">When I start ping from vm1 to vm2 loopback address (172.31.0.4 -> 10.0.0.1), ping succeeds (it goes through router-vm, reaches vm2 and reply goes
 directly from vm2 to vm1.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">When I start ping from vm2 to vm1 from loopback address (10.0.0.1 as a source IP), I have 100% packet loss. Reply packet goes out vm1 and get dropped
 in the OVS datapath (I see drop datapath flow with in_port - VM1, and incresing counter).<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">What do I do wrong?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"># ovs-dpctl dump-flows | grep drop<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">recirc_id(0xbd5b),in_port(14),ct_state(+inv+trk),eth(),eth_type(0x0800),ipv4(frag=no), packets:1, bytes:98, used:0.803s, actions:drop<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">[root@dev ~]# grep icmp /proc/net/nf_conntrack<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">ipv4     2 icmp     1 29 src=10.0.0.1 dst=172.31.0.4 type=8 code=0 id=22278 src=172.31.0.4 dst=10.0.0.1 type=0 code=0 id=22278 mark=0 zone=7 use=2<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">ipv4     2 icmp     1 29 src=10.0.0.1 dst=172.31.0.4 type=8 code=0 id=22278 [UNREPLIED] src=172.31.0.4 dst=10.0.0.1 type=0 code=0 id=22278 mark=0 zone=8
 use=2<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">When I add next route on VM1: 10.0.0.1/32 via 172.31.0.5, ping succeeds in both directions.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">Is it possible to make this topology work without this specific route? I need to route this traffic through router-vm.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">Second configuration and issue.<o:p></o:p></span></b></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">Here the second server with CentOS 7.5 added. It has a role VTEP Emulator. ovs-controller-vtep and ovs-vtep python scripts from OVS source tree runs.
 open_vswitch and hardware_vtep databases configured. I used instructions from </span>
<span style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><a href="http://docs.openvswitch.org/en/latest/howto/vtep/"><span lang="EN-US">http://docs.openvswitch.org/en/latest/howto/vtep/</span></a></span><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                      +-----------+                   <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                      |  lswitch  |                   <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                      +-|-------|-+                   <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                        |       |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                        |       |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          +-------------|-+    +--------------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          | +-----------|+|    | lport2                   |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          | |lport1      ||    | type=vtep                |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          | |172.31.0.4  ||    | addresses=unknown        |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          | +-----------|+|    | vtep_physical_switch=br0 |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |             | |    | vtep_logical_switch=ls1  |<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          | port_group_1| |    +--------------------------+<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |             | |                           <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          +-------------|-+                           <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                                        |                             <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          +-------------|-------+                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |+------------|-+     |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          ||eth0          |     |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          ||172.31.0.4/24 |     |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |+--------------+     |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |                     |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |                     |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          |vm1                  |                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">                          +---------------------+                     <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">             acl                                                                                                                                        
            <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            +------------------------------------------------------------+---------------+                                                              
            <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |to-lport  | 1001  |outport == @port_group_1 && ip           |drop           | (default-drop)                                               
            <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |to-lport  | 1002  |outport == @port_group_1 && ip4 && icmp4 |allow-related  |                                                              
            <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |from-lport| 1001  |inport == @port_group_1 && ip            |drop           | (default-drop)                                               
            <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">            |from-lport| 1002  |inport == @port_group_1 && ip            |allow-related  |                                                              
            <o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">           
</span><span style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">+------------------------------------------------------------+---------------+                                                                          <o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<ul style="margin-top:0cm" type="disc">
<li class="MsoNormal" style="color:#1F3864;mso-list:l1 level1 lfo2"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">there is one logical switch lswitch<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l1 level1 lfo2"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">to logical ports attached to lswitch - lport1 and lport2<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l1 level1 lfo2"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">lport1 is a normal VIF port with configured mac and ip address in North DB, same l2/l3 addresses configured inside
 VM attached to this lport via tap interface<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l1 level1 lfo2"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">lport1 assigned to port_group_1<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l1 level1 lfo2"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">port_group_1 is assigned to same acls as in previous case (see scheme above). ingress (to-lport icmp4 allow-related)<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l1 level1 lfo2"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">lport2 has type vtep, addresses set to unknown, vtep_logical_switch configured to appropriate logical switch from
 vtep DB and vtep_hardware_switch configured to HW VTEP switch PS name.<o:p></o:p></span></li></ul>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">On the vtep emulator side:<o:p></o:p></span></p>
<ul style="margin-top:0cm" type="disc">
<li class="MsoNormal" style="color:#1F3864;mso-list:l0 level1 lfo3"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">created lswitch in hardware_vtep DB<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l0 level1 lfo3"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">configured binding for lswitch, outgoing port (OVS internal port `vlans` in bridge br0) and vlan 10.<o:p></o:p></span></li><li class="MsoNormal" style="color:#1F3864;mso-list:l0 level1 lfo3"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif">on top of `vlans` OVS port I created virtual port vlan10 (ip li add link vlans name vlan10 vlan id 10), assigned
 IP 172.31.0.200/24 and brought it up.<o:p></o:p></span></li></ul>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">If I ping from VTEP side (vlan10) to VM (172.31.0.200 -> 172.31.0.4), ping succeeds.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">If I ping in the reverse direction (172.31.0.4 -> 172.31.0.200), I have 100% ping loss. And at the same time with tcpdump I see, that ICMP request
 successfully went from node with ovn-controller to VTEP emulator, it reached vlan10 interface, and the ICMP response came to hypervisor node. On this node it got dropped. I see datapath drop flow:<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"># ovs-dpctl dump-flows | grep drop<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">recirc_id(0xc3),tunnel(tun_id=0x1,src=192.168.0.13,dst=192.168.0.9,flags(-df-csum+key)),in_port(2),ct_state(+inv+trk),eth(),eth_type(0x0800),ipv4(frag=no),
 packets:3635, bytes:356230, used:0.072s, actions:drop<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">192.168.0.9 - hypervisor tunnel IP<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">192.168.0.13 - VTEP emulator tunnel IP<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">[root@dev ~]# tcpdump -eni eth0 port 4789<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">tcpdump: verbose output suppressed, use -v or -vv for full protocol decode<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">listening on eth0, link-type EN10MB (Ethernet), capture size 262144 bytes<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">19:33:57.597093 0a:00:b7:77:b1:80 > 0a:00:7f:6a:6f:00, ethertype IPv4 (0x0800), length 148: 192.168.0.9.37376 > 192.168.0.13.4789: VXLAN, flags [I] (0x08),
 vni 1<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">0a:00:f6:a1:93:e0 > 46:fc:d2:cc:ae:0e, ethertype IPv4 (0x0800), length 98: 172.31.0.4 > 172.31.0.200: ICMP echo request, id 40705, seq 1873, length 64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">19:33:57.597380 0a:00:7f:6a:6f:00 > 0a:00:b7:77:b1:80, ethertype IPv4 (0x0800), length 148: 192.168.0.13.44458 > 192.168.0.9.4789: VXLAN, flags [I] (0x08),
 vni 1<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">46:fc:d2:cc:ae:0e > 0a:00:f6:a1:93:e0, ethertype IPv4 (0x0800), length 98: 172.31.0.200 > 172.31.0.4: ICMP echo reply, id 40705, seq 1873, length 64<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">[root@dev ~]# grep zone=4 /proc/net/nf_conntrack<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Courier New";color:#1F3864">ipv4     2 icmp     1 29 src=172.31.0.4 dst=172.31.0.200 type=8 code=0 id=44033 [UNREPLIED] src=172.31.0.200 dst=172.31.0.4 type=0 code=0 id=44033 mark=0
 zone=4 use=2<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">How to understand, why does conntrack decide these packets as invalid?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">And what do I miss in this configuration?<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864">Thank you if read till the end. If you have any suggestions they’d be highly appreciated.<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.5pt;font-family:"Tahoma",sans-serif;color:#1F3864"><o:p> </o:p></span></p>
<div style="border:none;border-bottom:solid windowtext 1.0pt;padding:0cm 0cm 1.0pt 0cm">
<p class="MsoNormal"><span lang="EN-US" style="font-size:11.0pt;color:#1F3864;mso-fareast-language:EN-GB"><o:p> </o:p></span></p>
</div>
<p class="MsoNormal"><span lang="EN-US" style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:#003366;background:white;mso-fareast-language:EN-GB">Regards,</span><span lang="EN-US" style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:#003366;mso-fareast-language:EN-GB"><br>
<br>
<span style="background:white">Vladislav Odintsov</span></span><span lang="EN-US"><o:p></o:p></span></p>
</div>
</body>
</html>