<div dir="ltr">Thanks for sharing.  Yes - I have heard of some folks using Mellanox cards.  But, I was more curious about use of Intel FM10000 series - FM10420 and FM10840 chipset which Silicom and I think Lanner also has these cards with OVS.<div><br></div><div>Thanks</div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Nov 2, 2018 at 4:35 AM &lt;<a href="mailto:adamv0025@netconsultings.com">adamv0025@netconsultings.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div lang="EN-GB" link="blue" vlink="purple"><div class="m_-215159157878644006WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">Thank you very much for the slides,<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">Hmm the presentation doesn’t actually have much detail on why the upper bound is ~30G (I guess per port), well with 6 cores anyways, using the slow x86 path.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">So is the point you’re trying to make that above 40G per port one needs to enter the realm of “smart” NICs please<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">If true then I’d be interested in how do these differ from the say P4/Tofino like chips.<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">I guess that’s the realm where I’d be limited in terms of available OVS features to only those for which a HW acceleration is available on the NIC –is that assumption correct please? <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060"> <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">adam <u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060"><u></u> <u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060"><a href="http://netconsultings.com" target="_blank">netconsultings.com</a></span><span style="font-size:10.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060"><u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060">::carrier-class solutions for the telecommunications industry::<u></u><u></u></span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif;color:#002060"><u></u> <u></u></span></p><div style="border:none;border-left:solid blue 1.5pt;padding:0in 0in 0in 4.0pt"><div><div style="border:none;border-top:solid #e1e1e1 1.0pt;padding:3.0pt 0in 0in 0in"><p class="MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif">From:</span></b><span lang="EN-US" style="font-size:11.0pt;font-family:&quot;Calibri&quot;,sans-serif"> Joel Wirāmu Pauling [mailto:<a href="mailto:joel@aenertia.net" target="_blank">joel@aenertia.net</a>] <br><b>Sent:</b> Friday, November 02, 2018 9:40 AM<br><b>To:</b> <a href="mailto:adamv0025@netconsultings.com" target="_blank">adamv0025@netconsultings.com</a><br><b>Cc:</b> Shivaram Mysore; <a href="mailto:ovs-discuss@openvswitch.org" target="_blank">ovs-discuss@openvswitch.org</a><br><b>Subject:</b> Re: [ovs-discuss] 100G with OvS<u></u><u></u></span></p></div></div><p class="MsoNormal"><u></u> <u></u></p><div><p class="MsoNormal">Have a look at : <u></u><u></u></p><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><a href="https://m.youtube.com/watch?v=MglrK-JTiqc" target="_blank">https://m.youtube.com/watch?v=MglrK-JTiqc</a><u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal">Disclaimer I worked for Nuage at the time that was done, and work for Redhat now.<u></u><u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div><div><p class="MsoNormal"><u></u> <u></u></p></div></div><p class="MsoNormal"><u></u> <u></u></p><div><div><p class="MsoNormal">On Fri, 2 Nov 2018, 22:23 &lt;<a href="mailto:adamv0025@netconsultings.com" target="_blank">adamv0025@netconsultings.com</a> wrote:<u></u><u></u></p></div><blockquote style="border:none;border-left:solid #cccccc 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in"><p class="MsoNormal" style="margin-bottom:12.0pt">&gt; <a href="mailto:bounces@openvswitch.org" target="_blank">bounces@openvswitch.org</a>] On Behalf Of Joel Wiramu Pauling<br>&gt; Sent: Thursday, November 01, 2018 10:29 PM<br>&gt; <br>&gt; Currently - doing slow-path through commodity x86 silicon you are pretty<br>&gt; much capped at 40gbit; so beyond a few use cases where you are say<br>&gt; writting to an NVME array directly within minimal CPU interaction 100G to<br>&gt; nodes is relatively limited. I&#39;ve read several relatively good analysis<br>which<br>&gt; indicate that we are close to physical limits when we hit around 130Gbit<br>with<br>&gt; Ethernet ; but currently 40Gbit through existing x86_64 architectures is<br>about<br>&gt; spot on.<br>&gt; <br>Hi Joel,<br><br>Thank you very much for the info,<br><br>I assume this limit is per physical NIC is that the case please?<br>(I&#39;m wondering if I&#39;d get a ~100Gbps worth of throughput (100G in + 100G<br>out) through the system as a whole -i.e. multiple interfaces, essentially<br>turning it into an OVS-router.<br><br>Would you please share what is the limiting factor? <br>(just found that PCIe 3.0 x16 should be capped at 126.075Gbps usable BW;<br>DDR3-2133 @ ~136.5Gbps and Intel® Xeon® Processor E5 Family it&#39;s 372.8 Gbps)<br><br>Thakn you very much<br><br>adam<br><br><a href="http://netconsultings.com" target="_blank">netconsultings.com</a><br>::carrier-class solutions for the telecommunications industry::<u></u><u></u></p></blockquote></div></div></div></div></blockquote></div>