<?xml version="1.0" encoding="utf-8" standalone="yes"?><rss version="2.0" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:atom="http://www.w3.org/2005/Atom"><channel><title>Maciej[cc] &#187; cloud</title><atom:link href="https://nabozny.io/tag/cloud/index.xml" rel="self" type="application/rss+xml"/><link>https://nabozny.io/tag/cloud/</link><description>Blog o programowaniu i nie tylko</description><lastBuildDate>Sun, 24 Nov 2019 10:50:10 +0000</lastBuildDate><language>pl-PL</language><generator>Hugo 0.167.0</generator><item><title>Kubernetes – co w sieci piszczy</title><link>https://nabozny.io/kubernetes-co-w-sieci-piszczy/</link><dc:creator>maciej</dc:creator><pubDate>Sun, 24 Nov 2019 10:44:57 +0000</pubDate><category>Cloud</category><category>Linux</category><category>cloud</category><category>linux</category><category>k8s</category><category>kubernetes</category><category>sieci</category><guid isPermaLink="true">https://nabozny.io/kubernetes-co-w-sieci-piszczy/</guid><description>Zróbmy wycieczkę pakietem od poda, aż po default gateway całego klastra Kubernetesa. Post ma na celu ułatwienie debugowania ewentualych problemów sieciowych Kubernetesa z Flannelem.</description><content:encoded>&lt;p&gt;Zróbmy wycieczkę pakietem od poda, aż po default gateway całego klastra Kubernetesa. Post ma na celu ułatwienie debugowania ewentualych problemów sieciowych Kubernetesa z Flannelem.&lt;/p&gt;&#10;&lt;p&gt;Skoro to czytasz, to zakładam, że masz jako takie pojęcie czym się je Kubernetesa, czym są pody i interfejsy sieciowe. Dobrze, gdybyś też wiedział conieco o kontenerach Dockera. Na tapetę weźmiemy (nie)działającą instalację, która składa się z kilku kontenerów i sieci obsługiwanej przez Flannel. Zaczynajmy!&lt;/p&gt;&#10;&lt;h5 id="wejdźmy-do-poda"&gt;Wejdźmy do poda&lt;/h5&gt;&#10;&lt;p&gt;A zanim wejdziemy, zobaczmy jakie mamy pody:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;master# kubectl get pods -n cloudover&#10;NAME READY STATUS RESTARTS AGE&#10;cloudover-io-8xxxyyy886-6c86k 1/1 Running 2 10d&#10;cloudover-io-8xxxyyy886-jx479 1/1 Running 2 10d&#10;cloudover-org-xxxyyyc48-4j4j4 1/1 Running 2 10d&#10;cloudover-org-xxxyyyc48-jv59p 1/1 Running 2 10d&#10;dinemic-io-599xxxyyy8-86d49 1/1 Running 2 20d&#10;dinemic-io-599xxxyyy8-t4pq6 1/1 Running 2 20d&#10;dinemic-io-backup-15xxxyyy20-4t2xr 0/1 Completed 0 2d17h&#10;dinemic-io-backup-15xxxyyy20-2x7pp 0/1 Completed 0 41h&#10;dinemic-io-backup-15xxxyyy20-7k8zs 0/1 Completed 0 17h&#10;dinemic-io-mysql-79yyyxxx6d-wfdrh 1/1 Running 2 20d&#10;mnabozny-pl-56xxxyyy45-p9jp2 1/1 Running 2 20d&#10;mnabozny-pl-56xxxyyy45-plzfq 1/1 Running 2 20d&#10;mnabozny-pl-backup-157xxxyyy0-q76s7 0/1 Completed 0 125m&#10;mnabozny-pl-backup-157xxxyyy0-vrzgt 0/1 Completed 0 65m&#10;mnabozny-pl-backup-157xxxyyy0-nt5mm 0/1 Completed 0 5m20s&#10;mnabozny-pl-mysql-86xxxyyy55-q7nhn 1/1 Running 2 20d&#10;pkg-cloudover-org-84xxxyyy78-dxzxr 1/1 Running 2 10d&#10;pkg-cloudover-org-84xxxyyy78-tqb7w 1/1 Running 2 10d&#10;pkg-dinemic-io-xxxyyyfc77-2729k 1/1 Running 2 10d&#10;pkg-dinemic-io-xxxyyyfc77-4vjsq 1/1 Running 2 10d&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Mamy więc kilka podów z różnych moich serwisów oraz zakończone cron joby backupu danych (Completed). Weźmy na warsztat poda &lt;em&gt;pkg-dinemic-io-xxxyyyfc77-2729k&lt;/em&gt;, który sprawia problemy i zobaczmy jak wygląda jego sieć. Żeby było czym popatrzeć, musimy doinstalować potrzebne narzędzia (polecenie ip). Domyślnie, obraz dockera, z którego odpalony jest ten serwis, jest dość mocno okrojony:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;master# kubectl exec -n cloudover -it pkg-dinemic-io-... bash&#10;apt update&#10;apt install -yqq iproute2 traceroute&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Kolejną rzeczą jest sprawdzenie na którym nodzie uruchomiony jest pod, który chcemy zbadać i doinstalowanie tcpdumpa.&lt;/p&gt;&#10;&lt;p&gt;Mając (prawie) wszystko co potrzeba, możemy zobaczyć jak połączone są interfejsy poda i noda. Linux (docker i cała masa innych narzędzi) wykorzystuje mechanizm veth oraz sieciowe namespace (przestrzenie nazw), netns do oddzielania od siebie ruchu sieciowego kontenerów, wirtualnych maszyn itd. Namespace to grupa procesów (dotyczy to też dowolnego innego zasobu), która współdzieli te same interfejsy, tablice routingu, firewall i trochę innych rzeczy. Działa to prawie tak, jak osobny host w sieci lub wirtualna maszyna, z tą różnicą, że mamy doczynienia z jednym systemem operacyjnym. Jądro Linuksa odseparowuje te zasoby, aby można było używać np. nachodzących na siebie adresacji lub regułek iptables bez żadnych dodatkowych komplikacji.&lt;/p&gt;&#10;&lt;p&gt;Druga z przydatnych rzeczy, o której wspomniałem to interfejs typu veth. Najprościej jest porównać je do wirtualnego kabelka ethernetowego, który spina dwa interfejsy. Jeśli pakiet pojawi się na jego jednym końcu, to jest widoczny również na drugim (peer interface). Sparowane interfejsy veth można przekładać pomiędzy różnymi namespaces i przy nieco bardziej zaawansowanej konfiguracji, kształtować ruch sieciowy pomiędzy nimi. Korzysta z tego m.in. openstackowy neuron, flannel, corecluster i prawdopodobnie sporo innych narzędzi.&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;# dodaj nowa namespace&#10;ip netns add test-ns&#10;&#10;# dodaj pare interfejsow veth - veth1 i veth1p, ktore sa wzajemnie sparowane&#10;ip link add veth1 type veth peer name veth1p&#10;&#10;# ustaw namespace interfejsu peer na nasza nowa namespace&#10;ip link set veth1p netns test-ns&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Powyższy przykład tworzy nazwaną namespace, którą możemy zobaczyć przez &lt;em&gt;ip netns show&lt;/em&gt; i usunąć przez &lt;em&gt;ip netns del test-ns&lt;/em&gt;.&lt;/p&gt;&#10;&lt;p&gt;My za pomocą polecenia ip chcemy zobaczyć jak poukładane są interfejsy sieciowe na nodzie, gdzie jest uruchomiony pod. Sprawdźmy najpierw w samym podzie jakie mamy interfejsy:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;pod# ip link show&#10;1: lo: &amp;lt;LOOPBACK,UP,LOWER_UP&amp;gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000&#10; link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00&#10; inet 127.0.0.1/8 scope host lo&#10; valid_lft forever preferred_lft forever&#10;3: eth0@if12: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue state UP group default &#10; link/ether a2:62:74:d8:6e:1c brd ff:ff:ff:ff:ff:ff link-netnsid 0&#10; inet 10.244.1.80/24 scope global eth0&#10; valid_lft forever preferred_lft forever&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Jak zawsze &lt;em&gt;lo&lt;/em&gt;, które jest po prostu lo. Eth0 za to prezentuje się nieco inaczej niż na &amp;ldquo;zwykłym&amp;rdquo; systemie. Po nazwie eth0 widzimy &lt;em&gt;@if12&lt;/em&gt;. Dwunastka po małpie oznacza id interfejsu peer, który jest sparowany z naszym eth0. Eth0 w tym przypadku veth w przestrzeni namespace, której tutaj nie widzimy, z netnsid 0.&lt;/p&gt;&#10;&lt;p&gt;Patrząc po drugiej stronie, czyli na nodzie mamy taką listę interfejsów:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;node# ip link show&#10;1: lo: &amp;lt;LOOPBACK,UP,LOWER_UP&amp;gt; mtu 65536 qdisc noqueue state UNKNOWN mode DEFAULT group default qlen 1000&#10; link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00&#10;2: eth0: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1500 qdisc pfifo_fast state UP mode DEFAULT group default qlen 1000&#10; link/ether aa:bb:cc:xx:yy:zz brd ff:ff:ff:ff:ff:ff&#10;3: wlan0: &amp;lt;BROADCAST,MULTICAST&amp;gt; mtu 1500 qdisc noop state DOWN mode DEFAULT group default qlen 1000&#10; link/ether aa:bb:cc:xx:yy:zz brd ff:ff:ff:ff:ff:ff&#10;...&#10;12: veth7b2f355b@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default &#10; link/ether 92:04:f7:a2:90:f0 brd ff:ff:ff:ff:ff:ff link-netnsid 5&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Ostatni z nich to dźwięcznie brzmiący &lt;em&gt;veth7b2f355b&lt;/em&gt; z dopiskiem &lt;em&gt;@if3&lt;/em&gt; Patrząc na pierwszy listing, który zrobiliśmy w podzie, z &lt;em&gt;eth0@if12&lt;/em&gt; widać, że eth0 poda miało id 3. Wszystko wię zatem zgadza. Ostatnią rzeczą, na którą warto rzucić okiem to parametr &lt;em&gt;link-netnsid&lt;/em&gt; oznaczający ID namespace, do którego przypisany jest peerowany interfejs. Tak więc, w &lt;em&gt;ip link show&lt;/em&gt; bezpośrednio z noda widzimy, że interfejs &lt;em&gt;veth7b2f355b&lt;/em&gt; jest speerowany (sparowany? może pożeniony? :) z interfejsem o id 3 z namespace o id 5. W &lt;em&gt;ip link show&lt;/em&gt; uruchomionym na podzie, widzimy, że interfejs &lt;em&gt;eth0&lt;/em&gt; jest speerowany z interfejsem o id 12, z namespace 0.&lt;/p&gt;&#10;&lt;p&gt;Wszystko się zgadza. Żeby sprawdzić możemy puścić pinga lub traceroute z poda i nasłuchiwać na odpowiadającym mu interfejsie sieciowym, na nodzie. Pakiety powinny się pojawić.&lt;/p&gt;&#10;&lt;h3 id="dalej-w-świat-po-opuszczeniu-poda"&gt;Dalej, w świat po opuszczeniu poda&lt;/h3&gt;&#10;&lt;p&gt;Pakiety wychodzące z poda są adresowane przez &amp;ldquo;system operacyjny&amp;rdquo; poda z adresu interfejsu eth0 (src):&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;pod# ip route show&#10;default via 10.244.1.1 dev eth0 &#10;10.244.0.0/16 via 10.244.1.1 dev eth0 &#10;10.244.1.0/24 dev eth0 proto kernel scope link src 10.244.1.80&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;W tym przypadku będzie to 10.244.x.y/24, który skonfigurował automatycznie Kubernetes. Po stworzeniu takiego pakietu i zaadresowaniu, jego warstwa IP nie powinna się zmieniać (chyba, że przejdzie przez magiczne regułki iptables, o czym będzie później). Zatem sam pod odpowiada za przygotowanie naszego pakietu w warstwie trzeciej.&lt;/p&gt;&#10;&lt;p&gt;Po przejściu na drugą stronę, czyli do &amp;ldquo;systemu&amp;rdquo; noda, pakiet taki pojawia się na interfejsie speerowanym z podem. Patrząc na adresacje tego interfejsu po stronie noda, nie zobaczymy już na nim adresu IP:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;node# ip a s&#10;1: lo: &amp;lt;LOOPBACK,UP,LOWER_UP&amp;gt; mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000&#10; link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00&#10; inet 127.0.0.1/8 scope host lo&#10; valid_lft forever preferred_lft forever&#10; inet6 ::1/128 scope host &#10; valid_lft forever preferred_lft forever&#10;2: eth0: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1500 qdisc pfifo_fast state UP group default qlen 1000&#10; link/ether b8:27:eb:46:06:69 brd ff:ff:ff:ff:ff:ff&#10; inet 10.0.0.103/24 brd 10.0.0.255 scope global eth0&#10; valid_lft forever preferred_lft forever&#10; inet6 fe80::ba27:ebff:fe46:669/64 scope link &#10; valid_lft forever preferred_lft forever&#10;...&#10;5: flannel.1: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue state UNKNOWN group default &#10; link/ether 9e:2b:2b:16:e2:73 brd ff:ff:ff:ff:ff:ff&#10; inet 10.244.1.0/32 scope global flannel.1&#10; valid_lft forever preferred_lft forever&#10; inet6 fe80::9c2b:2bff:fe16:e273/64 scope link &#10; valid_lft forever preferred_lft forever&#10;6: cni0: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue state UP group default qlen 1000&#10; link/ether 5a:a8:5d:84:d7:ee brd ff:ff:ff:ff:ff:ff&#10; inet 10.244.1.1/24 scope global cni0&#10; valid_lft forever preferred_lft forever&#10; inet6 fe80::58a8:5dff:fe84:d7ee/64 scope link &#10; valid_lft forever preferred_lft forever&#10;...&#10;12: veth7b2f355b@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP group default &#10; link/ether 92:04:f7:a2:90:f0 brd ff:ff:ff:ff:ff:ff link-netnsid 5&#10; inet6 fe80::9004:f7ff:fea2:90f0/64 scope link &#10; valid_lft forever preferred_lft forever&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;W zasadzie żaden z interfejsów speerowanych z podami nie ma przypisanego adresu. Jak jest zatem organizowany routing i przekazywanie pakietów? Tu zaczyna się nieco trudniejsza zabawa.&lt;/p&gt;&#10;&lt;p&gt;Każdy z interfejsów przyłączonych do podów jest zmostkowany z cni0 (żeby wyświetlić, doinstaluj pakiet br-utils):&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;node# brctl show&#10;bridge name&#9;bridge id&#9;&#9;STP enabled&#9;interfaces&#10;cni0&#9;&#9;8000.5aa85d84d7ee&#9;no&#9;&#9;veth67f9f314&#10;&#9;&#9;&#9;&#9;&#9;&#9;&#9;veth7b2f355b&#10;&#9;&#9;&#9;&#9;&#9;&#9;&#9;veth96d5a04b&#10;&#9;&#9;&#9;&#9;&#9;&#9;&#9;vethe25b43a7&#10;&#9;&#9;&#9;&#9;&#9;&#9;&#9;vethed432234&#10;docker0&#9;&#9;8000.02421143bd1a&#9;no&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Nasz interfejs &lt;em&gt;veth7b2f355b&lt;/em&gt; również tam jest. Zatem pakiety, o ile nie zostaną wycięte przez iptables, są przekazywane przez mostek pomiędzy interfejsami z tego samego noda. Jeśli nie możesz sobie tego wyobrazić, to pomyśl, że cni0 jest switchem, a każdy zmostkowany interfejs jest kabelkiem (veth) prowadzącym do innego komputera (tutaj to namespace).&lt;/p&gt;&#10;&lt;p&gt;Dokładnie to samo można sprawdzić przez polecenie &lt;em&gt;ip&lt;/em&gt; z pakietu &lt;em&gt;iproute&lt;/em&gt;:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;node# ip link show&#10;...&#10;6: cni0: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue state UP mode DEFAULT group default qlen 1000&#10; link/ether 5a:a8:5d:84:d7:ee brd ff:ff:ff:ff:ff:ff&#10;7: veth67f9f314@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default &#10; link/ether ce:53:d6:38:84:5c brd ff:ff:ff:ff:ff:ff link-netnsid 0&#10;8: vethe25b43a7@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default &#10; link/ether a6:16:c1:f9:ae:02 brd ff:ff:ff:ff:ff:ff link-netnsid 1&#10;10: vethed432234@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default &#10; link/ether 82:a5:3c:69:61:39 brd ff:ff:ff:ff:ff:ff link-netnsid 3&#10;11: veth96d5a04b@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default &#10; link/ether 7e:af:3a:8a:29:91 brd ff:ff:ff:ff:ff:ff link-netnsid 4&#10;12: veth7b2f355b@if3: &amp;lt;BROADCAST,MULTICAST,UP,LOWER_UP&amp;gt; mtu 1450 qdisc noqueue master cni0 state UP mode DEFAULT group default &#10; link/ether 92:04:f7:a2:90:f0 brd ff:ff:ff:ff:ff:ff link-netnsid 5&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Każdy z interfejsów zmostkowanych z cni0 (lub innym mostkiem) ma parametr &lt;em&gt;master cni0&lt;/em&gt;, który odpowiada za &amp;ldquo;bycie w bridgu&amp;rdquo; z cni0.&lt;/p&gt;&#10;&lt;p&gt;Ok, mamy zatem interfejsy, które są ze sobą połączone warstwą drugą, natomiast nie mamy jeszcze interfejsu, który odpowiadałby za wypchnięcie pakietu z noda lub przekazanie do innego poda. O ile w podzie wszystko jest jasne i routing mówi: wszystko co nie do mnie, idzie przez default gw, to na nodzie tak różowo nie jest.&lt;/p&gt;&#10;&lt;p&gt;Pakiety w obrębie jednego noda są routowane pomiędzy nimi, przez cni0 – każdy pod na nodzie ma swój IP z sieci przypisanej do noda – w tym przypadku 10.244.1.0/24. Jeśli pakiet ma być dostarczony do innego noda, to zaczynają się schodki.&lt;/p&gt;&#10;&lt;p&gt;Tablica rouringu noda wygląda następująco:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;node# ip route show&#10;default via 10.0.0.1 dev eth0 onlink &#10;10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.103 &#10;10.244.0.0/24 via 10.244.0.0 dev flannel.1 onlink &#10;10.244.1.0/24 dev cni0 proto kernel scope link src 10.244.1.1 &#10;10.244.2.0/24 via 10.244.2.0 dev flannel.1 onlink &#10;10.244.3.0/24 via 10.244.3.0 dev flannel.1 onlink &#10;10.244.4.0/24 via 10.244.4.0 dev flannel.1 onlink &#10;10.244.5.0/24 via 10.244.5.0 dev flannel.1 onlink &#10;10.244.6.0/24 via 10.244.6.0 dev flannel.1 onlink &#10;172.17.0.0/16 dev docker0 proto kernel scope link src 172.17.0.1 linkdown&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Cała sieć 10.244.1.0/24 jest routowana do naszego noda przez cni0. Natomiast sieci z innych nodów (10.244.2-6.0/24) są przesyłane przez interfejs flannel.1. Dopisek onlink mówi kernelowi, aby przesyłał ruch do tych sieci, nawet nie mając na tym interfejsie przypisanego adresu ip (inaczej musiałby mieć trasę przez konkretny host).&lt;/p&gt;&#10;&lt;p&gt;Interfejs flannel.1 jest tunelem vxlan (&lt;em&gt;ip -d link show&lt;/em&gt; pokaże przy nim ID vlanu 1, mówi o tym też dopisek .1 w nazwie). Zatem adresując pakiet z naszego poda z adresem 10.244.1.68, przechodzi on przez interfejsy veth do domyślnego namespace, i pojawia się jako pakiet przychodzący przez port cni0 (łapie się na regułki z łancucha FORWARD z iptables), ale nie adresowany do naszego noda (zatem nie będzie to iptables INPUT). Ponieważ kernel w domyślnym namespace zna regułki mówiące o tym jak dostać się do innych sieci na innych nodach, przesyła taki pakiet przez interfejs flannel.1. Tam już na podstawie zapytań arp odnajnowany jest host z sieci innego noda, obsługującego danego poda, np. 10.244.6.0/32:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;node# arp -an | grep flannel.1&#10;? (10.244.4.0) at 2e:ed:ad:yy:aa:xx [ether] PERM on flannel.1&#10;? (10.244.0.0) at d2:79:b7:yy:aa:xx [ether] PERM on flannel.1&#10;? (10.244.3.0) at 1e:42:c2:yy:aa:xx [ether] PERM on flannel.1&#10;? (10.244.6.0) at 5a:2d:9a:yy:aa:xx [ether] PERM on flannel.1&#10;? (10.244.2.0) at c6:52:d3:yy:aa:xx [ether] PERM on flannel.1&#10;? (10.244.5.0) at ce:ec:b4:yy:aa:xx [ether] PERM on flannel.1&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Sieć stworzona z interfejsów flannel.1 różnych nodów można znowu wyobrazić sobie jako switcha spinającego po jednym kabelku z różnych nodów. Jednak zamiast par veth mamy tutaj tunele VXLAN, które tworzą wirtualną warstwę 2, niezależną od fizycznej sieci. W powyższym przypadku vxlan stworzony przez flannel.1 jest wypuszczany do fizycznej sieci przez eth0 noda. W vxlanie node za pomocą pakietów ARP poznaje inne hosty w sieci i na ich podstawie jest w stanie poprawnie zaadresować mac adres karty odpowiadającej docelowej sieci, w której będzie pod. Flaga onlink w tablicy routingu trochę to zadanie ułatwia, gdyż normalnie kernel musiałby mieć podanego hosta we wspólnej sieci, łączącej wszystkie nody. Tutaj ten etap jest pominięty i przeniesiony na vxlan i odkrywanie hostów poniekąd przez arp.&lt;/p&gt;&#10;&lt;p&gt;Po osiągnięciu docelowego hosta przez vxlan, pakiet przebywa analogiczną drogę do poda.&lt;/p&gt;&#10;&lt;h3 id="iptables"&gt;iptables&lt;/h3&gt;&#10;&lt;p&gt;Po wpisaniu &lt;em&gt;iptables-save&lt;/em&gt; dostajemy całkiem sporo regułek i łańcuchów, które odpowiadają za filtrowanie ruchu i natowanie go. Z ważniejszych rzeczy, na które warto zwrócić uwagę, to na wszystkich nodach mamy mimo wszystko ustawioną politykę FORWARD na DROP z dopuszczeniem przekazywania pakietów z sieci flanella:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;:FORWARD DROP [0:0]&#10;...&#10;-A FORWARD -s 10.244.0.0/16 -j ACCEPT&#10;-A FORWARD -d 10.244.0.0/16 -j ACCEPT&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Do debugowania ruchu może też się przydać poniższy zestaw regułek:&lt;/p&gt;&#10;&lt;pre tabindex="0"&gt;&lt;code&gt;-A POSTROUTING -s 10.244.0.0/16 -d 10.244.0.0/16 -j RETURN&#10;-A POSTROUTING -s 10.244.0.0/16 ! -d 224.0.0.0/4 -j MASQUERADE --random-fully&#10;-A POSTROUTING ! -s 10.244.0.0/16 -d 10.244.1.0/24 -j RETURN&#10;-A POSTROUTING ! -s 10.244.0.0/16 -d 10.244.0.0/16 -j MASQUERADE --random-fully&#10;&lt;/code&gt;&lt;/pre&gt;&lt;p&gt;Określa on skąd i gdzie pakiety mają być natowane oraz jaki ruch powinien zostać zablokowany.&lt;/p&gt;&#10;&lt;p&gt;Dodatkowo w dumpie z iptables-save znajdziemy też całą listę (dość długą) reguł, określających dostęp do klastra k8s, jego serwisów i dns&amp;rsquo;a.&lt;/p&gt;&#10;&lt;h3 id="uff"&gt;Uff&amp;hellip;&lt;/h3&gt;&#10;&lt;p&gt;Podsumowując, inżynierowie integrujący flanella zrobili kawał dobrej roboty, który niekoniecznie dobrze się debuguje w razie problemów :) Natomiast ostatnie kilka lub kilkanaście lat pracy nad wirtualizacją i kontenerami daje coraz lepsze narzędzia pozwalające coraz lepiej kontrolować ruch sieciowy w tak zagmatwanych środowiskach jakim jest na przykład kubernetes.&lt;/p&gt;</content:encoded></item><item><title>Czego w dockerze nie zrobisz?</title><link>https://nabozny.io/czego-w-dockerze-nie-zrobisz/</link><dc:creator>maciej</dc:creator><pubDate>Tue, 02 Jan 2018 17:20:07 +0000</pubDate><category>Cloud</category><category>Linux</category><category>cloud</category><category>docker</category><guid isPermaLink="true">https://nabozny.io/czego-w-dockerze-nie-zrobisz/</guid><description>Lista jest pewnie dużo dłuższa, ale poniższe dały mi się we znaki:</description><content:encoded>&lt;p&gt;Lista jest pewnie dużo dłuższa, ale poniższe dały mi się we znaki:&lt;/p&gt;&#10;&lt;h5 id="nie-uruchomisz-openvpna"&gt;Nie uruchomisz openvpn&amp;rsquo;a&lt;/h5&gt;&#10;&lt;p&gt;Kontenery domyślnie nie pozwalają na ingerencje w sieci systemu operacyjnego. Przez to nie da się w łatwy sposób uruchomić np. OpenVPN, który potrzebuje stworzyć własny interfejs sieciowy tun/tap. Czasami uruchamiając kontenery w różnych miejscach świata i w różnych serwerowniach postawienie VPN&amp;rsquo;a spinającego je wszystkie ze sobą jest dość wygodnym rozwiązaniem, dodatkowo dającym bezpieczeństwo.&lt;/p&gt;&#10;&lt;p&gt;Aby podłączyć taką sieć do kontenera trzeba się albo pogimnastykować z routingiem w systemie gospodarza albo poczarować z uprawnieniami kontenera. Aby to zrobić trzeba uruchomić nowy obraz z parametrem &lt;em&gt;--cap-add=NET_ADMIN&lt;/em&gt;, który zwiększa możliwości ingerencji w macierzysty system, a w szczególności w konfigurację jego sieci.&lt;/p&gt;&#10;&lt;h5 id="nie-poda-piwa"&gt;Nie poda piwa&lt;/h5&gt;&#10;&lt;p&gt;z drugiej strony zwykły desktop też piwa nie poda. Ale chociaż potrzyma na tacce cd, a docker nie. Idźmy dalej.&lt;/p&gt;&#10;&lt;h5 id="debugowanie-programów"&gt;Debugowanie programów&lt;/h5&gt;&#10;&lt;p&gt;Kolejną rzeczą jest debugowanie kodu. Debugger (np. gdb) wymaga dość głębokiego integrowania się z inną aplikacją, które jest zwykle wykonywane przez funkcję &lt;em&gt;ptrace&lt;/em&gt;. Funkcja ta pozwala pisać i czytać po pamięci innych programów, które chcemy badać. Dzięki ptrace debuger może zatrzymać wykonywanie programu w wybranym przez siebie miejscu, wykonywać go krok po kroku lub przechwytywać (i zmieniać) przerwania systemowe. Z systemowej funkcji &lt;em&gt;ptrace&lt;/em&gt; korzysta też programik strace, pokazujący co program aktualnie robi, przechwytując jego przerwania oraz User Mode Linux, który podmienia przerwania systemowe na własne.&lt;/p&gt;&#10;&lt;p&gt;Aby umożliwić korzystanie z ptrace w kontenerze, musimy dodać mu flagę &lt;em&gt;--cap-add SYS_PTRACE&lt;/em&gt;, która przez linux capabilities pozwoli na dostęp do tej funkcji.&lt;/p&gt;&#10;&lt;h5 id="nici-z-network-namespaces"&gt;Nici z network namespaces&lt;/h5&gt;&#10;&lt;p&gt;Czasami potrzeba wykonać coś więcej, niż sam VPN i poczarować np. z przestrzeniami nazw aby uruchomić niektóre narzędzia (np. podczas pisania i testów &lt;a href="https://cloudover.org/"&gt;CoreCluster&lt;/a&gt;). Podobnie jak przy konfiguracji VPN, tutaj też Docker ograniczy nam taką możliwość. Można to obejść podobnie, przez capabilities.&lt;/p&gt;&#10;&lt;h3 id="czyli-jak-się-da-obejść-to-jednak-nie-ogranicza"&gt;Czyli jak się da obejść to jednak nie ogranicza?&lt;/h3&gt;&#10;&lt;p&gt;W sumie tak. Ale należy pamiętać, że dodając kontenerowi każdą taką flagę ryzykujemy, że kod uruchomiony w kontenerze będzie mógł w jakiś sposób przejść do systemu gospodarza. Idąc tą drogą możemy pozdejmować wszystkie ograniczenia Dockera (lub innego silnika kontenerów) i cieszyć się nieskrępowaną pracą w łatwo zarządzalnym &lt;em&gt;chroot&lt;/em&gt;. W ten sposób dostajemy wtedy sam chroot, z którego prawdopodobnie będziemy mogli łatwo wyjść, podobnie jak potencjalny intruz, który mógłby być nieco lepiej powstrzymany przez ograniczonego dockera (w domyślnej konfiguracji). Z drugiej strony wszyscy więksi dostawcy usług, oferujący silnik kontenerów nigdy nie dają dockera bezpośrednio na swoim sprzęcie, a za pośrednictwem wirtualnych maszyn, które nie są współdzielone pomiędzy użytkownikami.&lt;/p&gt;&#10;&lt;p&gt;Podsumowując, Docker mimo swoich fajnych narzędzi pozostawia trochę ograniczeń na to, co możemy wykonać w kontenerze. Tyczy się to prawdopodobnie również innych silników. W takich przypadkach (których zapewne znajdzie się znacznie więcej) możemy posiłkować się starą, dobrą wirtualizacją, która daje w pełni funkcjonalny system. Wykorzystując obrazy Copy On Write i &lt;a href="https://en.wikipedia.org/wiki/Kernel_same-page_merging"&gt;Kernel Same Page Mapping&lt;/a&gt; możemy znacznie ograniczyć użycie pamięci i przestrzeni dyskowej potrzebnej na wirtualne maszyny, zachowując pełną funkcjonalność.&lt;/p&gt;</content:encoded></item><item><title>Szukanie dziury w całym – cProfiler dla Pythona</title><link>https://nabozny.io/szukanie-dziury-w-calym-cprofiler-dla-pythona/</link><dc:creator>maciej</dc:creator><pubDate>Sat, 25 Nov 2017 18:14:58 +0000</pubDate><category>Programowanie</category><category>Debugowanie</category><category>cloud</category><category>corecluster</category><guid isPermaLink="true">https://nabozny.io/szukanie-dziury-w-calym-cprofiler-dla-pythona/</guid><description>Czasami wszystko działa, ale chciałoby się lepiej. W poprzednim poście pokazywałem jak poukładać pamięć w aplikacji w C, żeby skorzystać z dobrodziejstw cache procesora. Tym razem trochę o optymalizacji dla Pythona i szukaniu najwolniejszych punktów w programie.</description><content:encoded>&lt;p&gt;Czasami wszystko działa, ale chciałoby się lepiej. W &lt;a href="https://nabozny.io/jak-zrobic-to-samo-nieco-szybciej-organizacja-danych-w-pamieci/"&gt;poprzednim poście pokazywałem&lt;/a&gt; jak poukładać pamięć w aplikacji w C, żeby skorzystać z dobrodziejstw cache procesora. Tym razem trochę o optymalizacji dla Pythona i szukaniu najwolniejszych punktów w programie.&lt;/p&gt;&#10;&lt;h3 id="skąd-się-wziął-problem"&gt;Skąd się wziął problem?&lt;/h3&gt;&#10;&lt;p&gt;Podczas testów kolejnej wersji CoreCluster cały system zaczął działać zadziwiająco wolno – średnio zapytania do API trwały z dnia na dzień coraz dłużej, aż do kilkunastu sekund(!) dzisiaj. Podobnie zachowywała się kolejka zadań dla agentów, mimo ustawienia interwału pobierania zadań na minimum. Pierwsze podejrzenie padło na ostatni refactoring sieci, który wywrócił połowę driverów w chmurze, z modułu CoreNetwork. Ale po pierwsze to dość spory kawałek do przekopania ręcznie, a po drugie drivery obsługujące start systemu na Management Nodzie i Compute Nodach w CoreCluster nie mają nic wspólnego z API. Jedyna część wspólna do system plików (aczkolwiek nie wszędzie), baza danych i cache (Redis). Jak znaleźć to coś, co łakomie zjada czas i doprowadza użytkownika do irytacji?&lt;/p&gt;&#10;&lt;h3 id="zawołajmy-api-przez-firebug"&gt;Zawołajmy API przez FireBug&lt;/h3&gt;&#10;&lt;p&gt;To było pierwsze co można było zrobić – popatrzyć jak CoreUI (interfejs w JavaScript) wywołuje coś z API. Działać działa, ale wolno. I do tego potwierdziło, że kilkanaście sekund jest normą. Co zatem dalej?&lt;/p&gt;&#10;&lt;h3 id="spróbujmy-wywołać-funkcje-bezpośrednio"&gt;Spróbujmy wywołać funkcje bezpośrednio&lt;/h3&gt;&#10;&lt;p&gt;Każda funkcja dostępna przez API CoreCluster musi być odekorowana Pythonową funkcją. Dekorator robi dość sporo roboty związanej z rozpakowaniem jsona, walidacją i autoryzacją użytkownika/noda/tokenu API. Możemy dobrać się do takiej funkcji przez &lt;em&gt;corecluster.views.api.vm.get_list.&lt;strong&gt;function&lt;/strong&gt;&lt;/em&gt;, czyli bezpośrednie wywołanie tego co zostało &amp;ldquo;zawinięte&amp;rdquo; przez dekorator. Taka funkcja potrzebuje kontekstu, w którym dostarczane są informacje o wywołaniu i o uwierzytelnionym &amp;ldquo;wołaczu&amp;rdquo; (ang. Caller, niewiem jak się to tłumaczy :).&lt;/p&gt;&#10;&lt;p&gt;Możemy zatem odpalić konsolę pytkona z prekonfigurowanym shellem dla CoreCluster:&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-bash" data-lang="bash"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;sudo cc-admin shell&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;&amp;hellip; i przygotować takie wywołanie:&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;corecluster.utils.context&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Context&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;corecluster.models.core&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;User&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;corecluster.views.api&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;vm&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;u&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;User&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;objects&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;maciek&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;c&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Context&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;c&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;remote_ip&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;127.0.0.1&amp;#39;&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;c&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;user_id&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;u&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;c&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;user&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;u&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;vm&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get_list&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;c&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;Robimy mniej więcej to, co dekorator. Różnica jest taka, że powyższy kod wykonuje się w ułamku sekundy i problemu nie ma. Szukajmy więc dalej&lt;/p&gt;&#10;&lt;h3 id="prawdziwe-wywołanie-api"&gt;&amp;ldquo;Prawdziwe&amp;rdquo; wywołanie API&lt;/h3&gt;&#10;&lt;p&gt;Po drodze od przeglądarki do funkcji API są:&lt;/p&gt;&#10;&lt;ul&gt;&#10;&lt;li&gt;Sieć&lt;/li&gt;&#10;&lt;li&gt;Nginx&lt;/li&gt;&#10;&lt;li&gt;uWSGI&lt;/li&gt;&#10;&lt;li&gt;Dekorator&lt;/li&gt;&#10;&lt;/ul&gt;&#10;&lt;p&gt;Po Nginxie i uWSGI nie spodziewałbym się niczego złego, podobnie po lokalnej sieci. Wypdało sprawdzić co się dzieje z dekoratorem, gdy funkcja jest wywoływana po Bożemu, już odekorowana. Jak wywołać takie coś, tak samo jak robi to Django? Potrzebny będzie przede wszystkim obiekt &lt;em&gt;HttpRequest&lt;/em&gt;, który jest przekazywany do każdego wywołania w Django. Jest on równocześnie &amp;ldquo;zjadany&amp;rdquo; przez dekorator i zastępowany przez obiekt &lt;em&gt;Context&lt;/em&gt;, który stworzyliśmy ręcznie powyżej.&lt;/p&gt;&#10;&lt;p&gt;Django dostarcza kilka fajnych rzeczy do testowania web aplikacji. Między innymi jest to klasa &lt;em&gt;RequestFactory&lt;/em&gt;, która pozwala łatwo utworzyć obiekt identyczny z tymm, który utworzyłoby Django podczas normalnej pracy:&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;django.test&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;RequestFactory&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;rf&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;RequestFactory&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;url&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;/api/vm/get_list&amp;#39;&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;request&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;rf&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;post&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;{&amp;#34;token&amp;#34;:&amp;#34;6dbedc0c...&amp;#34;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;text/json&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;Drugi parametr w funkcji &lt;em&gt;rf.post&lt;/em&gt; to token, którym uwierzytelniam się w chmurze. Powinien on być zapisany w dokładnie takiej formie, w jakiej wysyła go przeglądarka do API (czyli JSON). Tak stworzony obiekt &lt;em&gt;request&lt;/em&gt;, który jest klasy &lt;em&gt;HttpResponse&lt;/em&gt; możemy przekazać bezpośrednio do funkcji API, już bez wołania &amp;ldquo;zawiniętej&amp;rdquo; wrapperem wewnętrznej funkcji:&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;corecluster.views.api&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;vm&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;vm&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get_list&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;Takie wywołanie trwa już dość długo i można można z dość dużym prawdopodobieństwem szukać problemu w samym dekoratorze. Wywołanie samej odekorowanej funkcji trwało krótko, a tutaj wywołujemy tą samą funkcję, tylko za pośrednictwem dekoratora.&lt;/p&gt;&#10;&lt;h3 id="czy-już-zamykać-się-w-piwnicy-i-szukać-przez-całą-noc-błędu"&gt;Czy już zamykać się w piwnicy i szukać przez całą noc błędu?&lt;/h3&gt;&#10;&lt;p&gt;Nie :) Jest jeszcze coś innego, co warto użyć – profiler dla Pythona. Jest to narzędzie, które pokaże ile razy jakie funkcje są wywoływane w naszym (i nie tylko) kodzie. Świetnie się sprawdzi właśnie przy szukaniu takich wolnych punktów w naszym kodzie. Nie służy ono do poprawienia stabilności i przetestowania kodu, ale do poprawienia jego wydajności.&lt;/p&gt;&#10;&lt;p&gt;Spróbujmy użyć go do wykonania powyższego skryptu:&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;cProfile&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;cProfile&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;run&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;vm.get_list(request)&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;sort&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;tottime&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;Na pierwszy rzut oka wydaje się dość proste. Za pomocą funkcji &lt;em&gt;run&lt;/em&gt; wywołujemy to, co nas interesuje – funkcje vm.get_list z podanym jako parametr obiektem request.&lt;/p&gt;&#10;&lt;p&gt;Po wykonaniu cProfile pokaże całą listę wywołanych funkcji, posorotwaną wedug &lt;a href="https://docs.python.org/2/library/profile.html"&gt;kryterium&lt;/a&gt; jakie podaliśmy:&lt;/p&gt;&#10;&lt;div class="highlight"&gt;&lt;pre tabindex="0" class="chroma"&gt;&lt;code class="language-python" data-lang="python"&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="n"&gt;In&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="mi"&gt;9&lt;/span&gt;&lt;span class="p"&gt;]:&lt;/span&gt; &lt;span class="n"&gt;cProfile&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;run&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;vm.get_list(mr)&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;sort&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;tottime&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;45373&lt;/span&gt; &lt;span class="n"&gt;function&lt;/span&gt; &lt;span class="n"&gt;calls&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="mi"&gt;43564&lt;/span&gt; &lt;span class="n"&gt;primitive&lt;/span&gt; &lt;span class="n"&gt;calls&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="mf"&gt;0.105&lt;/span&gt; &lt;span class="n"&gt;seconds&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="n"&gt;Ordered&lt;/span&gt; &lt;span class="n"&gt;by&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;internal&lt;/span&gt; &lt;span class="n"&gt;time&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="n"&gt;ncalls&lt;/span&gt; &lt;span class="n"&gt;tottime&lt;/span&gt; &lt;span class="n"&gt;percall&lt;/span&gt; &lt;span class="n"&gt;cumtime&lt;/span&gt; &lt;span class="n"&gt;percall&lt;/span&gt; &lt;span class="n"&gt;filename&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="n"&gt;lineno&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="o"&gt;...&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;799&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="mi"&gt;442&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.008&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;functional&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;30&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="fm"&gt;__get__&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;53&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.016&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;utils&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;76&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;execute&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="mi"&gt;2154&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="mi"&gt;2142&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.002&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="nb"&gt;isinstance&lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;377&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.004&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;expressions&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;647&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;as_sql&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;58&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.012&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;query&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;1117&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;build_filter&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;37&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.013&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;compiler&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;167&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;get_select&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;2&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="n"&gt;connections&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;68&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="fm"&gt;__init__&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;125&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.004&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;query&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;1277&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;names_to_path&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;37&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.024&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="n"&gt;compiler&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;371&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;as_sql&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;29&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.005&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;compiler&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;492&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;get_default_columns&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt; &lt;span class="mi"&gt;238&lt;/span&gt; &lt;span class="mf"&gt;0.001&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="mf"&gt;0.002&lt;/span&gt; &lt;span class="mf"&gt;0.000&lt;/span&gt; &lt;span class="n"&gt;related&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;py&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;589&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;foreign_related_fields&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;span class="line"&gt;&lt;span class="cl"&gt;&lt;span class="o"&gt;...&lt;/span&gt;&#10;&lt;/span&gt;&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;&lt;p&gt;Dostajemy (tutaj tylko fragment) listę wszystkich funkcji, które były wywołane podczas uruchamiania podanej do cProfilera linijki kodu. Sortując wg. parametru &lt;em&gt;tottime&lt;/em&gt; możemy sprawdzić na czym najwięcej czasu spędził program.&lt;/p&gt;&#10;&lt;h3 id="gdzie-był-problem"&gt;Gdzie był problem?&lt;/h3&gt;&#10;&lt;p&gt;W moim przypadku okazało się, że problem tkwił w nieskonfigurowanej bazie logów dla CoreCluster. Po dłuższym używaniu domyślna baza Sqlite zapchała się logami i spowalniała cały system. Nie pomagało też ich okresowe dumpowanie przez zadanie Cron, ponieważ testowa instalacja nie działała w nocy. Po zmianie na MySQL wszystko powróciło do normy i całość działa dobrze.&lt;/p&gt;&#10;&lt;p&gt;Natomiast sam cProfiler dobrze znać – może się przydać na etapie gdy mamy już gotową aplikację i chcemy wycisnąć z niej jeszcze więcej.&lt;/p&gt;&#10;&lt;h5 id="ps"&gt;ps.&lt;/h5&gt;&#10;&lt;p&gt;Jeśli znasz dobry system dla rozproszonego logowania dla Pythona – inny niż zapisywanie do pliku lub bazy danych – zostaw komentarz :)&lt;/p&gt;</content:encoded></item></channel></rss>