Upřesnění ohledně sběru dat

Od jabi

Dne 2014-05-12 04:20

Na stránce https://www.turris.cz/doc/collect/start čtu takové obecné informace o sběru dat, ale je to napsané hodně obecně a nekonkrétně. Můžete zveřejňovat podrobnou definici sběru dat?

Např. "Ucollect dělí pakety do kategorií (např. kategorie všech paketů, příchozích, TCP, …). V každé kategorii je průběžně určován počet paketů a jejich celková velikost. Tato data jsou odesílána na server."

Jaké jsou konkrétně ty všechny sledované kategorie? Tyhle vypadají neškodně, ale dovedu si představit i kategorie, které by hodně narušovaly soukromí. Podle toho, jak byl Turris prezentovaný jako otevřený, bych měl rád kompletní informace v nějaké rozumné podobě, co Turris sleduje. A to bez pracného zkoumání zdrojáků.

Nebo "Data jsou po 10 dnech agregovaná po skupinách routerů (tedy, nelze určit, ze kterého konkrétně dané logy pocházejí) a v původní formě smazána."

Jak jsou konkrétně velké ty skupiny, tedy kolik provozovaných routerů obsahují? Je značný rozdíl v tom, zda skupina obsahuje 5 routerů nebo 500.

Dále "Provoz je dělen do přihrádek (hashování paketů např. podle vzdálené IP adresy). Velikosti těchto přihrádek jsou odesílány na server..."

Podle čeho všeho se to hashuje, kolik je těch přihrádek např. při hashování podle IP adresy v4, ...?

"Analýza je prováděna pouze na vzdálených adresách (tedy, nasbíraná data neobsahují uživatelovu IP adresu)."

Tohle mám chápat tak, že analýza zkoumá hlavičku paketů kromě IP adresy routeru (tedy kromě zdrojové u odchozích paketů a cílové u příchozích)? Obsahují data jiné informace, pomocí kterých lze s jistotou nebo velkou pravděpodobností identifikovat uživatele (např. nějaké číslo routeru, uživatele, ...)?

Doufám, že se dočkám odpovědí k věci a nikoli rad, že se projektu zúčastňovat nemám, když potřebuji informace o tom, co se vlastně sbírá a nevěřím slepě CZ.NICu. Moje představa popisu je např.:

jednou denně se posílá balík dat kde je:
- unikátní ID routeru
- počet příchozích paketů za předchozích 24 hodin v každé z 65536 hromádek, přičemž pakety se dělily do hromádek dle prvních 16 bitů MD5(zdrojová adresa v příchozím paketu)
- ...

Od NONES

Dne 2014-05-12 07:21

Já bych zase potřeboval upřesnit jinou věc. V grafu odesílaných dat v uživatelské sekci na webu www.turris.cz jsou uvedeny 3 kategorie odesílaných dat: "Firewall", "Statistiky" a "Anomálie". Nevím, co konkrétního si mám představit pod pojmem "Anomálie". Může mi být význam tohoto termínu ve spojení se sběrem datu z routeru Turris blíže vysvětlen? Děkuji předem.

Od Štěpán Henek

Dne 2014-05-12 11:40 Upraveno 2014-05-12 11:53

Dobrý den,

anomálie jsou popsány na https://www.turris.cz/doc/collect/start "Detekce anomálii"

pro detailnější informace se doporučuji podívat přímo do zdrojových kódů https://gitlab.labs.nic.cz/turris/ucollect/tree/master

Jako základ byla použita metoda detekce anomálií dns provozu viz https://labs.nic.cz/files/labs/Detecting_Hidden_Anomalies_in_DNS_Communication-2011.pdf

Od NONES

Dne 2014-05-12 19:30

Děkuji

Od Štěpán Henek

Dne 2014-05-12 12:16

Kategorie:


All       | Any packet is included in this category  
IPv4      | Packets sent over the IPv4 protocol.
IPv6      | Packets sent over the IPv6 protocol.
In        | Packets sent over either IPv4 or IPv6 that have source address outside of the local network and destination inside.
Out       | Packets sent over either IPv4 or IPv6 that have source address inside of the local network and destination outside.
TCP       | Packets sent over IPv4/TCP and IPv6/TCP
UDP       | Packets sent over IPv4/UDP and IPv6/UDP
ICMP      | Both ICMP and ICMPv6 packets
Low port  | TCP or UDP packets with the remote port <= 1024
SYN       | TCP packets with the SYN flag set
FIN       | TCP packets with the FIN flag set 
SYN+ACK   | TCP packets with both SYN and ACK flags set. This may be a good heuristics for number of created TCP connections.
ACK       | TCP packets with ACK flag set.
PUSH      | TCP packets with the PUSH flag set.
SERVER    | Communication with the server (tím je myšlen náš api.turris.cz)

Od milanroubal (>)

Dne 2014-05-13 22:21

Tak ja mam v sekci Zachycené firewallové pakety - Protokol uvedeno techto 5 kategorii:

Protocol Count
TCP 4297
UDP 398
IPV6 42
ICMP 5
AH 2

Je mozne nekde v Turrisu ty zachycene pakety dohledat, zvlaste me zajimaji odkud a kam sly pakety z kategorie AH, ktera ani nikde neni moc videt jak je vybirana.

Od Jan Čermák (>>)

Dne 2014-05-14 08:02

Detailní výpis si můžete stáhnout na stránce pro správu dat (ta stránka, kde se zároveň nastavuje doba, po kterou se budou data udržovat) ve formátu CSV.

Od Štěpán Henek

Dne 2014-05-14 08:09

Ty kategorie platí pro celkové statistiky vašeho provozu, které s fw pakety nemají souvislost.

Protokol je vlastně přeložené číslo IP protokolu, které najdete v /etc/protocols případně viz http://en.wikipedia.org/wiki/List_of_IP_protocol_numbers a je součástí zalogovaných paketů.

Fw logy z www.turris.cz se dají vyexportovat do csv přes "Správu dat" (např. https://www.turris.cz/cs/data/999999/settings).
Bohužel tam neuvidíte vnitřní adresu.

Ještě bych rád připomněl, že se nejspíš jedná o zahozené pakety.
Pokud byste chtěl zalogovat všechy AH packety (tj. i nezahozené), doporučuji si přidat do /etc/firewall.user
něco jako
iptables -A FORWARD -p ah -m limit --limit 1/sec -j LOG --log-prefix AH
a restartovat firewall

Výsledek by pak měl být vidět ve /var/log/messages

Od milanroubal (>)

Dne 2014-05-14 08:33 Upraveno 2014-05-14 09:15

No právě proto, že jsou to zahozené pakety bych rád věděl, zda už mi někdo útočí na IPSEC VPN, nebo zda mi to zahazuje legitimní provoz. Ten výpis je již z toho csv souboru a žádné další detaily tam nejsou.

/var/log/messages jsem prohledával, včetně zazipovaných odrotovaných, ale nic s proto=ah jsem tam nenašel.

Tak uz je to jasnejsi, pouzival jsem spatny export do CSV, v tom nastaveni to uz da vsechna data. Super, IP adresu mam, jdu znova prohledavat /var/log/messages

Od Štěpán Henek

Dne 2014-05-14 09:28

Do /var/log/messages se ta pravidla nedostanou, protože mají nastaven log level na debug
dá se to změnit info v /etc/config/firewall

Případně to můžete sypat ještě na další místo. Stačí zkopírovat /etc/syslog-ng.d/nikola.conf
a upravit cestu k souboru.

Když se restartuje firewall na routeru, tak se zahodí všechna aktivní spojení.
A pokud v tom okamžiku přiletí nějaký paket zvenčí, tak ho to zahodí.
Možná je to důvod, proč se tam vyskytlo těch pár AH paketů zvenčí.

Od milanroubal (>)

Dne 2014-05-16 13:49

Tak upozorneni, pokud to nekdo bude potrebovat, v te kopii souboru nikola.conf je potreba zmenit nejen cestu k souboru, ale i nazev destination a filter.

Zdroj tech AH paketu ukazuje nekam do Brazilie, takze mi to moje vlastni pakety nezahazuje, to je fajn :)

Od Michal Vaner (>>)

Dne 2014-05-13 12:19

Nekonkrétně je to napsané ze dvou důvodů. Jednak popsat to úplně konkrétně je jen překládání těch zdrojáků do lidské řeči a to dá horu práce a je z toho málo užitku. Druhak, to, co se sbírá, se průběžně vyvíjí. Když to popíšeme konkrétně, tak nás někdo obviní, že jsme něco zatajili (protože se to mezitím stihlo změnit).

Každopádně, nejmenší skupinu, co jsem v databázi našel, je 58 routerů. To obsahuje už všechny routery, tedy i ty, které ještě neposílají.

Aktuálně používáme 4 hashovací funkce po 13 přihrádkách. Hashovací funkce je jen nějaké XORování náhodných dat indexovaných jednotlivými byty hashovaných dat, nepotřebujeme kryptografickou hashovací funkci a tohle je mnohem rychlejší.

Aktuálně se analyzují tyto věci:
• Vzdálená IP adresa (4 nebo 6)
• Vzdálená IP adresa + vzdálený port
• Vzdálená IP adresa + lokální port (na tom se většinou objevují nějaké bruteforce útoky na SSH a podobně, protože všechny míří na port 22…)

S těmi vzdálenými adresami to chápete správně.

Existuje sériové číslo routeru, pod kterým je přihlášený na server. Do databáze se pod ním ukládají statistiky (tedy, kolik dat proteklo přes TCP…), u anomálií (toho hashování) se ještě dělá výpočet a nelze určit z principu, jak funguje analýza, který router ze skupinky za to vlastně může; tam se ukládá až hotová anomálie (pokud se nějaká objeví) a to pod ID skupiny.

Co se týče četnosti, tak se to posílá v intervalu jednotek minut, přes již otevřené a identifikované TLS spojení.

Pro představu, jak vypadá záznam toho, co máme (neděste se vysokého ID skupiny, to se ta IDčka odrolovala při zátěžových testech někdy v listopadu, když jsem potřeboval vyrobit velké množství klientů a skupin a ověřit, že to server utáhne, aktuálně je v DB 32 skupin, z nich některé testovací):

 from_group | type |         timestamp          |                      value                      | relevance_count | relevance_of | strength
       6140 | B    | 2014-05-10 00:06:13.968131 | 8.8.8.8:53                                      |              46 |          263 |  2.42241