思科的joy提取加密流量特征教程以及基本使用

开源数据集

• stratosphereips Pcap files

• unb.ca PCAP files

• vpn and non-vpn packet

• 包含大量的域名:
  https://majestic.com/reports/majestic-million

• 包括大量的pcap数据包:
  https://www.netresec.com/?page=PcapFiles

Joy介绍

joy是思科开源的用于流量的抓取和分析,用于网络安全的检测.
Joy 旨在用于安全研究、取证和（小规模）网络监控，以检测漏洞、威胁和其他未经授权或不需要的行为。 研究人员、管理员、渗透测试人员和安全运营团队可以充分利用这些信息，以保护网络受到监控，在存在漏洞的情况下，通过改进防御态势使更广泛的社区受益。 与任何网络监控工具一样，Joy 可能会被滥用； 不要在您使用的任何网络上使用它
不是所有者或管理员。

功能

1. IP数据包的长度和到达时间的顺序，直到一些可配置的数据包数量。
2. 流的数据部分中字节的经验概率分布，以及从该值导出的熵，
3. TLS记录的长度和到达时间的顺序，
4. 其他未加密的 TLS 数据，例如提供的密码套件列表、所选密码套件、clientKeyExchange 字段的长度和服务器证书字符串，
5. DNS 名称、地址和 TTL，
6. HTTP 标头元素和 HTTP 正文的前八个字节，以及
7. 与流关联的进程的名称，流在运行 pcap 的主机上发起或终止。
   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2BKJwHAA-1669361375419)(evernotecid://990D8831-DCFF-4D1B-AE60-0FA766F439F7/appyinxiangcom/11012738/ENResource/p2987)]

linux 编译

$ sudo apt-get install build-essential libssl-dev libpcap-dev libcurl4-openssl-dev

$ git clone https://github.com/cisco/joy.git
$ cd joy
# configure
$ ./configure --enable-gzip

# build
$ make clean;make
1
2
3
4
5
6
7
8
9

教程

关键概念

1. libpcap:Joy 是一个高度模仿 libpcap 的数据包处理工具。事实上，libpcap构造被用作 API 主要入口的基础。 Libpcap 提供了一个经过验证的和广泛使用的数据包处理格式，所以我们不想重新发明轮子围绕网络数据包处理的这些方面。
2. json:导出的数据格式
3. 保护隐私:joy可以对流量的IP和name进行加密处理
4. IPFIX:全称IP Flow Information Export，即IP流信息输出，是网络流量监测的国际标准。

提取数据

$ bin/joy tls=1 bidir=1 dist=1 num_pkts=50 zeros=0 retrans=0 entropy=1 $file | gunzip | ./sleuth --where "tls=*" > filename.json

1
2