← Notlar Hafta 1-2: Regex ile Dijital Delil Arama

Hafta 1-2: Regex ile Dijital Delil Arama

Kaynak: Evidence_search_a_pattern_match_game.pptx (52 slayt) + vm_to_ub_traffic.log (aslında bir pcap dosyası: Kali'de Wireshark'ın dumpcap'i ile eth0'dan yakalanmış trafik).


1. Büyük resim: Neden regex?

Adli bilişimde elimizde devasa veri olur (log, belge, kaynak kod, ağ trafiği). Aradığımız şeyin tam değerini bilmeyiz, sadece biçimini biliriz:
"bir e-posta adresi", "bir IP", "10 haneli telefon" gibi.
Regex (düzenli ifade) = bir arama kalıbını tanımlayan özel metin. "Frank" kelimesini değil, "büyük harfle başlayan iki kelime" gibi şablonu arar.

Regex ile aranabilen delil türleri (slayt 2):

Kategori Örnekler
Kişisel bilgi isim, telefon, e-posta, doğum tarihi, posta kodu, TC/SSN
Hesap doğrulama kullanıcı adı, parola
Kaynak kod HTML, Java
Ağ ziyaret edilen URL, IP, hex, MAC, zaman damgası
Dosya dosya adı, öznitelikleri

Nerelerde aranır (slayt 3): metin/log dosyaları, belgeler (docx/pptx/xlsx, ama önce zip'i açmak gerekir), ikili (binary) veriler.
Genelde grep gibi komut satırı araçlarıyla birlikte kullanılır.


2. Regex yapı taşları (sıfırdan)

Sembol Anlamı Örnek
abc Literal: harfin kendisi frank -> "frank"
a|b VEYA (F|f)rank -> Frank ya da frank
( ) Grup (F|f)rank
[abc] Kümeden bir karakter [A-Z] bir büyük harf, [0-9] bir rakam
[^abc] Kümede olmayan karakter [^<>] < ve > dışındaki her şey
{n} Tam n kez [0-9]{10} tam 10 rakam
{n,m} n ile m kez arası [a-z]{1,10} 1-10 küçük harf
+ 1 veya daha fazla \s+ bir veya çok boşluk
? / {0,1} 0 veya 1 (opsiyonel) -? tire olabilir, olmayabilir
. Herhangi bir karakter
\. Gerçek nokta (kaçış) \.
\s Boşluk karakteri
\w Kelime karakteri [a-zA-Z0-9_]
\b Kelime sınırı \b[0-9]{10}\b

Kelime sınırı \b (slayt 13)


3. grep komutu ve bayraklar

echo "This is Frank Xu" | grep -Ei "frank"

Karşılaştır:

echo "This is Frank Xu" | grep -E "(F|f)rank"   # Frank/frank yakalar

Regex'i görselleştirmek için slaytta site: regulex (jex.im/regulex).


4. Adım adım örnekler (slayt sırasıyla)

4.1 İsim eşleştirme (slayt 10-11)

İsim = Büyük harf + 1-10 küçük harf + boşluk + Büyük harf + 1-10 küçük harf

echo "I am Frank Xu" | grep -Eo "\b[A-Z][a-z]{1,10}\s+[A-Z][a-z]{1,10}\b"
# çıktı: Frank Xu

Parçalar: \b sınır | [A-Z] bir büyük | [a-z]{1,10} 1-10 küçük | \s+ bir/çok boşluk | tekrar isim | \b sınır.
-o olduğu için tüm cümle değil sadece "Frank Xu" çıkar.

Lab dosyası: CYFI727_Roster_2028.txt (ders listesi; kolonlar: Last, First, ID, Date of Birth, Phone, Email, Address, City, Zip, SSN, Username, Password, Credit Card, Card Number...). Slayttaki komutlar:

grep -Ei "Frank" CYFI727_Roster_2028.txt        # belirli isim (Frank Xu satırı)
grep -E -o "\b[A-Z][a-z]{1,10}\s+[A-Z][a-z]{1,10}\b" CYFI727_Roster_2028.txt     # tüm "Ad Soyad" kalıpları
grep -Eo "[a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}" CYFI727_Roster_2028.txt   # tüm e-postalar

Not: isim regex'i sadece isimleri değil adres/şehir gibi büyük harfle başlayan iki kelimeyi de yakalar (West Fairground, Pennington St...). Regex şablona bakar, anlama değil.

4.2 Telefon numarası (slayt 16-25)

Hedef formatlar:

1234567890      123.456.7890      123-456-7890      123 456 7890      (123)456-7890

Kademeli yaklaşım:

  1. Sadece 10 rakam: [0-9]{10} (ama 13 haneli sayının içindeki ilk 10'u da yakalar!)
  2. Sınır ekle: \b[0-9]{10}\b -> 13 haneliyi yakalamaz
  3. Noktalı: \b[0-9]{3}\.[0-9]{3}\.[0-9]{4}\b
  4. Hem düz hem noktalı: ayraç opsiyonel -> \b[0-9]{3}\.?[0-9]{3}\.?[0-9]{4}\b ({0,1} = ?)
  5. Ayraç nokta, tire veya boşluk olabilir: \b[0-9]{3}[. -]?[0-9]{3}[. -]?[0-9]{4}\b
  6. Beşini birden (parantezli de): koşullu grup gerekir:
(\()? \b[0-9]{3} (?(1) \)|[. -]?) [0-9]{3}[. -]?[0-9]{4}\b

4.3 E-posta (slayt 26-27)

johndoe@ubalt.edu, john.doe@gmail.com, john-doe@md.gov
- Yerel kısım (@'tan önce): harf, rakam, -, . , 2-15 karakter -> [a-zA-Z0-9.-]{2,15}
- @
- Alan adı: harf/rakam, 1-15 -> [a-zA-Z0-9]{1,15}
- \. (gerçek nokta)
- Uzantı: harf/rakam 3-4 -> [a-zA-Z0-9]{3,4}

Birleşik: [a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}

4.4 Parola geçerlilik (slayt 30)

Kurallar: uzunluk 3-18, içerik: harf, rakam, -, @.

^[a-zA-Z0-9@-]{3,18}$

^ satır başı, $ satır sonu (tüm parolanın kurala uymasını zorlar).

4.5 Java kaynak kodu (slayt 31)

Anahtar kelime ara, satır numarası göster (grep -n), kaç kez geçtiğini say (grep -c ya da -o | wc -l).

4.6 IPv4 adresi (slayt 32-33)

Basit: ([0-9]{1,3}\.){3}[0-9]{1,3}
- ([0-9]{1,3}\.){3} = "1-3 rakam + nokta" 3 kez, sonra son 1-3 rakam.
- Sorun (slayt 33): 443.125.121.1 de eşleşir ama geçersiz! IP'de her sayı 0-255 olmalı. (Slayttaki test: 192.168.0.1 ✔, 443.125.121.1 ✘, 255.255.255.0 ✔, 89.25.23.0 ✔)
- Doğrusu (ek bilgi): ((25[0-5]|2[0-4][0-9]|1?[0-9]{1,2})\.){3}(25[0-5]|2[0-4][0-9]|1?[0-9]{1,2})

4.7 URL / web sitesi varyasyonları (slayt 34-35)

http://www.ubalt.edu, https://www.ubalt.edu, www.ubalt.edu, ubalt.edu
Slayttaki regex: http://www\..+\.[a-z]{3,4}

echo "It contains a valid url http://www.ubalt.edu" | grep -E "http://www\..+\.[a-z]{3,4}"

4.8 Hex ve MAC (slayt 36-38)


5. Lookahead / Lookbehind (slayt 15)

Eşleşmeyi bir bağlama bakarak yaparsın ama bağlam sonuca dahil olmaz. grep -P (Perl) şart.

Tür Sözdizimi Anlamı
Lookahead (ileri bak) xxx(?=foo) xxx'i bul, arkasında foo varsa
Lookbehind (geri bak) (?<=foo)xxx xxx'i bul, önünde foo varsa

Örnekler:
- (?<=pre)\w+ -> "pre"den sonra gelen kelime kısmı. "pretend" içinde "tend" eşleşir ("pre" sonuca girmez).
- \w+(?=ing) -> "ing"den önceki kısım. fishing -> fish, working -> work, enjoying -> enjoy.

Slayt 51'deki regex kopya kağıdından (staff.washington.edu/weller/grep.html):
| Kalıp | Anlamı |
|---|---|
| \b / \B | kelime sınırı / sınır olmayan yer |
| ^ / $ | satır başı / sonu |
| \bring | "ring" ile başlayan kelime (ringtone) |
| ring\b | "ring" ile biten kelime (spring) |
| ^\d*$ | tüm satır sadece rakam olmalı |
| ^[A-Z] | satır büyük harfle başlar |
| (in|out)put | input veya output |
| \1, \2 | geri referans (back reference): aynı grubu tekrar eşleştirir. \b(\w+)\s+\1\b = tekrarlanan kelime |
| (?:...) | yakalamayan grup (non-capturing) |
| (?=...) / (?!...) | lookahead pozitif / negatif (olmayan) |
| (?<=...) / (?<!...) | lookbehind pozitif / negatif |
| \b\w+?(?=ing\b) | warbling, string, fishing... "ing" öncesi |
| \b(?!\w+ing\b)\w+\b | "ing" ile bitmeyen kelimeler |
| (?<=\bpre)\w*?\b | pretend, present, prefix... "pre"den sonrası |


6. PCAP dosyasında arama (slayt 39-40)

Pcap ikili (binary) olduğu için önce metne çevir, sonra grep:
Adım 1: pcap -> CSV (metne çevir) (slayt 39, çok sayıda -e alan ile):

tshark -r vm_to_ub_traffic.log -T fields -E header=y -E separator=, -E quote=d -E occurrence=f \
  -e ip.src -e ip.dst -e tcp.srcport -e tcp.dstport -e tcp.flags ... \
  -e eth.src_resolved -e eth.dst_resolved > output.csv

Adım 2: CSV'de regex ile ara, say (slayt 40):

# 1. kalıp: MAC adresleri
grep -Eo "([0-9A-Fa-f]{2}[:-]){5}([0-9A-Fa-f]{2})" output.csv | sort | uniq -c | sort -n
#      1 55:55:55:55:55:55   ...

# 2. kalıp: üretici adı çözülmüş MAC (VMware_86:44:c3 gibi)
grep -Eo "[a-zA-Z0-9]{1,10}_[0-9a-zA-Z]{2}(:[0-9a-zA-Z]{2}){2}" output.csv | sort | uniq -c | sort -n
#  21746 VMware_86:44:c3
#  21747 PaloAlto_00:0a:30

7. Word (.docx) içinde arama (slayt 41-50)

Anahtar fikir: .docx aslında bir ZIP dosyasıdır (pptx, xlsx de öyle). Doğrudan grep'lersen bulamazsın.

Adımlar:
1. unzip customers.docx -d customers -> içindeki tüm dosyalar customers klasörüne çıkar
2. Asıl metin bir XML dosyasında (word/document.xml)
3. grep "ubalt.edu" document.xml -> sonuç çıkar ama etrafında çok sayıda XML etiketi (<w:t>, <w:p>...) var, okunmuyor
4. Etiketleri sed ile temizle

sed nedir (slayt 45)

Stream editor: dosya/girdiyi satır satır okuyup arama, değiştirme, silme yapar.

echo "111-222-3333" | sed -e 's/1/4/'      # 411-222-3333  (her satırda İLK "1"i 4 yap, slayt 46)
echo "111-222-3333" | sed -e 's/1/4/g'     # 444-222-3333  (g = global)
echo "My phone number is 111-222-3333" | sed 's/-/./g'   # 111.222.3333  (slayt 47)
echo "My phone number is 111-222-3333" | sed 's/-//g'    # 1112223333    (tüm '-' silindi)

Özet:

sed 's/1/4/'      # her satırda İLK "1"i 4 yap         (slayt 46: telefondaki 1'i 4 ile değiştir)
sed 's/1/4/g'     # satırdaki TÜM 1'leri 4 yap  (g = global)
sed 's/-//g'      # tüm "-" karakterlerini sil          (slayt 47)
sed 's/-/./g'     # "-" yerine "." koy                   (slayt 47)

Genel biçim: s/ARANAN/YERİNE/bayrak

Etiket temizleme (slayt 48-49)

<h1>This is a heading.</h1> -> etiketleri sil:

echo "Extract content from code. <h1>This is a heading.</h1>" | sed -E "s/<[^>]+>//g"
# çıktı: Extract content from code. This is a heading.

(-E = genişletilmiş regex, + için gerekli. Kalıp: <[^>]+> = <, > OLMAYAN 1+ karakter, >. Slaytta [^>]+ kullanılıyor.)
Aynı şey * ile: sed 's/<[^>]*>//g'
- < ile başla, [^>]* = > OLMAYAN karakterlerden 0 veya daha çok, > ile bitir -> bir etiket. Boşla değiştir.
- [^...] = "bu kümede olmayan" (slayt: not allowed character set)
- Slayt 49: "minor issue" notu var. Paragraf etiketlerinin silinmesi yüzünden kelimeler/satırlar birbirine yapışabilir.
- Slayt 49 (word/document.xml'e uygulama): cat customers/word/document.xml | sed -E 's/<[^>]+>//g' -> metin düzgün çıkar ama "Frank Xu" ile "wxu@ubalt.edu" birbirine yapışır (Frank Xuwxu@ubalt.edu), çünkü paragraflar arasındaki etiketler silinince boşluk kalmaz.
- Slayt 50 çözümü: paragraf (paraID) etiketini boşlukla değiştir, sonra kalan etiketleri sil:

cat customers/word/document.xml | sed -E 's/<[^<]*paraId[^>]*>/ /g ; s/<[^>]+>//g'
# ... Frank Xu wxu@ubalt.edu       (artık boşlukla ayrılmış)
sed -E 's/<[^<]*paraId[^>]*>/ /g ; s/<[^>]+>//g' customers/word/document.xml | grep -Eo "[a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}"
# wxu@ubalt.edu

Tam akış özeti

customers.docx --unzip--> document.xml --sed ile etiket temizle--> düz metin --grep -E "e-posta regex"--> sonuç

8. Lab akışı (slayt 6-9, 14, 21, 23)

  1. Lab dosyalarını indir
  2. unzip et, çıkan dosyaları kontrol et
  3. txt dosyasının içeriğini kontrol et, regex ile bu dosyada arama yapılacak
  4. Önce basit ("Frank") ara, sonra genel kalıplar (isim, telefon, e-posta, IP, MAC...) üret ve test et

9. Hızlı tekrar tablosu

İhtiyaç Regex
İsim Soyisim \b[A-Z][a-z]{1,10}\s+[A-Z][a-z]{1,10}\b
10 haneli no \b[0-9]{10}\b
Telefon (ayraçlı) \b[0-9]{3}[. -]?[0-9]{3}[. -]?[0-9]{4}\b
E-posta [a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}
Parola (3-18) ^[a-zA-Z0-9@-]{3,18}$
IPv4 (basit) ([0-9]{1,3}\.){3}[0-9]{1,3}
MAC ([0-9A-Fa-f]{2}[:-]){5}[0-9A-Fa-f]{2}
HTML/XML etiketi <[^>]*>

10. Kendini test et

  1. grep -E ile grep -P farkı nedir? Hangi durumda -P şart?
  2. \b[0-9]{10}\b neden 1234567890123'ü yakalamaz?
  3. -o bayrağı ne yapar? echo "I am Frank Xu" örneğinde çıktı ne olur?
  4. Basit IP regex'i neden 443.125.121.1'i yakalıyor ve nasıl düzeltilir?
  5. (?<=pre)\w+ ile \w+(?=ing) arasındaki fark nedir?
  6. Bir .docx içinde neden doğrudan e-posta aranamaz? Adımları sırala.
  7. sed 's/<[^>]*>//g' tam olarak ne yapar? [^>] ne demek?
  8. Pcap'ten MAC adreslerini çıkarmak için hangi araç, hangi bayraklarla?
  9. (\()? ... (?(1) \) | [. -]?) yapısı ne işe yarar?
  10. xxx(?=foo) ve (?<=foo)xxx hangisi lookahead, hangisi lookbehind?