Hafta 1-2: Regex ile Dijital Delil Arama
Kaynak: Evidence_search_a_pattern_match_game.pptx (52 slayt) + vm_to_ub_traffic.log (aslında bir pcap dosyası: Kali'de Wireshark'ın dumpcap'i ile eth0'dan yakalanmış trafik).
1. Büyük resim: Neden regex?
Adli bilişimde elimizde devasa veri olur (log, belge, kaynak kod, ağ trafiği). Aradığımız şeyin tam değerini bilmeyiz, sadece biçimini biliriz:
"bir e-posta adresi", "bir IP", "10 haneli telefon" gibi.
Regex (düzenli ifade) = bir arama kalıbını tanımlayan özel metin. "Frank" kelimesini değil, "büyük harfle başlayan iki kelime" gibi şablonu arar.
Regex ile aranabilen delil türleri (slayt 2):
| Kategori | Örnekler |
|---|---|
| Kişisel bilgi | isim, telefon, e-posta, doğum tarihi, posta kodu, TC/SSN |
| Hesap doğrulama | kullanıcı adı, parola |
| Kaynak kod | HTML, Java |
| Ağ | ziyaret edilen URL, IP, hex, MAC, zaman damgası |
| Dosya | dosya adı, öznitelikleri |
Nerelerde aranır (slayt 3): metin/log dosyaları, belgeler (docx/pptx/xlsx, ama önce zip'i açmak gerekir), ikili (binary) veriler.
Genelde grep gibi komut satırı araçlarıyla birlikte kullanılır.
2. Regex yapı taşları (sıfırdan)
| Sembol | Anlamı | Örnek |
|---|---|---|
abc |
Literal: harfin kendisi | frank -> "frank" |
a|b |
VEYA | (F|f)rank -> Frank ya da frank |
( ) |
Grup | (F|f)rank |
[abc] |
Kümeden bir karakter | [A-Z] bir büyük harf, [0-9] bir rakam |
[^abc] |
Kümede olmayan karakter | [^<>] < ve > dışındaki her şey |
{n} |
Tam n kez | [0-9]{10} tam 10 rakam |
{n,m} |
n ile m kez arası | [a-z]{1,10} 1-10 küçük harf |
+ |
1 veya daha fazla | \s+ bir veya çok boşluk |
? / {0,1} |
0 veya 1 (opsiyonel) | -? tire olabilir, olmayabilir |
. |
Herhangi bir karakter | |
\. |
Gerçek nokta (kaçış) | \. |
\s |
Boşluk karakteri | |
\w |
Kelime karakteri [a-zA-Z0-9_] |
|
\b |
Kelime sınırı | \b[0-9]{10}\b |
Kelime sınırı \b (slayt 13)
- Kelime karakteri:
[a-zA-Z0-9_] \b= kelime karakteri ile kelime karakteri olmayan (boşluk, virgül,!...) arasındaki ya da satır başı/sonundaki görünmez sınır.- Ne işe yarar:
\b[0-9]{10}\b->1234567890bulunur ama1234567890123bulunmaz (10'dan uzun, sınır yok).
3. grep komutu ve bayraklar
echo "This is Frank Xu" | grep -Ei "frank"
echo "..."metni ekrana (stdout) yazar,|(pipe) bunugrepe girdi yapar.-EExtended regex (+,{},|,()düz kullanılır)-ibüyük/küçük harf duyarsız-osatırın tamamını değil sadece eşleşen kısmı yazdırır-PPerl uyumlu regex (lookahead/lookbehind ve koşullu gruplar için şart)- Slaytta ayrıca: Java kodunda arama yapıp satır numarasını göstermek (
-n) ve anahtar kelimenin kaç kez geçtiğini saymak (-c).
Karşılaştır:
echo "This is Frank Xu" | grep -E "(F|f)rank" # Frank/frank yakalar
Regex'i görselleştirmek için slaytta site: regulex (jex.im/regulex).
4. Adım adım örnekler (slayt sırasıyla)
4.1 İsim eşleştirme (slayt 10-11)
İsim = Büyük harf + 1-10 küçük harf + boşluk + Büyük harf + 1-10 küçük harf
echo "I am Frank Xu" | grep -Eo "\b[A-Z][a-z]{1,10}\s+[A-Z][a-z]{1,10}\b"
# çıktı: Frank Xu
Parçalar: \b sınır | [A-Z] bir büyük | [a-z]{1,10} 1-10 küçük | \s+ bir/çok boşluk | tekrar isim | \b sınır.
-o olduğu için tüm cümle değil sadece "Frank Xu" çıkar.
Lab dosyası: CYFI727_Roster_2028.txt (ders listesi; kolonlar: Last, First, ID, Date of Birth, Phone, Email, Address, City, Zip, SSN, Username, Password, Credit Card, Card Number...). Slayttaki komutlar:
grep -Ei "Frank" CYFI727_Roster_2028.txt # belirli isim (Frank Xu satırı)
grep -E -o "\b[A-Z][a-z]{1,10}\s+[A-Z][a-z]{1,10}\b" CYFI727_Roster_2028.txt # tüm "Ad Soyad" kalıpları
grep -Eo "[a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}" CYFI727_Roster_2028.txt # tüm e-postalar
Not: isim regex'i sadece isimleri değil adres/şehir gibi büyük harfle başlayan iki kelimeyi de yakalar (West Fairground, Pennington St...). Regex şablona bakar, anlama değil.
4.2 Telefon numarası (slayt 16-25)
Hedef formatlar:
1234567890 123.456.7890 123-456-7890 123 456 7890 (123)456-7890
Kademeli yaklaşım:
- Sadece 10 rakam:
[0-9]{10}(ama 13 haneli sayının içindeki ilk 10'u da yakalar!) - Sınır ekle:
\b[0-9]{10}\b-> 13 haneliyi yakalamaz - Noktalı:
\b[0-9]{3}\.[0-9]{3}\.[0-9]{4}\b - Hem düz hem noktalı: ayraç opsiyonel ->
\b[0-9]{3}\.?[0-9]{3}\.?[0-9]{4}\b({0,1}=?) - Ayraç nokta, tire veya boşluk olabilir:
\b[0-9]{3}[. -]?[0-9]{3}[. -]?[0-9]{4}\b - Beşini birden (parantezli de): koşullu grup gerekir:
(\()? \b[0-9]{3} (?(1) \)|[. -]?) [0-9]{3}[. -]?[0-9]{4}\b
(\()?açan parantez varsa grup 1 oluşur(?(1) \)|[. -]?)= if-then-else: grup 1 varsa kapanış parantezi)şart, yoksa ayraç[. -]?- Bu sözdizimi Perl/PCRE'dir ->
grep -Pgerekir. (Slaytta "ileri bakış ve koşullu gruplama" olarak anlatılıyor.)
4.3 E-posta (slayt 26-27)
johndoe@ubalt.edu, john.doe@gmail.com, john-doe@md.gov
- Yerel kısım (@'tan önce): harf, rakam, -, . , 2-15 karakter -> [a-zA-Z0-9.-]{2,15}
- @
- Alan adı: harf/rakam, 1-15 -> [a-zA-Z0-9]{1,15}
- \. (gerçek nokta)
- Uzantı: harf/rakam 3-4 -> [a-zA-Z0-9]{3,4}
Birleşik: [a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}
4.4 Parola geçerlilik (slayt 30)
Kurallar: uzunluk 3-18, içerik: harf, rakam, -, @.
^[a-zA-Z0-9@-]{3,18}$
^ satır başı, $ satır sonu (tüm parolanın kurala uymasını zorlar).
4.5 Java kaynak kodu (slayt 31)
Anahtar kelime ara, satır numarası göster (grep -n), kaç kez geçtiğini say (grep -c ya da -o | wc -l).
4.6 IPv4 adresi (slayt 32-33)
Basit: ([0-9]{1,3}\.){3}[0-9]{1,3}
- ([0-9]{1,3}\.){3} = "1-3 rakam + nokta" 3 kez, sonra son 1-3 rakam.
- Sorun (slayt 33): 443.125.121.1 de eşleşir ama geçersiz! IP'de her sayı 0-255 olmalı. (Slayttaki test: 192.168.0.1 ✔, 443.125.121.1 ✘, 255.255.255.0 ✔, 89.25.23.0 ✔)
- Doğrusu (ek bilgi): ((25[0-5]|2[0-4][0-9]|1?[0-9]{1,2})\.){3}(25[0-5]|2[0-4][0-9]|1?[0-9]{1,2})
4.7 URL / web sitesi varyasyonları (slayt 34-35)
http://www.ubalt.edu, https://www.ubalt.edu, www.ubalt.edu, ubalt.edu
Slayttaki regex: http://www\..+\.[a-z]{3,4}
echo "It contains a valid url http://www.ubalt.edu" | grep -E "http://www\..+\.[a-z]{3,4}"
http://www\.zorunlu başlangıç,.+en az bir herhangi karakter (domain adı ve altı),\.gerçek nokta,[a-z]{3,4}üst seviye alan adı (TLD): 3-4 küçük harf (com, net, info, org...).- Dört varyasyonu (
https://,www.'suz vb.) da yakalamak için ek bilgi:(https?://)?(www\.)?[a-zA-Z0-9.-]+\.[a-z]{2,}
4.8 Hex ve MAC (slayt 36-38)
- Hex sayı:
[0-9a-fA-F]+; renk hex'i (slayt 36):grep -E "#[a-fA-F0-9]{6}"-> örn.#CD5C5C(#+ 6 hex hane = RRGGBB: kırmızı-yeşil-mavi, her biri 2 hane) - MAC adresi (IEEE 802 / MAC-48): 6 grup, her grup 2 hex rakam,
-veya:ile ayrılmış 01-23-45-67-89-AB,01:23:45:67:89:AB- Regex:
([0-9A-Fa-f]{2}[:-]){5}[0-9A-Fa-f]{2}
5. Lookahead / Lookbehind (slayt 15)
Eşleşmeyi bir bağlama bakarak yaparsın ama bağlam sonuca dahil olmaz. grep -P (Perl) şart.
| Tür | Sözdizimi | Anlamı |
|---|---|---|
| Lookahead (ileri bak) | xxx(?=foo) |
xxx'i bul, arkasında foo varsa |
| Lookbehind (geri bak) | (?<=foo)xxx |
xxx'i bul, önünde foo varsa |
Örnekler:
- (?<=pre)\w+ -> "pre"den sonra gelen kelime kısmı. "pretend" içinde "tend" eşleşir ("pre" sonuca girmez).
- \w+(?=ing) -> "ing"den önceki kısım. fishing -> fish, working -> work, enjoying -> enjoy.
Slayt 51'deki regex kopya kağıdından (staff.washington.edu/weller/grep.html):
| Kalıp | Anlamı |
|---|---|
| \b / \B | kelime sınırı / sınır olmayan yer |
| ^ / $ | satır başı / sonu |
| \bring | "ring" ile başlayan kelime (ringtone) |
| ring\b | "ring" ile biten kelime (spring) |
| ^\d*$ | tüm satır sadece rakam olmalı |
| ^[A-Z] | satır büyük harfle başlar |
| (in|out)put | input veya output |
| \1, \2 | geri referans (back reference): aynı grubu tekrar eşleştirir. \b(\w+)\s+\1\b = tekrarlanan kelime |
| (?:...) | yakalamayan grup (non-capturing) |
| (?=...) / (?!...) | lookahead pozitif / negatif (olmayan) |
| (?<=...) / (?<!...) | lookbehind pozitif / negatif |
| \b\w+?(?=ing\b) | warbling, string, fishing... "ing" öncesi |
| \b(?!\w+ing\b)\w+\b | "ing" ile bitmeyen kelimeler |
| (?<=\bpre)\w*?\b | pretend, present, prefix... "pre"den sonrası |
6. PCAP dosyasında arama (slayt 39-40)
Pcap ikili (binary) olduğu için önce metne çevir, sonra grep:
Adım 1: pcap -> CSV (metne çevir) (slayt 39, çok sayıda -e alan ile):
tshark -r vm_to_ub_traffic.log -T fields -E header=y -E separator=, -E quote=d -E occurrence=f \
-e ip.src -e ip.dst -e tcp.srcport -e tcp.dstport -e tcp.flags ... \
-e eth.src_resolved -e eth.dst_resolved > output.csv
Adım 2: CSV'de regex ile ara, say (slayt 40):
# 1. kalıp: MAC adresleri
grep -Eo "([0-9A-Fa-f]{2}[:-]){5}([0-9A-Fa-f]{2})" output.csv | sort | uniq -c | sort -n
# 1 55:55:55:55:55:55 ...
# 2. kalıp: üretici adı çözülmüş MAC (VMware_86:44:c3 gibi)
grep -Eo "[a-zA-Z0-9]{1,10}_[0-9a-zA-Z]{2}(:[0-9a-zA-Z]{2}){2}" output.csv | sort | uniq -c | sort -n
# 21746 VMware_86:44:c3
# 21747 PaloAlto_00:0a:30
sort | uniq -c | sort -n= say ve sırala: aynı satırları sayar (uniq -c), sayıya göre sıralar. En çok geçen MAC = en çok konuşan cihaz.eth.src_resolved= MAC'in üretici adıyla çözülmüş hali (VMware_..., PaloAlto_...). İkinci kalıp bunu yakalar.tshark= Wireshark'ın komut satırı sürümü-r <dosya>(--read-file): okunacak dosya-T fields -e <alan>: sadece belirli alanı yazdır (örn.tcp.port,eth.src,ip.src,_ws.col.Info)- Slayt 40: pcap'ten MAC ve ikinci bir kalıbı (IP vb.) bu yöntemle çıkarma.
- Lab dosyamız
vm_to_ub_traffic.logaslında pcap, adı yanıltıcı. Kali'de eth0 üzerinden Wireshark dumpcap'i ile yakalanmış.
7. Word (.docx) içinde arama (slayt 41-50)
Anahtar fikir: .docx aslında bir ZIP dosyasıdır (pptx, xlsx de öyle). Doğrudan grep'lersen bulamazsın.
Adımlar:
1. unzip customers.docx -d customers -> içindeki tüm dosyalar customers klasörüne çıkar
2. Asıl metin bir XML dosyasında (word/document.xml)
3. grep "ubalt.edu" document.xml -> sonuç çıkar ama etrafında çok sayıda XML etiketi (<w:t>, <w:p>...) var, okunmuyor
4. Etiketleri sed ile temizle
sed nedir (slayt 45)
Stream editor: dosya/girdiyi satır satır okuyup arama, değiştirme, silme yapar.
echo "111-222-3333" | sed -e 's/1/4/' # 411-222-3333 (her satırda İLK "1"i 4 yap, slayt 46)
echo "111-222-3333" | sed -e 's/1/4/g' # 444-222-3333 (g = global)
echo "My phone number is 111-222-3333" | sed 's/-/./g' # 111.222.3333 (slayt 47)
echo "My phone number is 111-222-3333" | sed 's/-//g' # 1112223333 (tüm '-' silindi)
Özet:
sed 's/1/4/' # her satırda İLK "1"i 4 yap (slayt 46: telefondaki 1'i 4 ile değiştir)
sed 's/1/4/g' # satırdaki TÜM 1'leri 4 yap (g = global)
sed 's/-//g' # tüm "-" karakterlerini sil (slayt 47)
sed 's/-/./g' # "-" yerine "." koy (slayt 47)
Genel biçim: s/ARANAN/YERİNE/bayrak
Etiket temizleme (slayt 48-49)
<h1>This is a heading.</h1> -> etiketleri sil:
echo "Extract content from code. <h1>This is a heading.</h1>" | sed -E "s/<[^>]+>//g"
# çıktı: Extract content from code. This is a heading.
(-E = genişletilmiş regex, + için gerekli. Kalıp: <[^>]+> = <, > OLMAYAN 1+ karakter, >. Slaytta [^>]+ kullanılıyor.)
Aynı şey * ile: sed 's/<[^>]*>//g'
- < ile başla, [^>]* = > OLMAYAN karakterlerden 0 veya daha çok, > ile bitir -> bir etiket. Boşla değiştir.
- [^...] = "bu kümede olmayan" (slayt: not allowed character set)
- Slayt 49: "minor issue" notu var. Paragraf etiketlerinin silinmesi yüzünden kelimeler/satırlar birbirine yapışabilir.
- Slayt 49 (word/document.xml'e uygulama): cat customers/word/document.xml | sed -E 's/<[^>]+>//g' -> metin düzgün çıkar ama "Frank Xu" ile "wxu@ubalt.edu" birbirine yapışır (Frank Xuwxu@ubalt.edu), çünkü paragraflar arasındaki etiketler silinince boşluk kalmaz.
- Slayt 50 çözümü: paragraf (paraID) etiketini boşlukla değiştir, sonra kalan etiketleri sil:
cat customers/word/document.xml | sed -E 's/<[^<]*paraId[^>]*>/ /g ; s/<[^>]+>//g'
# ... Frank Xu wxu@ubalt.edu (artık boşlukla ayrılmış)
- Sonra e-posta regex'i ile çek:
sed -E 's/<[^<]*paraId[^>]*>/ /g ; s/<[^>]+>//g' customers/word/document.xml | grep -Eo "[a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4}"
# wxu@ubalt.edu
- Önceki adım (slayt 44):
grep -Ei "ubalt.edu" customers/word/document.xmlbulur ama etrafı XML etiketi doludur.
Tam akış özeti
customers.docx --unzip--> document.xml --sed ile etiket temizle--> düz metin --grep -E "e-posta regex"--> sonuç
8. Lab akışı (slayt 6-9, 14, 21, 23)
- Lab dosyalarını indir
- unzip et, çıkan dosyaları kontrol et
- txt dosyasının içeriğini kontrol et, regex ile bu dosyada arama yapılacak
- Önce basit ("Frank") ara, sonra genel kalıplar (isim, telefon, e-posta, IP, MAC...) üret ve test et
9. Hızlı tekrar tablosu
| İhtiyaç | Regex |
|---|---|
| İsim Soyisim | \b[A-Z][a-z]{1,10}\s+[A-Z][a-z]{1,10}\b |
| 10 haneli no | \b[0-9]{10}\b |
| Telefon (ayraçlı) | \b[0-9]{3}[. -]?[0-9]{3}[. -]?[0-9]{4}\b |
| E-posta | [a-zA-Z0-9.-]{2,15}@[a-zA-Z0-9]{1,15}\.[a-zA-Z0-9]{3,4} |
| Parola (3-18) | ^[a-zA-Z0-9@-]{3,18}$ |
| IPv4 (basit) | ([0-9]{1,3}\.){3}[0-9]{1,3} |
| MAC | ([0-9A-Fa-f]{2}[:-]){5}[0-9A-Fa-f]{2} |
| HTML/XML etiketi | <[^>]*> |
10. Kendini test et
grep -Eilegrep -Pfarkı nedir? Hangi durumda-Pşart?\b[0-9]{10}\bneden1234567890123'ü yakalamaz?-obayrağı ne yapar?echo "I am Frank Xu"örneğinde çıktı ne olur?- Basit IP regex'i neden
443.125.121.1'i yakalıyor ve nasıl düzeltilir? (?<=pre)\w+ile\w+(?=ing)arasındaki fark nedir?- Bir
.docxiçinde neden doğrudan e-posta aranamaz? Adımları sırala. sed 's/<[^>]*>//g'tam olarak ne yapar?[^>]ne demek?- Pcap'ten MAC adreslerini çıkarmak için hangi araç, hangi bayraklarla?
(\()? ... (?(1) \) | [. -]?)yapısı ne işe yarar?xxx(?=foo)ve(?<=foo)xxxhangisi lookahead, hangisi lookbehind?