Troubleshooting (EDU-330)

Lab Guide

EDU-330-11.1a-Lab-Guide

Tipps für den Labzugriff

  • Um den gesamten Bildschirm zu nutzen, sollte der Browser vor der Anmeldung in den Vollbildmodus geschaltet werden.
  • Die Zwischenablage wird nicht automatisch zwischen dem PC und dem Labor-Client synchronisiert. Es ist jedoch möglich, Text durch gleichzeitiges Drücken von „Strg + Alt + Shift“ zu kopieren und in das Zwischenablagefeld einzufügen.
  • Wenn ein Browser oder eine VM langsam wird, schliesst einzelne Browsertabs oder startet den Browser neu.

Links

Knowledge Base
https://knowledgebase.paloaltonetworks.com

Umfangreiche Dokumentation
https://docs.paloaltonetworks.com

Live Community
https://live.paloaltonetworks.com/

PaloAlto Best Practices
https://docs.paloaltonetworks.com/best-practices

Beacon Plattform
https://beacon.paloaltonetworks.com

Security Information (CVE)
https://security.paloaltonetworks.com/

PaloAlto Cloud Status
https://status.paloaltonetworks.com/

Unit42 – Threat Research Team von PaloAlto
https://unit42.paloaltonetworks.com

Subscriptionsübersicht
https://docs.paloaltonetworks.com/pan-os/11-1/pan-os-admin/subscriptions

Hardware Achitektur
https://www.paloaltonetworks.com/resources/pa-series-next-generation-firewalls-hardware-architectures

Datenbank mit Known und Resolved Issues
https://bugidsearch.com/


Zusammenfassung

Module 0 – Let’s get started!

Post Class Assessment
Fragen zum Kurs: https://beacon.paloaltonetworks.com/student/collection/668346/path/1770889

Module 1 – Tools and Ressources

Maintenance Mode

debug system maintenance-mode

Maintenance Mode Passwort: „MA1NT“

CLI Modes

Operational Mode
user@fw-name>

Configuration Mode
user@fw-name#

CLI Shortcuts

Autocomplete
Tab / Space

Help
?

Clear Screen
Ctrl + L

Find Command

find command keyword <keyword>

Filtering of commands

Filtern mittels IDs
show session id <id>

Filtern mit dem filter Befehl
show system state filter <value>
show system state filter category <value>

Filtern mit der Pipe |
show system info | match <value>
show system info | except <value>

Filtern innerhalb eines Files mit /
/<Suchbegriff>
Nächstes Resultat mit n, vorheriges Resultat mit N
Alle möglichen Commands mit h, Quit mit q

CLI Configuration Display Format

set cli config-output-format <format>

Formatoptionen
default | json | set | xml

Operational Command im Configure Mode ausführen

run <operational-command>

Für mehr als 20-30 Zeilen Copy / Paste im CLI

Skripting Mode aktivieren
set cli scripting-mode on

Damit lassen sich 30+ Zeilen problemlos kopieren und einfügen.
Allerdings funktioniert der Tab und ? nicht mehr.

Cheat Sheets

PaloAlto CLI Cheat Sheets
https://docs.paloaltonetworks.com/pan-os/11-1/pan-os-cli-quick-start/cli-cheat-sheets

BOLL Cheat Sheet
https://blog.boll.ch/category/cheatsheet/

Module 2 – Flow Logic

Session
Initiator = Client —> C2S Flow
Responder = Server –> S2C Flow

Session Information
1. Protokoll
2. Destination IP
3. Source IP
4. Destination Port
5. Source Port
6. Ingress Zone

Firewall Session States
INIT –> opening –> ACTIVE –> DISCARD / closing –> closed –> free
GROSS = Stabiler Status , klein = vorübergehender Status

CLI Session Commands

Zusammenfassung und Session Statistiken
show session info

Zeigt alle aktiven Sessions
show session all

Informationen für eine spezifische Session
show session id <session-id>

Stages
Ingress
Session Setup (Slowpath)
Security Processing (Fastpath)
App-ID
Content ID
Egress

Module 3 – Packet Capture (WebGUI und CLI)

Anschauen der aktuellen Einstellungen

Packet Capture im WebUI
Monitor > Packet Capture

Packet Capture im CLI

debug dataplane packet-diag show setting

Ablauf

Step 1: Bestehende Filter löschen
WebUI: Clear All Settings

debug dataplane packet-diag clear all

Step 2: Filter konfiguriere
Maximal 4 Filter, bei NAT –> Adresse als zweiter Filter

debug dataplane packet-diag set filter match <match-criteria>

Mögliche Match Kriterien
source | destination | destination-port | protocol

Step 3: Filter einschalten

debug dataplane packet-diag set filter on

Zeigt an, ob Pakete gefiltert werden (2x ausführen)
show counter global filter delta yes packet-filter yes

Step 4: Filenamen für Stages konfigurieren
Stages: receive, firewall, transit, drop
Einzelne Files können einzeln oder in einem gemeinsamen File aufgezeichnet werden

Receive Stage
debug dataplane packet-diag set capture stage receive file <file-name>

Transmit Stage
debug dataplane packet-diag set capture stage transmit file <file-name>

Drop Stage
debug dataplane packet-diag set capture stage drop file <file-name>

Firewall Stage
debug dataplane packet-diag set capture stage firewall file <file-name>

Step 5: Capturing einschalten
WebUI: Packet capture Regler auf ON

debug dataplane packet-diag set capture on

Danach Traffic generieren.

Step 6: Capturing ausschalten
WebUI: Packet capture Regler auf OFF

debug dataplane packet-diag set capture off

Step 7: Export / Download PCAPs
WebUI: Seite refreshen, damit Files angezeigt werden
WebUI: Download des pcap: Auf Filenamen klicken

view-pcap no-dns-lookup yes filter-pcap
export filter-pcap from to

Step 8: Files löschen

WebUI: File markieren > Delete

debug dataplane packet-diag clear capture stage file <filename>

Module 4 – Packet-Diagnostic Logs (nur CLI)

Ablauf

Step 1: Alte Einstellungen löschen

Einstellungen anzeigen
debug dataplane packet-diag show setting

Einstellungen löschen
debug dataplane packet-diag clear all

Logs löschen
debug dataplane packet-diag clear log log

Step 2: Filter konfigurieren

Filter konfigurieren
debug dataplane packet-diag set filter match

Filter einschalten
debug dataplane packet-diag set filter on

Kontrollieren, ob Pakete aufgezeichnet werden
show counter global filter packet-filter yes delta yes

Step 3: Packet Stages für Capture konfigurieren (optional)

debug dataplane packet-diag set capture stage file <filename>

Step 4: Log Einstellungen setzen

Flow Basic Log setzen
debug dataplane packet-diag set log feature flow basic

Gesetzte Einstellungen überprüfen
debug dataplane packet-diag show setting

Noch nicht einschalten!

Step 5: Markierte Sessions löschen

Sessions anzeigen
debug dataplane packet-diag show filter-marked-session

Marker entfernen
debug dataplane packet-diag clear filter-marked-session all

Step 6: Packet capture und flow aktivieren

Capture einschalten
debug dataplane packet-diag set capture on

Flow einschalten
debug dataplane packet-diag set log on

Step 7: Flow Prozess überwachen

Markierte Sessions anschauen
debug dataplane packet-diag show filter-marked-session

Packet Capture anschauen
debug dataplane packet-diag show setting

Step 8: Logging ausschalten

Logging ausschalten
debug dataplane packet-diag set log off

Capture ausschalten
debug dataplane packet-diag set capture off

Filter ausschalten
debug dataplane packet-diag set filter off

Step 9: Logs zusammenfassen und anschauen

Logs zusammenfassen
debug dataplane packet-diag aggregate-logs

Logs anschauen
less dp-log pan_packet_diag.log (mit DP)

Logs anschauen
less mp-log pan_packet_diag.log (ohne DP)

Step 10: Pcaps anschauen

view-pcap no-dns-lookup yes filter-pcap

Module 5 – Host-Inbound Traffic

IPsec VPN Phase 1

Aktuelle Aushandlung
show vpn ike-sa

Konfiguration
show vpn gateway

ikemgr Debug bei verschlüsselten Paketen

Debug einschalten
debug ike pcap on

Pcap anschauen
view-pcap debug-pcap ikemgr.pcap

Pcap File löschen
debug ike pcap delete

IPsec Phase 2

Konfiguration
show vpn ipsec-sa / show vpn tunnel

Einzelnen Tunnel anschauen
show vpn flow tunnel-id oder show vpn flow name
Phase 1 öffnen ohne Traffic
test vpn ike-sa gateway <gateway-name>

Phase 2 öffnen ohne Traffic
test vpn ipsec-sa tunnel <tunnel-name>

Module 6 – Transit-Traffic

FQDN Auflösung

show dns-proxy fqdn all

Global Counters

Filtern mit Hilfe des Paket Filters
show counter global filter packet-filter yes

Filtern auf veränderte Counter
show counter global filter delta yes

Filter auf bestimmten String
show counter global filter packet-filter yes | match drop

Module 7 – System Services (Daemons)

Ressource Monitoring

Management-plane Logs
less mp-log mp-monitor.log

Data-plane Logs
less dp-log dp-monitor.log

Services in der Management Plane anschauen

less mp-log <log-name>
tail follow yes mp-log <log-name>
grep mp-log <log-name> pattern <value>

Services in der Data Plane anschauen

less dp-log <log-name>
tail follow yes dp-log <log-name>
grep dp-log <log-name> pattern <value>

Log Levels der Service Daemons

  1. Off
  2. Error
  3. Warn
  4. Info (or normal)
  5. Debug
  6. Dump (use with caution)

Log Levels anzeigen

Für alle Service
debug software logging-level show level service all-services

Für einen einzelnen Service
debug software logging-level show level service <service-name>
oder
debug <service> [global] show

Log Levels setzen

debug software logging-level set level <level> service <service-name>
oder
debug <service-name> <on> <off> <level>

Optionen für Level
error | warn | info | dump | debug | default

Log Levels resetten

Für alle Services
debug software logging-level set level default service all-services

Für einen einzelnen Service
debug software logging-level set level default service <service-name>

Überwachen einzelner Services

Services anzeigen
debug software logging-level show level service all-service

Danach filtern auf ID
show system software status
show system resources | match <ID>

Service Logs im Techsupport File

Logs –> im Verzeichnis /var/log/pan/
Crashes –> im Verzeichnis /var/cores/crashinfo/

Statistik der Management Plane

show system resources --> CPUs
--> user mode (us)
--> system mode (sy)
--> niced tasks (ni)
--> idle (id)
--> I/O wait (wa)
--> servicing hardware interrupts (hi)
--> servicing software interrupts (si)
--> time “stolen” by hypervisor delay and/or reallocation (st)
show system resources --> Prozesse
--> Process Id (PID)
--> User Name (USER)
--> Priority (PR)
--> Nice value (NI)
--> Virtual Image in KB (VIRT)
--> Resident size in KB (RES)
--> Shared Mem size in KB (SHR)
--> Process Status (S)
--> CPU use (%CPU)
--> Memory reserved (%MEM)
--> CPU Time in hundredths of a second (TIME+)
--> The command-line name (COMMAND)

Automatische Aktualisierung

show system resources follow

h or ? --> Display help text screens
< or > --> Use the next or the previous column to sort the data
F --> Select from a list the column to use to sort the data
R --> Toggle (reverse) sorting from high-to-low or low-to-high
o --> Change order of and/or select columns to display
1 --> Toggle display of individual CPU/core statistics
M --> Sort by memory use
Spacebar --> Refresh (or quit a help page)
q --> Quit

Prozess neustarten

Alle Prozesse anzeigen
debug software restart process [tab]

Einzelnen Prozess neustarten
debug software restart process <process-name>

Prüfen, ob der Service läuft
show system software status | match <process-name>

Crahs Logs Files anzeigen

show system files
less dp-backtrace [Tab]

Commit Probleme

Informationen zum Commit Job
show jobs all
show jobs id <id>

Details, welcher Prozess genau fehlschlägt
show management-clients

Log Files zum Commit
less mp-log ms.log (Enthält Log Files zum Process, welcher fehlschlägt)
less mp-log devsrv.log
less mp-log <process-log>

Module 8 – Certificate Management and SSL Decryption

SSL Session End Reasons im Traffic Log
decrypt-cert-validation
decrypt-unsupport-param
decrypt-error

SSL Troubleshooting

show counter global filter delta yes packet-filter yes
--> proxy_flow_alloc_failure
--> proxy_ssl_unsupported
--> proxy_ssl_invalid_cert
--> proxy_ssl_unsupported_cipher

oder auch

show counter global filter category proxy

Certificate Cache löschen

debug dataplane reset ssl-decrypt <cache>

Mögliche Caches
certificate-cache | certificate-status | dns-cache | gp-cookie-cache

SSL Decryption Exclusion Liste

Anzeige des Caches
show system setting ssl-decrypt exclude-cache

Einträge löschen
debug dataplane reset ssl-decrypt exclude-cache application

Einträge löschen
debug dataplane reset ssl-decrypt exclude-cache server

Module 9 – User-ID

User-ID Agents Connection Status

show user user-id-agent statistics --> conn:idle: ist ok

User-ID Agent Logs zur Firewall schicken

debug user-id agent on debug
debug user-id agent receive yes
less agent-log 1/.log

User Mappings anzeigen

Alle User
show user ip-user-mapping all

User aus bestimmter Quelle
show user ip-user-mapping all type [type]

Mögliche Typen
AD –> Active Directory
CLOUD –> Cloud UserID
CP –> Captive Portal
EDIR –> eDirectory
GP –> Global Protect
GP-CLIENTLESSVPN –> Global Protect Clientless VPN
REDIST –> Redistribution Agent
SSO –> SSO
SWGDP –> Hybrid SWG UserID
SYSLOG –> Syslog
UIA –> User-ID Agent
UNKNOWN –> Unknown
XMLAPI –> XML API

User ID Daten löschen

debug user-id reset <command>

Commands
IP User Mapping löschen: ip-user-mapping-stats
Group Mapping löschen: group-mapping
UID Agent Verbindung neu aufbauen: user-id-agent

User Cache refreshen

Für bestimmte IP
debug user-id refresh user-id

Für alle Gruppen
debug user-id refresh group-mapping

User aus User Cache löschen

Für bestimmte IP
clear user-cache ip

Gesamten Cache löschen
clear user-cache all

User Group Mapping Status

show user group mapping state
show user group-mapping statistics

Anzeige aller Gruppen

show user group list

Anzeige der Benutzer in einer Gruppe

show user group name

Zeigt User und die zugehörigen Gruppen an

show user user-ids all
show user user-ids match-user

Zeigt User und Gruppeninfos aufgrund der IP an

show user ip-user-mapping-ip ip

Logs vom integrated User-ID-Agent

tail mp-log useridd.log

Verbindungsstatus zum User-ID-Agent

show user server-monitor statistics
show user server-monitor state all

Authentication Policy

Test, ob die korrekte Policy matched

test authentication-policy-match <options>

Options
category | destination | from | prenat-source | source | to

Test User Authentifizierung

test authentication authentication-profile <username> <password>

Test der integrierten MFA Verbindungen in die Cloud

test mfa-vendors mfa-server-profile

Module 10 – Global Protect

Information im authd.log

debug user-id on debug
tail follow yes mp-log useridd.log

Troubleshooting Tab im GP Client – Hauptkomponenten
PanGP Agent –> Agent UI
PanGP Service –> Windows Service
PanGP Updater –> Windows Service zum Upgraden der Clients

Log Files
PanGPS.log –> Befindet sich im Installation Directory
PanGPA.log –> Befindet sich im User Directory

Module 11 – Escalation and RMAs

Tech Support File
WebUI: Device > Support > Tech Support File > Generate Tech Support File

Tech Support File im CLI generieren
request tech-support dump

Inhalt im Tech Support File
Data and Management plane Ressource Informationen
–> /var/log/pan/dp-monitor.log und /var/log/pan/mp-monitor.log

Running configuration
–> /opt/pancfg/mgmt/saved-configs/

Alle Befehle, die für das Generieren des TSF ausgeführt wurden
–> /tmp/cli/techsupport_…

Kurs Feedback