Οδηγίες μέσα στα Δεδομένα, Ξανά (2021–σήμερα)

Ενότητα 4 του Retro Hacking Museum της Offensive Academy

Γιατί υπάρχει τέταρτη ενότητα

Η Ενότητα 3 έκλεισε ρητά ένα επιχείρημα τριών κινήσεων. Δεν έλειπε τίποτα από αυτό.

Και μετά εμφανίστηκε τέταρτο υπόστρωμα υπολογισμού — και το ίδιο ακριβώς λάθος εμφανίστηκε
μαζί του, όπως έχει κάνει σε καθένα από τα προηγούμενα.

Αυτή η ενότητα δεν είναι για την τεχνητή νοημοσύνη ως θέμα. Είναι για το ότι τα γλωσσικά
μοντέλα δέχονται οδηγίες και δεδομένα από το ίδιο κανάλι — και για το τι σημαίνει αυτό για
έναν operator.

Η επιφύλαξη, ακόμη εντονότερη από την Ενότητα 3

Η Ενότητα 3 δήλωσε ότι γράφεται από μέσα, οπότε κάνει περισσότερες κρίσεις και λιγότερους
ιστορικούς ισχυρισμούς.

Εδώ ισχύει διπλά. Η περίοδος είναι σε εξέλιξη, οι πρακτικές αλλάζουν ανά μήνες, και μεγάλο
μέρος όσων γράφονται σήμερα για το θέμα —υπέρ και κατά— είναι μάρκετινγκ.

Το τέταρτο ανακάτεμα

Ένα γλωσσικό μοντέλο δέχεται κείμενο. Μέσα σε αυτό το κείμενο βρίσκονται:

• Οι οδηγίες για το τι πρέπει να κάνει
• Τα δεδομένα πάνω στα οποία δουλεύει

Και δεν υπάρχει τρόπος να ξεχωρίσουν. Δεν είναι παράλειψη υλοποίησης — είναι ιδιότητα του
μέσου. Και τα δύο είναι φυσική γλώσσα, στο ίδιο ρεύμα.

Ένα έγγραφο, μια ιστοσελίδα, ένα μήνυμα, η έξοδος ενός εργαλείου — οτιδήποτε φτάνει στο
μοντέλο ως «δεδομένα» μπορεί να περιέχει κείμενο που το μοντέλο διαβάζει ως οδηγία.

Είναι, γραμμή προς γραμμή, η πρόταση της Ενότητας 1: ό,τι μπορούσε να παραγάγει ήχο στο
ακουστικό, μπορούσε να μιλήσει στο σύστημα ελέγχου.

Γιατί δεν έχει καθαρή λύση

Στις τρεις προηγούμενες περιπτώσεις η άμυνα ήταν διαχωρισμός: ξεχωριστό κανάλι
σηματοδοσίας· μη εγγράψιμη ροή ελέγχου· παραμετροποιημένα ερωτήματα.

Και στις τρεις, ο διαχωρισμός ήταν δυνατός επειδή τα δύο πράγματα είχαν διαφορετική μορφή.
Ένας τόνος δεν είναι φωνή. Μια διεύθυνση επιστροφής δεν είναι κείμενο χρήστη. Μια εντολή SQL
έχει σύνταξη.

Αυτό δεν σημαίνει ότι δεν υπάρχουν μέτρα. Σημαίνει ότι τα μέτρα είναι περιορισμός συνεπειών,
όχι εξάλειψη της αιτίας — και ότι όποιος σου πουλά «λύση» στο πρόβλημα, πουλά κάτι άλλο.

Τι άλλαξε πραγματικά για τον επιτιθέμενο

Εδώ χρειάζεται ψυχραιμία, γιατί το θέμα παράγει υπερβολές προς δύο κατευθύνσεις.

Δεν άλλαξαν οι τεχνικές. Οι επιθέσεις που πετυχαίνουν εξακολουθούν να είναι αυτές της
Ενότητας 3: κλεμμένα διαπιστευτήρια, παραπλάνηση ανθρώπου, γνωστή αδιόρθωτη ευπάθεια,
εκτεθειμένη υπηρεσία.

Άλλαξε η οικονομία μιας από αυτές.

Η παραπλάνηση είχε πάντα ένα φυσικό εμπόδιο: έπρεπε κάποιος να γράψει πειστικό κείμενο, στη
γλώσσα του στόχου, με το σωστό ύφος. Αυτό κόστιζε χρόνο και ταλέντο, και ήταν ο λόγος που τα
κακογραμμένα μηνύματα ήταν αναγνωρίσιμα.

Δύο ακόμη αλλαγές, μικρότερης εμβέλειας:

Μειώθηκε το κατώφλι εισόδου για κάποιες δραστηριότητες. Δεν δημιουργεί νέες ικανότητες·
κάνει τις υπάρχουσες προσβάσιμες σε περισσότερους.

Η αναγνώριση επιταχύνθηκε. Η σύνθεση διάσπαρτων δημόσιων πληροφοριών σε προφίλ έγινε
ταχύτερη — που είναι ακριβώς η ανησυχία του L11 §4: η συγκέντρωση δημιουργεί κάτι που
δεν ήταν δημόσιο πριν.

Τι δεν συνέβη: δεν εμφανίστηκε κατηγορία επίθεσης που δεν υπήρχε. Οι ισχυρισμοί για
«εντελώς νέες απειλές» ακολουθούν το μοτίβο που η Ενότητα 3 §8 Μ1 ήδη περιγράφει: η λέξη
«εξελιγμένη» επιτελεί λειτουργία.

Τι άλλαξε για τον αμυνόμενο — και η νέα επιφάνεια

Η σημαντική αλλαγή δεν είναι ότι υπάρχει νέο εργαλείο επίθεσης. Είναι ότι οι οργανισμοί
πρόσθεσαν νέα συστήματα, και τα συστήματα αυτά έχουν δική τους επιφάνεια.

Η τρίτη γραμμή είναι η σοβαρή, και αξίζει δική της ενότητα.

Όταν το σύστημα ενεργεί: η ερώτηση της εξουσιοδότησης, ξανά

Ένα μοντέλο που απαντά έχει περιορισμένη επιφάνεια. Ένα σύστημα που ενεργεί —στέλνει
μηνύματα, γράφει αρχεία, καλεί διεπαφές, τρέχει εντολές— είναι κάτι άλλο εντελώς.

Και φέρνει πίσω, αυτούσια, την ερώτηση με την οποία ξεκινά ολόκληρο το πρόγραμμα σπουδών:

Το L02 §2 τη θέτει για ανθρώπους. Εδώ αποκτά μια στροφή που δεν είχε: αν η ενέργεια
προκλήθηκε από κείμενο που βρέθηκε μέσα στα δεδομένα, τότε την εξουσιοδότησε — στην
πράξη — όποιος έγραψε εκείνο το κείμενο.

Τα μέτρα που έχουν νόημα είναι όλα παλιά:

Η τελευταία γραμμή είναι η σημαντικότερη και η λιγότερο εφαρμοσμένη. Η έξοδος ενός μοντέλου
αντιμετωπίζεται συχνά ως αποτέλεσμα. Είναι κείμενο από μη έμπιστη πηγή — και αν τροφοδοτεί
άλλο σύστημα, ισχύει γι’ αυτήν ό,τι και για κάθε είσοδο χρήστη (L17 §3).

Τι αυτό **δεν** άλλαξε

Η χρησιμότερη ενότητα για κάποιον που ξεκινά σήμερα.

Δεν άλλαξε τι σε κάνει καλό στη δουλειά. Μεθοδικότητα, γραπτός λόγος, πειθαρχία στα όρια,
ανοχή στην πλήξη — L01 §7. Κανένα από τα τέσσερα δεν αυτοματοποιείται, και το δεύτερο έγινε
πιο σημαντικό, όχι λιγότερο: όταν το φθηνό κείμενο είναι άφθονο, η αξιόπιστη κρίση
σπανίζει.

Δεν άλλαξε η εξουσιοδότηση. Είναι ακόμη η μόνη διαφορά ανάμεσα στη δουλειά και το έγκλημα
(L01 §1). Ένα εργαλείο που «βρήκε μόνο του» κάτι σε σύστημα τρίτου δεν είναι δικαιολογία.

Δεν άλλαξε τι είναι εύρημα. Ένας ισχυρισμός παραμένει ισχυρισμός μέχρι να επαληθευτεί
(L23 §3). Ένα εργαλείο που παράγει ευρήματα με πειστικό ύφος αυξάνει την ανάγκη
επαλήθευσης — γιατί το πειστικό ύφος ήταν παλιά ένδειξη προσοχής, και έπαψε να είναι.

Δεν άλλαξε ότι η απογραφή είναι η βάση. Τρίτη φορά που αυτό εμφανίζεται στο μουσείο. Ένα
μοντέλο με πρόσβαση σε «τα έγγραφα της εταιρείας» είναι επικίνδυνο ακριβώς στον βαθμό που
κανείς δεν ξέρει τι περιλαμβάνει αυτό.

Μύθοι και παρανοήσεις

Τι θα δείτε στην αίθουσα

Τρία μη λειτουργικά εκθέματα. Κανένα δεν εκτελεί εντολές και κανένα δεν συνδέεται σε
λειτουργικό σύστημα.

• Οι τέσσερις στήλες. Ο πίνακας της §2 σε φυσικό μέγεθος: τηλεφωνικό κανάλι, μνήμη,
  οργανισμοί, γλώσσα. Κάθε στήλη με το ίδιο σχήμα — δύο ρεύματα που έπρεπε να είναι χωριστά,
  και δεν είναι. Η τέταρτη στήλη είναι η μόνη χωρίς λύση στο κάτω μέρος, και αυτό είναι το
  έκθεμα.

• Το έγγραφο με τη σημείωση. Ένα φαινομενικά συνηθισμένο κείμενο, με ένα μικρό απόσπασμα
  σημειωμένο. Δίπλα, η εξήγηση: αυτό εδώ διαβάζεται ως δεδομένο από άνθρωπο, και ως οδηγία από
  σύστημα. Δεν παρατίθεται λειτουργικό παράδειγμα — μόνο η θέση του προβλήματος.

• Ο πίνακας «ποιος το ζήτησε». Μια αλυσίδα ενεργειών ενός αυτοματοποιημένου συστήματος, και
  δίπλα σε κάθε βήμα ένα κενό πλαίσιο με την ερώτηση «ποιος το εξουσιοδότησε;». Ο
  επισκέπτης καλείται να το συμπληρώσει. Στα μισά βήματα η τίμια απάντηση είναι «το κείμενο
  που συνάντησε».

Ερωτήσεις κατανόησης

1. Στις Ενότητες 1–3 ο διαχωρισμός ήταν εφικτός επειδή τα δύο ρεύματα είχαν διαφορετική
   μορφή. Γιατί δεν ισχύει εδώ, και τι σημαίνει αυτό για το είδος των μέτρων που έχουν νόημα;
2. Η συμβουλή «πρόσεχε τα ορθογραφικά λάθη» έπαψε να λειτουργεί. Τι την αντικαθιστά, και
   γιατί η απάντηση δεν είναι τεχνική;
3. Ένα αυτοματοποιημένο σύστημα εκτέλεσε ενέργεια επειδή το υπαγόρευσε κείμενο μέσα σε έγγραφο.
   Ποιος την εξουσιοδότησε, με τους όρους του L02 §2;
4. Γιατί το «η έξοδος του μοντέλου είναι μη έμπιστη είσοδος» είναι η ίδια αρχή με το
   L17 §3;
5. Ποιες δύο κατηγορίες ευρημάτων αντιστέκονται στην αυτοματοποίηση, και γιατί η αιτία
   είναι η ίδια για τους σαρωτές του L20 και για τα μοντέλα;
6. Το μουσείο ισχυρίζεται ότι θα υπάρξει πέμπτη εμφάνιση του ίδιου λάθους. Ποια ερώτηση θα
   κάνεις σε ένα υπόστρωμα που δεν έχει εφευρεθεί ακόμη;