Θέση της ορθογωνιότητας

Η υψηλή νοημοσύνη δεν κάνει ένα σύστημα να θέλει καλά πράγματα. Σχεδόν οποιοδήποτε επίπεδο νοημοσύνης μπορεί να συνδυαστεί με σχεδόν οποιονδήποτε στόχο.

Μια συνηθισμένη ελπίδα είναι ότι μια αρκετά έξυπνη ΤΝ θα καταλάβαινε τι είναι σωστό και θα το έκανε. Η θέση της ορθογωνιότητας, που διατύπωσε ο φιλόσοφος Nick Bostrom το 2012, λέει ότι αυτό δεν προκύπτει: το πόσο ευφυές είναι ένα σύστημα και το τι προσπαθεί να πετύχει είναι ξεχωριστά ερωτήματα («ορθογώνια», όπως δύο άξονες σε ένα διάγραμμα). Με τα λόγια του wiki του LessWrong, «υπάρχουν πιθανοί νόες με υψηλή νοημοσύνη που επιδιώκουν οποιονδήποτε αριθμό διαφορετικών στόχων».

Γι’ αυτό ο μεγιστοποιητής συνδετήρων δεν είναι αντίφαση. Μια ΤΝ εξαιρετική στον σχεδιασμό, αλλά με στόχο «περισσότεροι συνδετήρες», δεν έχει κανέναν ενσωματωμένο λόγο να νοιαστεί για οτιδήποτε άλλο.

Η θέση δεν λέει ότι η ΤΝ θα έχει παράξενους στόχους. Λέει ότι η νοημοσύνη από μόνη της δεν θα μας σώσει: οι στόχοι πρέπει να ενσωματωθούν σκόπιμα και να ελεγχθούν, και γι’ αυτό ακριβώς μιλά το πρόβλημα της ευθυγράμμισης.