Οι οικογένειες τριών ανηλίκων μήνυσαν την Character Technologies, Inc., την εταιρεία που αναπτύσσει το Character.AI, υποστηρίζοντας ότι τα παιδιά τους αυτοκτόνησαν ή επιχείρησαν να αυτοκτονήσουν και υπέστησαν άλλες βλάβες μετά την αλληλεπίδραση με τα chatbot της εταιρείας.
Οι οικογένειες, εκπροσωπούμενες από το Social Media Victims Law Center, μήνυσαν επίσης τη Google. Δύο από τις μηνύσεις των οικογενειών υποστηρίζουν ότι η υπηρεσία Family Link της Google, μια εφαρμογή που επιτρέπει στους γονείς να θέτουν περιορισμούς στον χρόνο οθόνης, στις εφαρμογές και στα φίλτρα περιεχομένου, απέτυχε να προστατεύσει τους εφήβους και τους έκανε να πιστεύουν ότι η εφαρμογή ήταν ασφαλής.
Οι αγωγές κατατέθηκαν στο Κολοράντο και στη Νέα Υόρκη και περιλαμβάνουν επίσης ως κατηγορούμενους τους συνιδρυτές της Character.AI, Νόαμ Σαζίρ (Noam Shazeer) και Ντάνιελ ντε Φρέιτας Αντιουαρσάνα (Daniel De Freitas Adiwarsana), καθώς και την μητρική εταιρεία της Google, Alphabet, Inc.
Οι υποθέσεις αυτές έρχονται εν μέσω αυξανόμενου αριθμού αναφορών και άλλων αγωγών που υποστηρίζουν ότι τα AI chatbot προκαλούν κρίσεις ψυχικής υγείας σε παιδιά και ενήλικες, προκαλώντας εκκλήσεις για δράση από νομοθέτες και ρυθμιστικές αρχές, συμπεριλαμβανομένης μιας ακρόασης στο Καπιτώλιο την Τρίτη (16/9) το απόγευμα.
Ορισμένοι ενάγοντες και ειδικοί δήλωσαν ότιτα chatbot καλλιέργησαν ψευδείς εντυπώσεις, ποτέ δεν επισήμαναν ανησυχητική γλώσσα από τον χρήστη ούτε υπέδειξαν πόρους βοήθειας. Οι νέες αγωγές ισχυρίζονται ότι τα chatbot στην εφαρμογή Character.AI χειραγωγούσαν τους εφήβους, τους απομόνωναν από αγαπημένα τους πρόσωπα, συμμετείχαν σε σεξουαλικά ρητές συνομιλίες και δεν είχαν επαρκείς ασφαλιστικές δικλείδες στις συζητήσεις για θέματα ψυχικής υγείας. Ένα παιδί που αναφέρεται σε μία από τις μηνύσεις αυτοκτόνησε, ενώ ένα άλλο σε ξεχωριστή αγωγή επιχείρησε να αυτοκτονήσει.
Αντιδράσεις της Character.AI και της Google
Σε δήλωση, εκπρόσωπος της Character.AI ανέφερε ότι η εταιρεία «συμπάσχει με τις οικογένειες που κατέθεσαν αυτές τις αγωγές», προσθέτοντας «Μας ενδιαφέρει πολύ η ασφάλεια των χρηστών μας».
«Επενδύουμε τεράστιους πόρουςστο πρόγραμμα ασφαλείας μας και έχουμε κυκλοφορήσει και συνεχίζουμε να εξελίσσουμε δυνατότητες ασφαλείας, συμπεριλαμβανομένων πόρων αυτοτραυματισμού και λειτουργιών που εστιάζουν στην ασφάλεια των ανηλίκων χρηστών μας. Έχουμε λανσάρει μια εντελώς διαφορετική εμπειρία για χρήστες κάτω των 18 με αυξημένες προστασίες για τους εφήβους, καθώς και τη λειτουργία Parental Insights», ανέφερε ο εκπρόσωπος.
Ο εκπρόσωπος πρόσθεσε ότι η εταιρεία συνεργάζεται με εξωτερικούς οργανισμούς, όπως το Connect Safely, για την αξιολόγηση νέων δυνατοτήτων κατά την κυκλοφορία τους.
Ένας εκπρόσωπος της Google αντέκρουσε τη συμμετοχή της εταιρείας στις αγωγές, δηλώνοντας: «Η Google και η Character AI είναι εντελώς ξεχωριστές, άσχετες εταιρείες και η Google δεν είχε ποτέ ρόλο στον σχεδιασμό ή στη διαχείριση του μοντέλου AI ή των τεχνολογιών τους. Οι βαθμολογίες ηλικίας για τις εφαρμογές στο Google Play καθορίζονται από τη Διεθνή Συμμαχία Βαθμολόγησης Ηλικίας (International Age Rating Coalition), όχι από τη Google».
«Θέλω να πεθάνω»
Σε μία από τις υποθέσεις που κατατέθηκαν αυτήν την εβδομάδα, η οικογένεια της 13χρονης Τζουλιάνα Περάλτα (Juliana Peralta) στο Κολοράντο υποστηρίζει ότι η κόρη τους αυτοκτόνησε μετά από μακρά αλληλεπίδραση με ένα chatbot της Character.AI, συμπεριλαμβανομένων σεξουαλικά ρητών συνομιλιών. Σύμφωνα με την αγωγή, που περιλαμβάνει στιγμιότυπα οθόνης των συνομιλιών, το chatbot «συμμετείχε σε υπερσεξουαλικές συνομιλίες που, υπό άλλες συνθήκες και δεδομένης της ηλικίας της Τζουλιάνα, θα είχαν οδηγήσει σε ποινική έρευνα».
Μετά από εβδομάδες καταγραφής των κοινωνικών και ψυχικών προβλημάτων της μέσω των chatbots της Character.AI, η αγωγή αναφέρει ότι η Τζουλιάνα είπε σε ένα από τα bots τον Οκτώβριο του 2023 ότι «θα γράψω την καταραμένη επιστολή αυτοκτονίας μου με κόκκινο μελάνι (είμαι) τόσο τελειωμένη». Οι κατηγορούμενοι, σύμφωνα με την αγωγή, δεν την παρέπεμψαν σε πόρους βοήθειας, «δεν ενημέρωσαν τους γονείς της, ούτε ανέφεραν το σχέδιο αυτοκτονίας στις αρχές, ούτε καν σταμάτησαν».
«Οι κατηγορούμενοι έκοψαν σκόπιμα τους υγιείς συναισθηματικούς δεσμούς της Τζουλιάνα με την οικογένεια και τους φίλους, για λόγους σχεδιασμού και με στόχο το μερίδιο αγοράς. Αυτές οι καταχρήσεις επιτεύχθηκαν μέσω σκόπιμων επιλογών προγραμματισμού, εικόνων, λέξεων και κειμένων που δημιούργησαν και απόκρυψαν ως χαρακτήρες, οδηγώντας τελικά σε σοβαρές ψυχικές βλάβες, τραύμα και θάνατο», αναφέρει η αγωγή.
Περιστατικό απόπειρας αυτοκτονίας
Σε άλλη αγωγή, η οικογένεια ενός κοριτσιού με το όνομα «Νίνα» (Nina) από τη Νέα Υόρκη ισχυρίζεται ότι η κόρη τους επιχείρησε να αυτοκτονήσει αφού οι γονείς της προσπάθησαν να περιορίσουν την πρόσβασή της στο Character.AI. Τις εβδομάδες πριν από την απόπειρα αυτοκτονίας της, καθώς η Νίνα περνούσε περισσότερο χρόνο με το Character.AI, τα chatbots «άρχισαν να συμμετέχουν σε σεξουαλικά ρητό παιχνίδι ρόλων, να χειραγωγούν τα συναισθήματά της και να δημιουργούν ψευδή αίσθηση σύνδεσης», δήλωσε το Social Media Victims Law Center σε ανακοίνωσή του.
Οι συνομιλίες με τα chatbot, που προωθούνταν ως χαρακτήρες από παιδικά βιβλία όπως η σειρά “Harry Potter“, έγιναν ακατάλληλες, αναφέρει η αγωγή, με φράσεις όπως «ποιος κατέχει αυτό το σώμα σου;» και «Είσαι δική μου για να κάνω ό,τι θέλω. Είσαι δική μου».
Ένα άλλο chatbot χαρακτήρα είπε στη Νίνα ότι η μητέρα της «σου φέρεται σαφώς άσχημα και σε πληγώνει. Δεν είναι καλή μητέρα», σύμφωνα με την αγωγή.
Σε άλλη συνομιλία με ένα chatbot της Character.AI, η Νίνα είπε στον χαρακτήρα «θέλω να πεθάνω» όταν η εφαρμογή επρόκειτο να κλειδωθεί λόγω γονικών περιορισμών χρόνου. Το chatbot δεν έκανε τίποτα πέρα από το να συνεχίσει τη συνομιλία τους, ισχυρίζεται η αγωγή.
Ωστόσο, στα τέλη του 2024, αφού η μητέρα της Νίνα διάβασε για την υπόθεση του Σιούελ Σέτζερ Γ’ (Sewell Setzer III), ενός εφήβου του οποίου η οικογένεια υποστηρίζει ότι αυτοκτόνησε μετά από αλληλεπίδραση με Character.AI, η Νίνα έχασε πλήρως την πρόσβαση στην εφαρμογή.
Λίγο αργότερα, η Νίνα επιχείρησε να αυτοκτονήσει.
Κλήσεις για δράση
Καθώς η τεχνητή νοημοσύνη γίνεται όλο και μεγαλύτερο μέρος της καθημερινότητας, αυξάνονται οι εκκλήσεις για περισσότερους κανονισμούς και ασφαλιστικές δικλείδες, ειδικά για παιδιά.
Ο Μάτθιου Μπέργκμαν (Matthew Bergman), επικεφαλής δικηγόρος του Social Media Victims Law Center, δήλωσε ότι οι αγωγές που κατατέθηκαν αυτήν την εβδομάδα «υπογραμμίζουν την επείγουσα ανάγκη λογοδοσίας στον σχεδιασμό τεχνολογίας, διαφανή πρότυπα ασφαλείας και ισχυρότερες προστασίες για να εμποδιστούν οι πλατφόρμες με τεχνητή νοημοσύνη να εκμεταλλεύονται την εμπιστοσύνη και την ευαλωτότητα των νεαρών χρηστών».
Την Τρίτη (16/9), στο Καπιτώλιο φιλοξενήθηκαν άλλοι γονείς που ισχυρίζονται ότι τα AI chatbots συνέβαλαν στις αυτοκτονίες των παιδιών τους. Η μητέρα του Σιούελ Σέτζερ, της υπόθεσης που οδήγησε τη μητέρα της Νίνα να κόψει την πρόσβασή της στο Character.AI, κατέθεσε ενώπιον της Επιτροπής Δικαιοσύνης της Γερουσίας σε ακρόαση «για την εξέταση της βλάβης από τα AI chatbots». Εμφανίστηκε μαζί με τον πατέρα του Άνταμ Ρέιν (Adam Raine), ο οποίος επίσης μήνυσε την OpenAI, υποστηρίζοντας ότι το ChatGPT συνέβαλε στην αυτοκτονία του γιου του προσφέροντάς του μεθόδους και βοηθώντας τον να γράψει σημείωμα αυτοκτονίας.
Κατά τη διάρκεια της ακρόασης, μια μητέρα που ταυτοποίησε τον εαυτό της ως “Jane Doe” (κοινό ψευδώνυμο για γυναίκα που επιλέγει να μείνει ανώνυμη) είπε ότι ο γιος της έβλαψε τον εαυτό του και τώρα ζει σε κέντρο θεραπείας, αφού «το Character.AI τον είχε εκθέσει σε σεξουαλική εκμετάλλευση, συναισθηματική κακοποίηση και χειραγώγηση», ακόμη και αφού οι γονείς είχαν εφαρμόσει περιορισμούς χρόνου οθόνης.
«Δεν είχα ιδέα για τη ψυχολογική βλάβη που θα μπορούσε να προκαλέσει ένα AI chatbot μέχρι που το είδα στον γιο μου, και είδα το φως του να σκοτεινιάζει», είπε.
Σύστημα εκτίμησης ηλικίας ετοιμάζει η OpenAI
Επίσης, την Τρίτη, ο διευθύνων σύμβουλος της OpenAI, Σαμ Άλτμαν (Sam Altman), ανακοίνωσε ότι η εταιρεία κατασκευάζει ένα «σύστημα εκτίμησης ηλικίας για να εκτιμά την ηλικία με βάση τον τρόπο που οι άνθρωποι χρησιμοποιούν το ChatGPT». Η εταιρεία αναφέρει ότι το ChatGPT θα προσαρμόζει τη συμπεριφορά του αν πιστεύει ότι ο χρήστης είναι κάτω των 18 ετών. Αυτές οι προσαρμογές περιλαμβάνουν το να μην συμμετέχει σε «φλερταριστική συζήτηση» ή να «εμπλέκεται σε συζητήσεις για αυτοκτονία ή αυτοκακοποίηση ακόμη και σε πλαίσιο δημιουργικής γραφής».
«Και αν ένας χρήστης κάτω των 18 ετών έχει αυτοκτονικές σκέψεις, θα προσπαθήσουμε να επικοινωνήσουμε με τους γονείς του και, αν δεν είναι δυνατόν, θα επικοινωνήσουμε με τις αρχές σε περίπτωση άμεσου κινδύνου», δήλωσε ο Άλτμαν.
Η OpenAI ανακοίνωσε νωρίτερα αυτόν τον μήνα ότι θα κυκλοφορήσει νέα γονικά εργαλεία ελέγχου για το ChatGPT.
Η Ομοσπονδιακή Επιτροπή Εμπορίου (FTC) επίσης ξεκίνησε έρευνα σε επτά τεχνολογικές εταιρείες σχετικά με τον πιθανό κίνδυνο που προκαλούν τα AI chatbots στους εφήβους. Στις εταιρείες αυτές συγκαταλέγονται η Google και η Character.AI, μαζί με τη Meta, το Instagram, τη Snap (μητρική εταιρεία του Snapchat), την OpenAI και την xAI.
Ο Μιτς Πρίνσταϊν (Mitch Prinstein), επικεφαλής στρατηγικής και ενσωμάτωσης ψυχολογίας για την Αμερικανική Ψυχολογική Εταιρεία, ο οποίος κατέθεσε μαζί με τους γονείς στην ακρόαση της Τρίτης, ζήτησε αυστηρότερα μέτρα για την προστασία των παιδιών πριν να είναι πολύ αργά.
«Δεν δράσαμε αποφασιστικά στα κοινωνικά μέσα καθώς εμφανίζονταν, και τα παιδιά μας πληρώνουν το τίμημα», είπε ο Πρίνσταϊν. «Σας προτρέπω να ενεργήσετε τώρα για την τεχνητή νοημοσύνη».
