„Żadna z tych firm nie działa odpowiedzialnie”

Coxon poinformował o swoim odejściu 9 września. Jak napisał, ostatnie trzy lata spędził na badaniach nad trenowaniem modeli zarówno w OpenAI, jak i Anthropic.

„Żadna z tych firm nie działa odpowiedzialnie. Pędzą prosto ku samodoskonalącej się superinteligencji i hazardują naszym życiem” – napisał.

Badacz ostrzega, że możliwości przyszłych systemów mogą bardzo szybko przekroczyć zdolności człowieka.

„Nie lekceważcie mocy tej technologii. Wkrótce będą to systemy ponadludzkie, które będą mogły zhakować wszystko, zrewolucjonizować dowolną dziedzinę z dnia na dzień i zdobyć prawdziwą władzę oraz zasoby”.

Coxon twierdzi również, że część osób bezpośrednio rozwijających najbardziej zaawansowane modele AI prywatnie wyraża znacznie większe obawy, niż wynikałoby z ich publicznych wypowiedzi.

„Ludzie budujący sztuczną inteligencję szczerze wierzą, że może ona zabić nas wszystkich do końca dekady. To nie jest chwyt marketingowy”.

Według niego problemem jest także logika wyścigu między największymi laboratoriami AI. Coxon twierdzi, że szczególnie w Anthropic ryzyko jest dobrze rozumiane, ale firma chce pozostać przed konkurencją.

„Przyjęcie tego wyścigu i wejście w ‘endgame’ to butny hazard, który nie powinien być uruchamiany z firmowego Slacka prywatnej spółki”.


Badacz Anthropic mówi o ponad 10 proc. ryzyka

Do podobnych zagrożeń odnosi się Evan Hubinger, badacz bezpieczeństwa i zgodności systemów AI w Anthropic. Osobiście ocenia on prawdopodobieństwo doprowadzenia przez przyszłą superinteligencję do zagłady ludzkości w ciągu najbliższej dekady na ponad 10 proc.

Nie oznacza to jednak, że obecnie dostępne modele AI mają stanowić takie zagrożenie. Obawy dotyczą hipotetycznych przyszłych systemów, które mogłyby osiągnąć zdolności znacznie przekraczające ludzkie i uczestniczyć w procesie tworzenia coraz bardziej zaawansowanych wersji samych siebie.

„Czy powinieneś pochylić głowę, ponieważ to i tak się dzieje?”

Coxon zaapelował także bezpośrednio do osób pracujących w laboratoriach rozwijających sztuczną inteligencję, aby zastanowiły się nad konsekwencjami swojej pracy.

„Czy chcesz uruchomić sesję RL z superinteligencją bez rygorystycznego zrozumienia jej umysłu? Czy powinieneś pochylić głowę, ponieważ ‘to i tak się dzieje’?”

Badacz uważa przy tym, że możliwe jest porozumienie między firmami dotyczące tempa rozwoju najbardziej zaawansowanych modeli i wprowadzenie znacznie silniejszych mechanizmów bezpieczeństwa.

Szacunki budzą kontrowersje

Oceny mówiące o kilkunastoprocentowym ryzyku zagłady ludzkości nie są jednak naukową prognozą ani powszechnie przyjętym stanowiskiem ekspertów. Są subiektywnymi szacunkami dotyczącymi technologii, która obecnie jeszcze nie istnieje.

Sara Hooker, była badaczka Google DeepMind, krytykuje przypisywanie takim scenariuszom konkretnych wartości liczbowych i zwraca uwagę na ograniczone podstawy naukowe takich prognoz.

Dyskusja pokazuje jednak coraz wyraźniejszy podział w branży AI dotyczący tego, czy tempo rozwijania coraz potężniejszych systemów nie wyprzedza prac nad zapewnieniem ich bezpieczeństwa.