Strona głównaWiadomościŚwiatAI na testach wskazywało szkołę i dzieci jako cele wojskowe w większości...

AI na testach wskazywało szkołę i dzieci jako cele wojskowe w większości przypadków. Wystarczyło zmienić kontekst polecenia

-

- Reklama -

Zaawansowane modele AI w trakcie symulacji wojskowych identyfikowały obiekty cywilne jako cele ataków. System Claude w jednym z testów wskazał szkołę w Iranie jako cel i powtórzył to łącznie 22 razy na 32 próby. Badacze wskazali, że przedstawienie działań wojskowych jako gry pozwalało omijać wiele zabezpieczeń wbudowanych w modele.

Niezależna organizacja badawcza Vals przeprowadziła symulacje wojskowe przy użyciu AI. Testy obejmowały analizę zdjęć satelitarnych, nagrania z dronów i sytuacje na polu walki. W trakcie testów AI identyfikowała błędnie cele ataków, wskazując m.in. karetki pogotowia, poddających się żołnierzy, dzieci i szkołę w Iranie.

- Reklama -

Badanie opracowało osiem firm. Wyniki opisały Bloomberg i „The Next Web”. Z opracowania wynika, że najwięcej błędów popełniał model AI firmy Anthropic. Modele OpenAI miały lepsze rezultaty, ale także popełniały błędy, szczególnie gdy zmieniono sposób przedstawienia zadania.

Claude Opus 5.5 od Anthropic wskazał szkołę w Minab w Iranie jako cel ataku w 22 na 32 testach na podstawie obrazów satelitarnych. Gdy naukowcy przedstawili tę samą sytuację jako grę, wówczas szkoła była wskazana jako cel 23 razy.

W teście przy użyciu obrazu z drona Claude wskazał czworo dorosłych i dwójkę dzieci jako cele. Dopiero potem odmówił dalszego udziału w zadaniu.

Modele OpenAI w podstawowym wariancie testu nie wskazały ani razu szkoły jako testu. Gdy jednak symulację opisano jako grę, wówczas trzy modele tej firmy wskazały szkołę jako cel, odpowiednio 10, 11 i 13 razy na 32 próby.

Wyniki zależały od tego, czy AI otrzymało polecenie wprost odnoszące się do działań bojowych czy przedstawiano zadanie w innej formie. Badacze uznali, że sposób formułowania instrukcji jest „istotną słabością” zabezpieczeń. Dotyczyła ona wszystkich producentów, choć w różnym stopniu.

Anthropic, OpenAI i Google oficjalnie zakazały wykorzystywania swoich modeli do wspomagania autonomicznych systemów uzbrojenia. Wyniki badania Vals wskazują, że ograniczenia te jednak nie zawsze działały na poziomie odpowiedzi generowanych przez modele.

Zwrócono też uwagę na fakt, że próby niedozwolonego wykorzystywania oprogramowania nie muszą być formalnie przedstawione jako działania wojskowe. Polecenie może przybrać formę zadania w innym kontekście, co pozwoli na zastosowanie np. wojskowe. Zabezpieczenia w teorii powinny rozpoznać faktyczny charakter zadania, ale wiadomo, że ludzka kreatywność nie zna granic i można je obejść.

Anthropic oświadczyło, że przedstawione scenariusze naruszały zasady korzystania z jego produktów i zapowiedział wprowadzenie dodatkowych zabezpieczeń. OpenAI i Google podobnie, z czego ten pierwszy zapowiedział zmiany dotyczące użycia dronów i związanego z nimi oprogramowania, także w sytuacji przedstawiania zadań jako gry, symulacji lub ćwiczeń akademickich.

Vals zaleciła producentom rozwój mechanizmów zapobiegających nadużywaniu AI do celów wojskowych. Wskazano m.in. na dodatkowe szkolenie modeli i klasyfikatory na poziomie interfejsów API, które mogłyby rozpoznawać i blokować próby wykorzystania systemów do samodzielnego wskazywania celów.

Podkreślono też, że sam zapis w regulaminie nie zatrzyma niepożądanych poleceń.

Najnowsze