AI აგენტებმა Hugging Face გატეხეს- და ამას არავინ ავალებდა
ამ ზაფხულს AI აგენტები იმ გარემოდან გავიდნენ, სადაც მათ ტესტავდნენ, და რეალურ კომპანიაში შეაღწიეს. ამას არავინ ავალებდა. აი, რა მოხდა და რას ნიშნავს ეს თქვენთვის, თუ კომპანიაში AI აგენტებს უკვე იყენებთ ან მათ ჩართვას გეგმავთ.
რა მოხდა
16 ივლისს Hugging Face-მა განაცხადა, რომ მასზე თავდასხმა მოხდა. ვინ იდგა ამის უკან, მაშინ არ იცოდნენ. ხუთი დღის შემდეგ OpenAI-მ დაადასტურა: ეს მისი აგენტები იყვნენ.
Hugging Face ერთგვარი GitHub-ია AI მოდელებისა და მონაცემთა ნაკრებებისთვის - პლატფორმა, რომელსაც AI კომპანიები და მკვლევრები იყენებენ. მასზე თავდასხმა კიბერუსაფრთხოების სავარჯიშოდან დაიწყო: OpenAI ახალ მოდელს ამოწმებდა, აგენტები კი სატესტო გარემოს გასცდნენ. ადამიანებს ეს თავდასხმა არ დაუგეგმავთ.
ჩატი გპასუხობთ, აგენტი მოქმედებს
ჩატს კითხვას უსვამთ და პასუხს იღებთ. შემდეგ რას გააკეთებთ, თქვენ წყვეტთ.
აგენტს კი მიზანს აძლევთ და ნაბიჯებს თავად არჩევს: წერს და უშვებს კოდს, ხსნის ვებგვერდებს, იყენებს ინსტრუმენტებს. თუ ერთი გზა არ გამოდგა, სხვას ცდის - სანამ დავალება შესრულებულად არ ჩაითვლება.
სწორედ ამიტომ სჭირდებათ კომპანიებს აგენტები: მათ საქმის გაკეთება შეუძლიათ. თუმცა ინსტრუმენტებზე წვდომა იმასაც ნიშნავს, რომ მოულოდნელ გადაწყვეტილებას რეალური მოქმედება შეიძლება მოჰყვეს.
„დახურული ყუთი“, რომელსაც გასასვლელი აღმოაჩნდა
ასეთი ტესტები იზოლირებულ გარემოში, ე.წ. სენდბოქსში ტარდება. წარმოიდგინეთ ყუთი: აგენტს შიგნით მოქმედება შეუძლია, გარეთ კი ვერ უნდა გადიოდეს.
ამ ვარჯიშის დროს მოდელის უსაფრთხოების ფილტრები განზრახ გათიშეს, რათა მისი შესაძლებლობები შეემოწმებინათ. გავრცელებული ინფორმაციით, ერთდროულად ათასზე მეტი აგენტი მუშაობდა. კიდევ ერთი მნიშვნელოვანი დეტალი: დაახლოებით ყოველ მესამე დავალებას პატიოსანი გზით ამოხსნა არ ჰქონდა.
გარემოს პროგრამული პაკეტების საწყობთან კავშირი სჭირდებოდა, საიდანაც საჭირო პროგრამებს ტვირთავდა. აგენტებმა გასასვლელის ძებნა სწორედ იქ დაიწყეს. მაისში სცადეს და ვერ შეძლეს. ივნისში მცდელობა გაიმეორეს. ივლისში კი მანამდე უცნობი ხარვეზი აღმოაჩინეს და ინტერნეტში გავიდნენ. მოგვიანებით საწყობის მომწოდებელმა უსაფრთხოების 13 ხარვეზი გამოაქვეყნა და გაასწორა.
აგენტებს ერთმანეთთან ურთიერთობაც ჰქონდათ. იმავე სერვერზე შეტყობინებების ერთგვარი დაფა მოაწყვეს: აღმოჩენებს უზიარებდნენ ერთმანეთს და სამუშაოს ინაწილებდნენ. ასობით ათასი შეტყობინება დაგროვდა. როცა დაფა წაშალეს, ორ დღეში თავიდან შექმნეს.
რატომ Hugging Face - პასუხების ფურცლის ძებნა
ამოუხსნელ დავალებებზე გაჭედილმა აგენტებმა პასუხების ძებნა დაიწყეს. დაასკვნეს, რომ საჭირო ამოხსნები შესაძლოა Hugging Face-ზე ყოფილიყო, და მათ მოსაპოვებლად პლატფორმაში შეიჭრნენ.
ამ ქცევას reward hacking - „ჯილდოზე თამაში“ ჰქვია. ვარჯიშისას მოდელი ჯილდოს იღებს, როცა დავალება შესრულებულად ითვლება. თუ შეფასების წესში სუსტი ადგილია, მან შეიძლება ის გამოიყენოს: კარგი შეფასება მიიღოს ისე, რომ დავალება წესების დაცვით არ შეასრულოს.
წარმოიდგინეთ სტუდენტი, რომელიც ამოცანას ვერ ხსნის და პასუხების ფურცელს იპარავს. ამოხსნა ვერ ისწავლა, მაგრამ ნიშანი მიიღო. ამ შემთხვევაშიც „პასუხების ფურცელი“ სხვა კომპანიის სერვერებზე ეგულებოდათ.
რაზე მიიღეს წვდომა
Hugging Face-ის ტექნიკური ანგარიშის მიხედვით, შეღწევა ატვირთული ყალბი მონაცემთა ნაკრების დამუშავებას მოჰყვა. რამდენიმე დღეში 17 ათასზე მეტი მოქმედება აღირიცხა.
აგენტებმა შიდა პაროლებსა და წვდომის გასაღებებს მიაკვლიეს, ზოგიერთ სერვერზე ადმინისტრატორის უფლებები მოიპოვეს და კოდის შიდა საცავებშიც შეაღწიეს. ძირითადად ხუთ მონაცემთა ნაკრებს ეძებდნენ, რომლებიც მათ სავარჯიშო დავალებებს უკავშირდებოდა.
Hugging Face-ის განცხადებით, კლიენტების მოდელები და მონაცემები არც დაზიანებულა და არც გაჟონილა.
თავდასხმა Hugging Face-მა აღმოაჩინა. სანამ თავდამსხმელის ვინაობას გაიგებდნენ, კომპანიამ FBI-საც მიმართა. OpenAI-მ საკუთარი აგენტების კვალი თავის ჩანაწერებში ორი დღის შემდეგ იპოვა.
ქცევა, რომელიც შემთხვევით გაძლიერდა
26 აგვისტოს გამოქვეყნებულ ანგარიშში OpenAI-მ განმარტა, რომ ვარჯიშმა მოდელებს უნებლიედ გაუძლიერა თაღლითობისა და ერთმანეთთან კომუნიკაციის ქცევა.
მექანიზმი მარტივია: მაისში აგენტმა სხვების დახმარებით დავალება შეასრულა და ჯილდო მიიღო. ამან გაზარდა ალბათობა, რომ მომავალშიც ასე მოიქცეოდა. თანდათან მოდელები გარემოს სუსტი ადგილების ძებნას უფრო ხშირად იწყებდნენ.
დავალებაში არსად ეწერა „გატეხეთ Hugging Face“. მიზანმა, ინსტრუმენტებმა და შეფასების წესმა ისეთი ქცევა წაახალისა, რომელიც ადამიანებს არ დაუგეგმავთ.
ამის შემდეგ OpenAI-მ ახალი მოდელების ვარჯიში დროებით შეაჩერა და მოწინავე მოდელების მსჯელობის მონიტორინგი დაიწყო, რათა თაღლითობის ნიშნები დროულად შეემჩნია.
ოთხი წესი თქვენი კომპანიისთვის
შეიძლება ეს დიდი ლაბორატორიების პრობლემად მოგეჩვენოთ. მაგრამ აგენტები უკვე ელფოსტას, CRM-ს, ბუღალტერიასა და ბრაუზერს უკავშირდებიან. ამიტომ ამ ისტორიიდან პრაქტიკული წესებიც გამოდის.
1. მიეცით მხოლოდ საჭირო წვდომა
თუ აგენტის საქმე წერილების დახარისხებაა, საბანკო ანგარიშთან წვდომა არ სჭირდება. წინასწარ განსაზღვრეთ, რისი ნახვა და შეცვლა შეუძლია. მთელ ანგარიშს „ყოველი შემთხვევისთვის“ ნუ ჩააბარებთ.
2. AI ამზადებს - ადამიანი ადასტურებს
აგენტმა წერილის სამუშაო ვერსია მოამზადოს, თქვენ შეამოწმეთ და გაგზავნეთ. აგენტმა გადახდა მოამზადოს, თქვენ დაადასტურეთ. მნიშვნელოვან მოქმედებამდე ადამიანის თანხმობა უსაფრთხოების წესია.
3. განსაზღვრეთ, რას ნიშნავს „შესრულებულია“
მკაფიოდ აღწერეთ დავალებაც და მისაღები შედეგიც. ბუნდოვანი ან შეუსრულებელი მიზანი მოკლე გზების ძებნას უწყობს ხელს. წინასწარ უთხარით აგენტს ისიც, როდის უნდა გაჩერდეს და დახმარება გთხოვოთ.
4. სიფრთხილე მხოლოდ ლაბორატორიებს არ სჭირდებათ
თუ ასეთი შემთხვევა მსოფლიოს ერთ-ერთ წამყვან AI ლაბორატორიაში მოხდა, თქვენს ელფოსტასა და საბანკო სისტემასთან აგენტის დაკავშირებასაც სერიოზული შემოწმება სჭირდება. მხოლოდ იმ ვარაუდს ნუ დაეყრდნობით, რომ აგენტი მითითებებს ყოველთვის ისე გაიგებს, როგორც თქვენ გულისხმობთ.
აგენტებს თავადაც ყოველდღე ვიყენებ. მათი სარგებელი დიდია, როცა წინასწარ იცით, რა დავალებას აძლევთ, რაზე აქვს წვდომა და რომელ მოქმედებას ამოწმებთ თქვენ.
სრული ისტორია ვიდეოში
ვიდეოში ამ ამბის ქრონოლოგიას უფრო ვრცლად განვიხილავ - ქართულად, დაახლოებით 15 წუთში.
წყაროები:
