სად მთავრდება მოდელი და იწყება რისკი? AI ეკოსისტემის უსაფრთხოების ახალი რეალობა

ავტორი: ჯანო მარხულია (Jano Markhulia)

ბოლო წლებში ხელოვნური ინტელექტის (AI) უსაფრთხოებაზე საუბარი, ძირითადად, მოდელების შესაძლებლობებზე, მონაცემთა დაცვასა და ეთიკურ დილემებზე კონცენტრირდებოდა. თუმცა, ორი ახალი შემთხვევა აჩვენებს, რომ რისკები შესაძლოა სრულიად განსხვავებულ შრეებში წარმოიშვას — ერთი თავად პროგრამული ინფრასტრუქტურიდან, მეორე კი მოდელის გადაწყვეტილების მიღების ავტონომიური პროცესიდან [1, 2]. მიუხედავად იმისა, რომ ეს შემთხვევები ტექნიკურად ერთმანეთთან პირდაპირ კავშირში არ არის, ისინი ერთდროულად წარმოაჩენენ თანამედროვე AI ეკოსისტემის1 ორ განსხვავებულ უსაფრთხოების გამოწვევას.


ინფრასტრუქტურული ნდობის კრიზისი: Hugging Face-ის შემთხვევა

პირველი გამოწვევა პროგრამული უზრუნველყოფის2 დონეზე ვლინდება. Hugging Face3-ის Diffusers4 ბიბლიოთეკაში აღმოჩენილმა სამმა კრიტიკულმა დაუცველობამ აჩვენა, რომ საფრთხე შეიძლება მომდინარეობდეს იქიდან, რასაც აქამდე „უსაფრთხო ნავსაყუდლად“ მივიჩნევდით. მოდელების სპეციალურად მოდიფიცირებულ რეპოზიტორიებს5 შეუძლიათ ჩუმად შეასრულონ თავდამსხმელის მიერ განსაზღვრული კოდი იმ მანქანაზე, რომელიც ამ მოდელს ტვირთავს [1].

აქ მნიშვნელოვანია კონტექსტის გააზრება: თანამედროვე AI ეკოსისტემაში მოდელების რეპოზიტორიები (Model Repositories) ასრულებს იმავე კრიტიკულ ფუნქციას, რასაც პროგრამული უზრუნველყოფისთვის GitHub6 ან პაკეტების საცავები. შესაბამისად, მათი კომპრომეტირება უკვე ცალკეული პროგრამის პრობლემა აღარ არის — იგი მთელ AI მიწოდების ჯაჭვს7 (Supply Chain) ეხება. როდესაც მავნე კოდი გვერდს უვლის ისეთ დამცავ მექანიზმებს, როგორიცაა trust_remote_code8, ნდობა პლატფორმის მიმართ იბზარება, რაც პირდაპირ საფრთხეს უქმნის როგორც კვლევით, ისე საწარმოო გარემოს.


💡 სამეცნიერო კონტექსტი

თანამედროვე AI ეკოსისტემაში თანდათან ყალიბდება ე.წ. AI მიწოდების ჯაჭვი (AI Supply Chain) — ინფრასტრუქტურა, რომლის საშუალებითაც მოდელები იქმნება, ინახება, ქვეყნდება და ვრცელდება.

თუ ტრადიციულ პროგრამულ უზრუნველყოფაში ნდობა ძირითადად პროგრამული კოდის შემოწმებას ეფუძნება, გენერაციული AI-ის სამყაროში ნდობის მნიშვნელოვანი ნაწილი გადადის მოდელის წონებზე (Weights) — პარამეტრებზე, რომლებშიც მისი სწავლის შედეგია კოდირებული.

სწორედ ამიტომ, მოდელის რეპოზიტორიუმი მხოლოდ ფაილების საცავი აღარ არის. ის AI ინფრასტრუქტურის ისეთივე კრიტიკული კომპონენტია, როგორიც GitHub არის ტრადიციული პროგრამული უზრუნველყოფის ეკოსისტემისთვის. ამ გარემოში ნებისმიერი დაუცველობა ან ნდობის ბოროტად გამოყენება შეიძლება გავლენას ახდენდეს მთელ AI მიწოდების ჯაჭვზე.

ავტონომიური ლოგიკა და კონტექსტუალური გაუგებრობა: Anthropic-ის შემთხვევა

მეორე შემთხვევა უფრო ღრმა, ეპისტემურ9 პრობლემაზე მიგვითითებს. Anthropic-ის მიერ გამოქვეყნებული ინფორმაციით, მათმა სამმა მოდელმა (მათ შორის Claude-ის უახლესმა ვერსიებმა) ტესტირებისას დამოუკიდებლად განახორციელეს შეღწევის მცდელობები რეალურ ორგანიზაციებზე.

მნიშვნელოვანია დაზუსტება: ეს არ ყოფილა მოდელის „ამბოხი“. რეალურად, კიბერუსაფრთხოების ტესტირებისას მოდელებმა ვერ მოახდინეს მათთვის მიცემული ამოცანის კონტექსტუალიზაცია — მათ ღია ინტერნეტი აღიქვეს როგორც სასწავლო პოლიგონი (Capture The Flag 10თამაში) და დასახული მიზნის მისაღწევად ისეთი ქმედებები განახორციელეს, რომლებიც მათთვის არავის დაუვალებია. ეს შემთხვევა (რომლის პირველი ნიშნები 2026 წლის აპრილით თარიღდება) აჩენს ფუნდამენტურ კითხვას: როგორ შეიძლება ვაკონტროლოთ ავტონომიური აგენტის11 ქცევა, როდესაც მისი ლოგიკა სწორია, მაგრამ გარემოს ინტერპრეტაცია — მცდარი?


სისტემური ანალიზი: როდესაც რისკი ეკოსისტემური ხდება

მიუხედავად იმისა, რომ აღნიშნული შემთხვევები სხვადასხვა ტექნიკურ კატეგორიას მიეკუთვნება, ორივე ერთ საერთო პრობლემას ავლენს — AI სისტემის მიმართ ნდობა აღარ განისაზღვრება მხოლოდ ალგორითმის ხარისხით. თანამედროვე AI ინფრასტრუქტურაში უსაფრთხოება დამოკიდებულია მთელ სისტემაზე: მოდელების რეპოზიტორიებზე, გამოყენებულ ბიბლიოთეკებზე, ავტომატიზაციის პროცესებზე და იმ გადაწყვეტილებებზე, რომლებსაც ავტონომიური აგენტები იღებენ. შესაბამისად, რისკიც უკვე სისტემური ხდება.

ორივე შემთხვევა მიუთითებს იმაზე, რომ AI უსაფრთხოების ტრადიციული წარმოდგენა თანდათან ფართოვდება. თუ აქამდე ძირითადი ყურადღება პროგრამულ შეცდომებსა და დაუცველობებზე იყო კონცენტრირებული, ახლა ანალოგიური მნიშვნელობა ენიჭება იმასაც, როგორ განმარტავს თავად მოდელი გარემოს, რომელშიც მოქმედებს. შედეგად, უსაფრთხოების ანალიზი სულ უფრო მეტად მოიცავს არა მხოლოდ კოდს, არამედ გადაწყვეტილების მიღების პროცესსაც.


პერსპექტივა: ეკოსისტემური უსაფრთხოებისკენ

აღნიშნული შემთხვევები საკმარისი არ არის ფართო განზოგადებების გასაკეთებლად, თუმცა ისინი მიუთითებს ერთ საინტერესო ტენდენციაზე: AI უსაფრთხოების კვლევა თანდათან გადადის ცალკეული პროგრამული შეცდომების ან მოდელების იზოლირებული შეფასებიდან მთლიან AI გარემოზე. ეს მოიცავს როგორც ინფრასტრუქტურულ მდგრადობას, ისე ავტონომიური აგენტების ქცევის კონტროლის ახალ მექანიზმებს. რამდენად გახდება ეს მიდგომა მომავალი წლების უსაფრთხოების სტანდარტი, დამატებითი კვლევებისა და პრაქტიკული გამოცდილების საგანია.


🔬 GeoCybernetics-ის ხედვა

პროგრამული უზრუნველყოფის ტრადიციულ სამყაროში მთავარი აქტივი კოდია, ხოლო AI ერაში — მოდელის „ცოდნა“, რომელიც მის „წონებში“ (Weights) არის კოდირებული. სწორედ ამიტომ, უსაფრთხოების ფოკუსი თანდათან ინაცვლებს ცალკეული ალგორითმების შემოწმებიდან იმ მთლიან ინფრასტრუქტურაზე, რომელიც ამ ცოდნას ინახავს, ავრცელებს და იყენებს. ჩვენ უკვე აღარ ვიცავთ მხოლოდ ხაზებს — ჩვენ ვიცავთ სისტემურ ეკოსისტემას.

დასკვნა

AI სისტემების განვითარებასთან ერთად, უსაფრთხოების საკითხიც თანდათან იცვლის ბუნებას. თუ ადრე მთავარი ყურადღება ალგორითმის შესაძლებლობებზე იყო მიმართული, დღეს სულ უფრო ნათელი ხდება, რომ რეალური გამოწვევა  AI პლატფორმების მთლიან ქსელშია — იმ გარემოში, სადაც მოდელები იქმნება, ვრცელდება და მოქმედებენ. AI უსაფრთხოების მომავალი, სავარაუდოდ, განისაზღვრება არა მხოლოდ უფრო ძლიერი მოდელებით, არამედ უფრო სანდო ინფრასტრუქტურითა და პასუხისმგებლიანი ავტონომიური სისტემებით.

სავარაუდოდ, უახლოეს წლებში AI სისტემების სანდოობა შეფასდება არა მხოლოდ მათი შესაძლებლობებით, არამედ იმითაც, რამდენად გამჭვირვალედ, პროგნოზირებადად და უსაფრთხოდ ფუნქციონირებს მთელი ინფრასტრუქტურა, რომელშიც ეს მოდელები არსებობენ.


გამოყენებული წყაროები:

  1. Hugging Face Diffusers Flaws Could Let Model Repositories Execute Arbitrary Code — The Hacker News
  2. Anthropic Says Claude Mistook the Open Internet for a CTF and Breached Three Organizations — The Hacker News

📚 GeoCybernetics-ის სამეცნიერო ლექსიკონი და საგანმანათლებლო ცნობები

  1. AI ეკოსისტემა (AI Ecosystem) – კომპლექსური გარემო, რომელიც მოიცავს არა მხოლოდ თავად AI მოდელებს, არამედ მათ შესაქმნელად და ფუნქციონირებისთვის საჭირო ყველა კომპონენტს: მონაცემთა ბაზებს, გამოთვლით სიმძლავრეებს (Hardware), პროგრამულ ბიბლიოთეკებს, პლატფორმებს (მაგ. Hugging Face) და მათ ურთიერთქმედებას ადამიანებთან თუ სხვა სისტემებთან.
    ↩︎
  2. პროგრამული უზრუნველყოფა (Software) — კომპიუტერული სისტემის არამატერიალური კომპონენტი; ინსტრუქციების, ალგორითმების, კოდისა და მონაცემების ორგანიზებული ერთობლიობა, რომელიც მართავს აპარატული უზრუნველყოფის (Hardware) მუშაობას და უზრუნველყოფს კონკრეტული გამოთვლითი ამოცანების შესრულებას. იგი მოიცავს როგორც სისტემურ პროგრამებს (მაგ. ოპერაციული სისტემები), ისე გამოყენებით პროგრამებსა და ბიბლიოთეკებს (Frameworks/Libraries), რომლებიც განსაზღვრავენ ინფორმაციის დამუშავების წესებსა და სისტემის ქცევის ლოგიკას ↩︎
  3. Hugging Face — ამერიკული ტექნოლოგიური კომპანია და ღია პლატფორმა (Open Source Community), რომელიც წარმოადგენს მანქანური სწავლებისა (Machine Learning) და ხელოვნური ინტელექტის მოდელების მსოფლიოში უმსხვილეს ცენტრალურ ჰაბს. მას ხშირად უწოდებენ „ხელოვნური ინტელექტის GitHub-ს“, რადგან იგი მკვლევარებსა და დეველოპერებს აძლევს საშუალებას, ერთობლივად იმუშაონ მოდელებზე, გააზიარონ მონაცემთა ბაზები (Datasets) და გამოიყენონ წინასწარ გაწვრთნილი (Pre-trained) ალგორითმები. პლატფორმის მთავარი მიღწევაა ისეთი ბიბლიოთეკების შექმნა (მაგ. TransformersDiffusers), რომლებმაც მოახდინეს AI ინსტრუმენტების დემოკრატიზაცია და მათი გამოყენება ხელმისაწვდომი გახადეს ფართო ტექნოლოგიური საზოგადოებისთვის.
    ↩︎
  4. Diffusers (ბიბლიოთეკა) — Hugging Face-ის მიერ შექმნილი ღია კოდის მქონე პროგრამული ბიბლიოთეკა, რომელიც სპეციალიზებულია ე.წ. დიფუზიური მოდელების (Diffusion Models) ეფექტურ გამოყენებაზე. ეს მოდელები წარმოადგენენ გენერაციული AI-ის უახლეს თაობას, რომლებიც გამოიყენება მაღალი ხარისხის გამოსახულებების (მაგ. Stable Diffusion), აუდიოსა და ვიდეოს შესაქმნელად. ბიბლიოთეკის მუშაობის პრინციპი ეფუძნება მონაცემებში შემთხვევითი „ხმაურის“ (Noise) ეტაპობრივ მოცილებას და მის გარდაქმნას სტრუქტურირებულ შინაარსად. Diffusers დეველოპერებს აწვდის მზა ინსტრუმენტებსა და წინასწარ გაწვრთნილ მოდელებს, რაც მათ საშუალებას აძლევს, რთული გენერაციული პროცესები მარტივად დააინტეგრირონ საკუთარ პროგრამულ პროდუქტებში.
    ↩︎
  5. რეპოზიტორიუმი (Model Repository) – ციფრული საცავი, სადაც ინახება AI მოდელის პარამეტრები (წონები), არქიტექტურის აღწერა და ხშირად, მისი გაშვებისთვის საჭირო დამხმარე კოდი. დღევანდელ AI ეკოსისტემაში რეპოზიტორიუმი წარმოადგენს მოდელების შენახვის, განახლებისა და გავრცელების ძირითად პლატფორმას.
    ↩︎
  6. GitHub — Microsoft-ის მფლობელობაში არსებული მსოფლიოში უმსხვილესი პლატფორმა პროგრამული კოდის ჰოსტინგის, ვერსიათა კონტროლის (Version Control) და კოლაბორაციული პროგრამული განვითარებისათვის. იგი დაფუძნებულია Git-ის განაწილებული ვერსიათა მართვის სისტემაზე. ↩︎
  7. AI მიწოდების ჯაჭვი (AI Supply Chain) – პროცესების მთლიანი ერთობლიობა, რომელიც საჭიროა მოდელის შექმნიდან მის საბოლოო დანერგვამდე. ეს მოიცავს მონაცემთა შეგროვებას, წინასწარ წვრთნას, მესამე მხარის ბიბლიოთეკების გამოყენებას და ჰოსტინგს. ამ ჯაჭვის ნებისმიერი რგოლის დასუსტება საფრთხეს უქმნის საბოლოო პროდუქტს.
    ↩︎
  8. trust_remote_code — პროგრამული პარამეტრი (Flag), რომელიც გამოიყენება ხელოვნური ინტელექტის ბიბლიოთეკებში (მაგ., Hugging Face Transformers და Diffusers) მოდელის ჩატვირთვისას. მისი დანიშნულებაა მომხმარებლის გაფრთხილება, რომ ზოგიერთი მოდელი, სტანდარტული მონაცემების გარდა, შეიცავს დამატებით Python-კოდს, რომელიც აუცილებელია მისი ფუნქციონირებისთვის.
    თუ ამ პარამეტრს მიენიჭება მნიშვნელობა True, მომხმარებელი სისტემას აძლევს უფლებას, ჩატვირთოს და შეასრულოს (load and execute) მოდელის რეპოზიტორიაში განთავსებული დამატებითი კოდი. პრაქტიკაში ეს ნიშნავს, რომ მომხმარებელი ენდობა მოდელის ავტორის მიერ მიწოდებულ კოდს. უსაფრთხოების თვალსაზრისით, ეს განსაკუთრებით მნიშვნელოვანია, რადგან კომპრომეტირებულმა ან თავდამსხმელის მიერ განზრახ შეცვლილმა რეპოზიტორიამ შესაძლოა ამ მექანიზმის გამოყენებით მომხმარებლის კომპიუტერზე თავდამსხმელის მიერ განსაზღვრული ნებისმიერი კოდი (Arbitrary Code) შეასრულოს.
    ↩︎
  9. ეპისტემური (ბერძნ. epistēmē — ცოდნა) — ტერმინი, რომელიც დაკავშირებულია ცოდნასთან, მის ბუნებასთან, წარმოშობასთან, საზღვრებსა და სანდოობასთან. იგი აღწერს, როგორ ვიღებთ, ვაანალიზებთ და ვადასტურებთ ინფორმაციას რეალობის შესახებ.
    ხელოვნური ინტელექტისა და კიბერნეტიკის კონტექსტში, ეპისტემური პრობლემა ნიშნავს სიტუაციას, როდესაც სისტემა გარემოს ან კონტექსტს არასწორად განმარტავს. ასეთ შემთხვევაში შეცდომა გამოწვეულია არა თავად მსჯელობის პროცესით, არამედ იმ საწყისი წარმოდგენით, რომლის საფუძველზეც ეს მსჯელობა მიმდინარეობს.
    ამ სტატიაში განხილული მაგალითის მიხედვით, როდესაც AI მოდელმა რეალური ინტერნეტ-გარემო Capture The Flag (CTF)-ის სასწავლო პოლიგონად აღიქვა, პრობლემა სწორედ ეპისტემური ხასიათის იყო — მოდელის მოქმედება თანმიმდევრული იყო მის მიერ მიღებული ინტერპრეტაციის ფარგლებში, მაგრამ ეს ინტერპრეტაცია თავიდანვე მცდარი აღმოჩნდა.
    ↩︎
  10. Capture The Flag (CTF) – კიბერუსაფრთხოების საგანმანათლებლო შეჯიბრი, სადაც მონაწილეები ცდილობენ იპოვონ დაუცველობები სპეციალურად შექმნილ სისტემებში, რათა მოიპოვონ ფარული კოდი („დროშა“). Anthropic-ის შემთხვევაში, მოდელმა რეალური ინტერნეტი შეცდომით სწორედ ასეთ იზოლირებულ სათამაშო გარემოდ აღიქვა.
    ↩︎
  11.  ავტონომიური აგენტი (Autonomous Agent) – AI სისტემა, რომელსაც აქვს უნარი, დასახული მაღალი დონის მიზნის მისაღწევად დამოუკიდებლად დაგეგმოს და განახორციელოს ქმედებების სერია გარემოში, ადამიანის მუდმივი ჩარევისა და პირდაპირი ინსტრუქციების გარეშე. ↩︎

Leave a Comment

თქვენი ელფოსტის მისამართი გამოქვეყნებული არ იქნება. სავალდებულო ველების მონიშვნის ნიშანი *