Sistemul CSAM al Apple a fost înșelat, dar compania are două măsuri de protecție

Actualizare: Apple a menționat o a doua inspecție a serverului, iar o companie profesionistă de viziune computerizată a subliniat o posibilitate a ceea ce ar putea fi descris în „Cum ar putea funcționa a doua inspecție” de mai jos.
După ce dezvoltatorii au reproșat părți ale acestuia, versiunea inițială a sistemului Apple CSAM a fost efectiv păcălită pentru a marca o imagine nevinovată.Cu toate acestea, Apple a declarat că are măsuri de protecție suplimentare pentru a preveni acest lucru în viața reală.
Cea mai recentă dezvoltare a avut loc după ce algoritmul NeuralHash a fost publicat pe site-ul web al dezvoltatorului open source GitHub, oricine poate experimenta cu el...
Toate sistemele CSAM funcționează prin importul unei baze de date cu materiale cunoscute privind abuzul sexual asupra copiilor de la organizații precum Centrul Național pentru Copii Dispăruți și Exploatați (NCMEC).Baza de date este furnizată sub formă de hash-uri sau amprente digitale din imagini.
Deși majoritatea giganților tehnologiei scanează fotografiile încărcate în cloud, Apple folosește algoritmul NeuralHash de pe iPhone-ul clientului pentru a genera o valoare hash a fotografiei stocate și apoi o compară cu copia descărcată a valorii hash CSAM.
Ieri, un dezvoltator a susținut că a realizat inginerie inversă a algoritmului Apple și a lansat codul către GitHub - această afirmație a fost confirmată efectiv de Apple.
La câteva ore după lansarea GitHib, cercetătorii au folosit cu succes algoritmul pentru a crea un fals pozitiv intenționat - două imagini complet diferite care au generat aceeași valoare hash.Aceasta se numește o coliziune.
Pentru astfel de sisteme, există întotdeauna riscul de coliziuni, deoarece hash-ul este desigur o reprezentare mult simplificată a imaginii, dar este surprinzător că cineva poate genera imaginea atât de repede.
Ciocnirea deliberată de aici este doar o dovadă de concept.Dezvoltatorii nu au acces la baza de date hash CSAM, ceea ce ar necesita crearea unor false pozitive în sistemul în timp real, dar demonstrează că atacurile de coliziune sunt relativ ușoare în principiu.
Apple a confirmat efectiv că algoritmul este baza propriului sistem, dar a spus plăcii de bază că aceasta nu este versiunea finală.De asemenea, compania a declarat că nu a intenționat niciodată să păstreze confidențialitatea.
Apple a spus Motherboard într-un e-mail că versiunea analizată de utilizator pe GitHub este o versiune generică, nu versiunea finală folosită pentru detectarea iCloud Photo CSAM.Apple a spus că a dezvăluit și algoritmul.
„Algoritmul NeuralHash [...] face parte din codul sistemului de operare semnat [iar] cercetătorii de securitate pot verifica dacă comportamentul său este conform descrierii”, a scris un document Apple.
Compania a continuat spunând că mai sunt doi pași: rularea unui sistem de potrivire secundar (secret) pe propriul server și revizuirea manuală.
Apple a mai declarat că, după ce utilizatorii trec pragul de 30 de potriviri, un al doilea algoritm non-public care rulează pe serverele Apple va verifica rezultatele.
„Acest hash independent a fost ales pentru a respinge posibilitatea ca NeuralHash eronat să se potrivească cu baza de date criptată CSAM de pe dispozitiv din cauza interferenței adverse a imaginilor non-CSAM și să depășească pragul de potrivire.”
Brad Dwyer de la Roboflow a găsit o modalitate de a distinge cu ușurință între cele două imagini postate ca o dovadă a conceptului pentru un atac de coliziune.
Sunt curios cum arată aceste imagini în CLIP ale unui extractor de caracteristici neuronale similare, dar diferite, OpenAI.CLIP funcționează similar cu NeuralHash;este nevoie de o imagine și folosește o rețea neuronală pentru a genera un set de vectori caracteristici care se mapează la conținutul imaginii.
Dar rețeaua OpenAI este diferită.Este un model general care poate mapa între imagini și text.Aceasta înseamnă că îl putem folosi pentru a extrage informații despre imagini ușor de înțeles de om.
Am trecut cele două imagini de coliziune de mai sus prin CLIP pentru a vedea dacă a fost și păcălit.Răspunsul scurt este: nu.Aceasta înseamnă că Apple ar trebui să poată aplica o a doua rețea de extracție a caracteristicilor (cum ar fi CLIP) imaginilor CSAM detectate pentru a determina dacă sunt reale sau false.Este mult mai dificil să generezi imagini care înșală două rețele în același timp.
În cele din urmă, așa cum am menționat mai devreme, imaginile sunt revizuite manual pentru a confirma că sunt CSAM.
Un cercetător în domeniul securității a spus că singurul risc real este ca oricine dorește să enerveze Apple, ar putea oferi rezultate false pozitive recenzenților umani.
„Apple a proiectat de fapt acest sistem, astfel încât funcția hash nu trebuie să fie ținută secretă, deoarece singurul lucru pe care îl poți face cu „non-CSAM ca CSAM” este să enervezi echipa de răspuns a Apple cu niște imagini nedorite până când implementează filtre pentru a elimina analiză Acele gunoaie aflate în conducte sunt false pozitive”, a declarat Nicholas Weaver, cercetător senior la Institutul de Științe Internaționale a Informaticii de la Universitatea din California, Berkeley, într-un chat online.
Confidențialitatea este o problemă de îngrijorare din ce în ce mai mare în lumea de astăzi.Urmați toate rapoartele legate de confidențialitate, securitate etc. din regulile noastre.
Ben Lovejoy este un scriitor tehnic britanic și editor european pentru 9to5Mac.Este cunoscut pentru coloanele și articolele din jurnal, explorându-și experiența cu produsele Apple de-a lungul timpului pentru a obține recenzii mai cuprinzătoare.Scrie și romane, sunt două thrillere tehnice, câteva scurte filme științifico-fantastice și un roman-com!


Ora postării: 20-aug-2021