Utilizarea asistenților de inteligență artificială pentru organizarea activităților zilnice, precum planificarea unor vacanțe, aduce cu sine riscuri semnificative pentru protecția consumatorilor. Deși aceste sisteme pot învăța preferințele utilizatorilor, inclusiv nivelul de confort dorit sau bugetul disponibil, există o distincție juridică majoră între cunoașterea profilului și permisiunea de a efectua achiziții. Un asistent care înțelege că un utilizator preferă hotelurile confortabile nu are automat dreptul de a depăși limitele financiare sau de a finaliza o rezervare fără o autorizare explicită.
O problemă centrală vizează natura recomandărilor oferite de aceste instrumente digitale. Există riscul ca un hotel sau un furnizitor să apară în topul sugestiilor nu datorită potrivirii cu cerințele utilizatorului, ci din cauza unor interese comerciale. Această situație apare atunci când furnizorul asistentului AI primește plăți pentru promovarea anumitor oferte specifice. Astfel, recomandarea poate fi influențată de profitul companiei care gestionează tehnologia, nu de nevoile reale ale consumatorului care utilizează serviciul.
Pentru a gestiona aceste riscuri, propunerea europeană Digital Fairness Act propune reglementări specifice. Conform acestui text legislativ, interesele comerciale care pot influența procesul de selecție ar trebui să fie dezvăluite utilizatorilor. De asemenea, încheierea unui contract ar trebui să necesite confirmarea directă a consumatorului, chiar și în cazurile în care acesta a acordat anterior permisiuni pentru cumpărături automate. Este important de menționat că această propunere reprezintă un proiect legislativ și nu o regulă deja aplicabilă în prezent.
Un alt aspect critic este impactul pe termen lung asupra algoritmilor de selecție. O influență comercială înșelătoare poate modifica criteriile pe care asistentul AI le folosește pentru viitoarele recomandări. Dacă sistemul interpretează o opțiune promovată comercial drept o preferință reală a utilizatorului, acesta va continua să favorizeze acele opțiuni în viitor. În acest scenariu, simpla anulare a unei tranzacții nu rezolvă problema, deoarece modul de funcționare al asistentului rămâne afectat de datele eronate colectate anterior.
Provocarea juridică și tehnică rămâne demonstrarea existenței unei intervenții și a prejudiciului cauzat. Autorii analizează modul în care utilizatorii pot distinge între informațiile învățate de sistem despre profilul lor și interesele comerciale care pot altera deciziile. Pe măsură ce delegăm tot mai multe procese de decizie către inteligența artificială, devine esențial să stabilim limite clare între cunoștințele asistentului, permisiunile acordate și posibilele interese de promovare care pot manipula alegerile consumatorului.