Vo štvrtok polícia okresu Baltimore zatkla bývalého športového riaditeľa strednej školy Pikesville Dazhona Dariena a obvinila ho z používania AI na vydávanie sa za riaditeľa Erica Eiswerta, podľa správy The Baltimore Banner . Polícia tvrdí, že Darien použil softvér na syntézu hlasu AI na simuláciu Eiswertovho hlasu, čo viedlo verejnosť k presvedčeniu, že riaditeľ mal rasistické a antisemitské komentáre.
Zvukový klip uverejnený na populárnom účte na Instagrame obsahoval urážlivé poznámky o „nevďačných čiernych deťoch“ a ich akademických výsledkoch, ako aj hrozbu „pridať sa k druhej strane“, ak reproduktor dostane ďalšiu sťažnosť od „ďalšieho Žida v túto komunitu." Nahrávka tiež spomínala mená členov personálu, vrátane Darienovej prezývky „DJ“, čo naznačuje, že nemali byť prijatí alebo by mali byť odstránení „tak či onak“.
Pripomienky viedli k značnému rozruchu zo strany študentov, profesorského zboru a širšej komunity, z ktorých mnohí spočiatku verili, že riaditeľ skutočne urobil pripomienky. Učiteľka strednej školy v Pikesville menom Shaena Ravenell údajne zohrala veľkú úlohu pri šírení zvuku. Hoci nebola obvinená, polícia uviedla, že kontroverzný e-mail preposlala študentovi známemu svojou schopnosťou rýchlo šíriť informácie prostredníctvom sociálnych médií. Tento študent potom eskaloval dosah zvuku, čo zahŕňalo jeho zdieľanie s médiami a NAACP.
Polícia okresu Baltimore tvrdí, že Darien mal prístup k školským sieťam, aby hľadal a využíval nástroje AI schopné napodobňovať hlas. Polícia tiež prepojila Dariena s e-mailovým účtom, ktorý sa používal na distribúciu falošných nahrávok.
Technológia klonovania hlasu, ktorou sme sa zaoberali v minulosti , dokáže generovať realistickú reč po natrénovaní na miliónoch ľudských hlasov a následne vyladení tak, aby zodpovedala konkrétnemu hlasu v poskytnutej vzorke. V marci sa reportéri Baltimore Banner rozprávali so Siwei Lyu , riaditeľom mediálneho forenzného laboratória na Univerzite v Buffale. Lyu povedal novinám, že je presvedčený, že sfalšovaný klip rozprávania Eiswerta bol vytvorený pomocou služby hlasovej syntézy, ako je ElevenLabs . ElevenLabs umožňuje používateľom nahrávať hlasové vzorky ľudí na klonovanie pomocou syntézy textu na reč, hoci jej zmluvné podmienky zakazujú klonovanie hlasu bez súhlasu osoby.
Incident viedol k tomu, že Eiswert chýbal v škole od začiatku vyšetrovania a on poprel, že by sa vyjadril s tým, že sa nezhodujú s jeho názormi. "Neurobil som toto vyhlásenie a tieto myšlienky nie sú to, v čo verím ako pedagóg aj ako človek," uviedol Eiswert v písomnom vyhlásení .
Keď sa v januári objavil zvukový klip, superintendantka Myriam Rogersová označila komentáre za „znepokojujúce“ a „veľmi urážlivé a nevhodné“. Baltimore Banner poznamenáva, že Billy Burke, vedúci odborového zväzu zastupujúceho Eiswerta, bol jediným úradníkom, ktorý verejne naznačil, že zvuk bol generovaný AI. Vyjadril sklamanie z predpokladu verejnosti o Eiswertovej vine a prezradil, že riaditeľ a jeho rodina boli obťažovaní a vyhrážaní, čo si vyžadovalo prítomnosť polície v ich dome.
Nie je to prvýkrát, čo softvér na klonovanie hlasu AI spôsobil problémy. Už sme sa zaoberali telefónnymi podvodmi , pri ktorých niekto napodobňuje hlas milovanej osoby (v snahe oklamať ľudí, aby im dali peniaze) a robotickými hovormi predvolebnej kampane , ktoré používajú klonované hlasy známych politikov, ako je Joe Biden. V marci OpenAI odhalila existenciu vlastnej technológie klonovania hlasu , no spoločnosť uviedla, že ju zatiaľ zdržuje kvôli obavám zo zneužitia.
