AI lyginamoji organizacija kritikuojama už tai, kad laukė, kol bus atskleistas OpenAI finansavimas

Organizacija, kurianti matematinius dirbtinio intelekto etalonus, dar palyginti neseniai neatskleidė, kad gavo finansavimą iš OpenAI, o kai kurie AI bendruomenės nariai kaltino netinkamumu.

Gruodžio 20 d. atskleidė, kad OpenAI rėmė FrontierMath kūrimą. „FrontierMath“ – testas su ekspertų lygio problemomis, skirtas dirbtinio intelekto matematiniams įgūdžiams įvertinti, buvo vienas iš etalonų, kuriuos OpenAI naudojo demonstruodamas būsimą pavyzdinį AI o3.

Forumo LessWrong įraše „Epoch AI“ rangovas, pasivadinęs „Meemi“, teigia, kad daugelis „FrontierMath“ etalono dalyvių nebuvo informuoti apie OpenAI dalyvavimą tol, kol jis nebuvo paskelbtas viešai.

„Bendravimas šiuo klausimu buvo neskaidrus“, – rašė Meemi. „Mano nuomone, Epoch AI turėjo atskleisti OpenAI finansavimą, o rangovai turėtų turėti skaidrią informaciją apie savo darbo potencialą panaudoti pajėgumams, pasirinkdami, ar dirbti pagal etaloną.

Socialinėje žiniasklaidoje kai kurie vartotojai išreiškė susirūpinimą, kad slaptumas gali pakenkti „FrontierMath“ kaip objektyvaus etalono reputacijai. Be „FrontierMath“ rėmimo, „OpenAI“ turėjo prieigą prie daugelio etalono problemų ir sprendimų – fakto „Epoch AI“ neatskleidė iki gruodžio 20 d., kai buvo paskelbta apie o3.

Atsakydamas į Meemi įrašą, Tamay Besiroglu, „Epoch AI“ direktoriaus pavaduotojas ir vienas iš organizacijos įkūrėjų, tvirtino, kad „FrontierMath“ vientisumas nebuvo pažeistas, tačiau pripažino, kad „Epoch AI padarė klaidą“, nes nebuvo daugiau. skaidrus.

„Mums buvo uždrausta atskleisti partnerystę maždaug iki o3 paleidimo, o vėliau turėtume derėtis griežčiau, kad galėtume kuo greičiau būti skaidrūs etaloniniams bendradarbiams“, – rašė Besiroglu. „Mūsų matematikai nusipelnė žinoti, kas gali turėti prieigą prie jų darbo. Nors sutartimi buvo apribota tai, ką galime pasakyti, skaidrumą su savo bendradarbiais turėtume padaryti kaip nediskutuojamą susitarimo su OpenAI dalimi.

Besiroglu pridūrė, kad nors „OpenAI“ turi prieigą prie „FrontierMath“, ji turi „žodinį susitarimą“ su „Epoch AI“ nenaudoti „FrontierMath“ problemų rinkinio savo AI mokyti. (AI mokymas „FrontierMath“ būtų panašus į testo mokymą.) „Epoch AI“ taip pat turi „atskirą išlaikymo rinkinį“, kuris yra papildoma apsauga nepriklausomam „FrontierMath“ etaloninių rezultatų patikrinimui, sakė Besiroglu.

„OpenAI… visiškai palaikė mūsų sprendimą išlaikyti atskirą, neregėtą laikymo rinkinį“, – rašė Besiroglu.

Tačiau, purvindamas vandenis, Epoch AI matematikas Ellotas Glazeris savo įraše Reddit pažymėjo, kad Epoch AI negali savarankiškai patikrinti OpenAI FrontierMath o3 rezultatų.

„Mano asmeninė nuomonė yra tokia, kad („OpenAI”) rezultatas yra teisėtas (ty jie nesimokė pagal duomenų rinkinį) ir kad jie neturi paskatų meluoti apie vidinius etaloninius rezultatus”, – sakė Glazeris. „Tačiau negalime už juos garantuoti, kol mūsų nepriklausomas vertinimas nebus baigtas.

Saga yra dar vienas pavyzdys, kaip sukurti empirinius etalonus, skirtus dirbtiniam intelektui įvertinti, ir užtikrinti reikiamus išteklius etalonų kūrimui nesukuriant interesų konflikto suvokimo.