Humanity's Last Exam

Phan L., Gatti A., Han Z., Li N., Hu J., Zhang H., Zhang CBC., Shaaban M., Ling J., Shi S., Choi M., Agrawal A., Chopra A., Khoja A., Kim R., Ren R., Hausenloy J., Zhang O., Mazeika M., Dodonov D., Nguyen T., Lee J., Anderson D., Doroshenko M., Stokes AC., Mahmood M., Pokutnyi O., Iskra O., Wang JP., Levin J-C., Kazakov M., Feng F., Feng SY., Zhao H., Yu M., Gangal V., Zou C., Wang Z., Popov S., Gerbicz R., Galgon G., Schmitt J., Yeadon W., Lee Y., Sauers S., Sanchez A., Giska F., Roth M., Riis S., Utpala S., Burns N., Goshu GM., Naiya MM., Agu C., Giboney Z., Cheatom A., Fournier-Facio F., Crowson S-J., Finke L., Cheng Z., Zampese J., Hoerr RG., Nandor M., Park H., Gehrunger T., Cai J., McCarty B., Garretson AC., Taylor E., Sileo D., Ren Q., Qazi U., Li L., Nam J., Wydallis JB., Arkhipov P., Shi JWL., Bacho A., Willcocks CG., Cao H., Motwani S., Santos EDO., Veith J., Vendrow E., Cojoc D., Zenitani K., Robinson J., Tang L., Li Y., Vendrow J., Fraga NW., Kuchkin V., Maksimov AP., Marion P., Efremov D., Lynch J., Liang K., Mikov A., Gritsevskiy A., Guillod J., Demir G., Martinez D., Pageler B., Zhou K., Soori S., Press O., Tang H., Rissone P., Green SR., Brüssel L., Twayana M., Dieuleveut A., Imperial JM., Prabhu A., Yang J., Crispino N., Rao A., Zvonkine D., Loiseau G., Kalinin M., Lukas M., Manolescu C., Stambaugh N., Mishra S., Hogg T., Bosio C., Coppola BP., Salazar J., Jin J., Sayous R., Ivanov S., Schwaller P., Senthilkuma S., Bran AM., Algaba A., Houte KVD., Sypt LVD., Verbeken B., Noever D., Kopylov A., Myklebust B., Li B., Schut L., Zheltonozhskii E., Yuan Q., Lim D., Stanley R., Yang T., Maar J., Wykowski J., Oller M., Sahu A., Ardito CG., Hu Y., Kamdoum AGK., Jin A., Vilchis TG., Zu Y., Lackner M., Koppel J., Sun G., Antonenko DS., Chern S., Zhao B., Arsene P., Cavanagh JM., Li D., Shen J., Crisostomi D., Zhang W., Dehghan A., Ivanov S., Perrella D., Kaparov N., Zang A., Sucholutsky I., Kharlamova A., Orel D., Poritski V., Ben-David S., Berger Z., Whitfill P., Foster M., Munro D., Ho L., Sivarajan S., Hava DB., Kuchkin A., Holmes D., Rodriguez-Romero A., Sommerhage F., Zhang A., Moat R., Schneider K., Kazibwe Z., Clarke D., Kim DH., Dias FM., Fish S., Elser V., Kreiman T., Vilchis VEG., Klose I., Anantheswaran U., Zweiger A., Rawal K., Li J., Nguyen J., Daans N., Heidinger H., Radionov M., Rozhoň V., Ginis V., Stump C., Cohen N., Poświata R., Tkadlec J., Goldfarb A., Wang C., Padlewski P., Barzowski S., Montgomery K., Stendall R., Tucker-Foltz J., Stade J., Rogers TR., Goertzen T., Grabb D., Shukla A., Givré A., Ambay JA., Sen A., Aziz MF., Inlow MH., He H., Zhang L., Kaddar Y., Ängquist I., Chen Y., Wang HK., Ramakrishnan K., Thornley E., Terpin A., Schoelkopf H., Zheng E., Carmi A., Brown EDL., Zhu K., Bartolo M., Wheeler R., Stehberger M., Bradshaw P., Heimonen JP., Sridhar K., Akov I., Sandlin J., Makarychev Y., Tam J., Hoang H., Cunningham DM., Goryachev V., Patramanis D., Krause M., Redenti A., Aldous D., Lai J., Coleman S., Xu J., Lee S., Magoulas I., Zhao S., Tang N., Cohen MK., Paradise O., Kirchner JH., Ovchynnikov M., Matos JO., Shenoy A., Wang M., Nie Y., Sztyber-Betley A., Faraboschi P., Riblet R., Crozier J., Halasyamani S., Verma S., Joshi P., Meril E., Ma Z., Andréoletti J., Singhal R., Platnick J., Nevirkovets V., Basler L., Ivanov A., Khoury S., Gustafsson N., Piccardo M., Mostaghimi H., Chen Q., Singh V., Khánh TQ., Rosu P., Szlyk H., Brown Z., Narayan H., Menezes A., Roberts J., Alley W., Sun K., Patel A., Lamparth M., Reuel A., Xin L., Xu H., Loader J., Martin F., Wang Z., Achilleos A., Preu T., Korbak T., Bosio I., Kazemi F., Chen Z., Bálint B., Lo EJY., Wang J., Nunes MIS., Milbauer J., Bari MS., Wang Z., Ansarinejad B., Sun Y., Durand S., Elgnainy H., Douville G., Tordera D., Balabanian G., Wolff H., Kvistad L., Milliron H., Sakor A., Eron M., Andrew FDO., Shah S., Zhou X., Kamalov F., Abdoli S., Santens T., Barkan S., Tee A., Zhang R., Tomasiello A., Luca GBD., Looi S-Z., Le V-K., Kolt N., Pan J., Rodman E., Drori J., Fossum CJ., Muennighoff N., Jagota M., Pradeep R., Fan H., Eicher J., Chen M., Thaman K., Merrill W., Firsching M., Harris C., Ciobâcă S., Gross J., Pandey R., Gusev I., Jones A., Agnihotri S., Zhelnov P., Mofayezi M., Piperski A., Zhang DK., Dobarskyi K., Leventov R., Soroko I., Duersch J., Taamazyan V., Ho A., Ma W., Held W., Xian R., Zebaze AR., Mohamed M., Leser JN., Yuan MX., Yacar L., Lengler J., Olszewska K., Fratta CD., Oliveira E., Jackson JW., Zou A., Chidambaram M., Manik T., Haffenden H., Stander D., Dasouqi A., Shen A., Golshani B., Stap D., Kretov E., Uzhou M., Zhidkovskaya AB., Winter N., Rodriguez MO., Lauff R., Wehr D., Tang C., Hossain Z., Phillips S., Samuele F., Ekström F., Hammon A., Patel O., Farhidi F., Medley G., Mohammadzadeh F., Peñaflor M., Kassahun H., Friedrich A., Perez RH., Pyda D., Sakal T., Dhamane O., Mirabadi AK., Hallman E., Okutsu K., Battaglia M., Maghsoudimehrabani M., Amit A., Hulbert D., Pereira R., Weber S., Handoko ., Peristyy A., Malina S., Mehkary M., Aly R., Reidegeld F., Dick A-K., Friday C., Singh M., Shapourian H., Kim W., Costa M., Gurdogan H., Kumar H., Ceconello C., Zhuang C., Park H., Carroll M., Tawfeek AR., Steinerberger S., Aggarwal D., Kirchhof M., Dai L., Kim E., Ferret J., Shah J., Wang Y., Yan M., Burdzy K., Zhang L., Franca A., Pham DT., Loh KY., Robinson J., Jackson A., Giordano P., Petersen P., Cosma A., Colino J., White C., Votava J., Vinnikov V., Delaney E., Spelda P., Stritecky V., Shahid SM., Mourrat J-C., Vetoshkin L., Sponselee K., Bacho R., Yong Z-X., Rosa FDL., Cho N., Li X., Malod G., Weller O., Albani G., Lang L., Laurendeau J., Kazakov D., Adesanya F., Portier J., Hollom L., Souza V., Zhou YA., Degorre J., Yalın Y., Obikoya GD., Rai ., Bigi F., Boscá MC., Shumar O., Bacho K., Recchia G., Popescu M., Shulga N., Tanwie NM., Lux TCH., Rank B., Ni C., Brooks M., Yakimchyk A., Huanxu ., Liu ., Cavalleri S., Häggström O., Verkama E., Newbould J., Gundlach H., Brito-Santana L., Amaro B., Vajipey V., Grover R., Wang T., Kratish Y., Li W-D., Gopi S., Caciolai A., Witt CSD., Hernández-Cámara P., Rodolà E., Robins J., Williamson D., Cheng V., Raynor B., Qi H., Segev B., Fan J., Martinson S., Wang EY., Hausknecht K., Brenner MP., Mao M., Demian C., Kassani P., Zhang X., Avagian D., Scipio EJ., Ragoler A., Tan J., Sims B., Plecnik R., Kirtland A., Bodur OF., Shinde DP., Labrador YCL., Adoul Z., Zekry M., Karakoc A., Santos TCB., Shamseldeen S., Karim L., Liakhovitskaia A., Resman N., Farina N., Gonzalez JC., Maayan G., Anderson E., Pena RDO., Kelley E., Mariji H., Pouriamanesh R., Wu W., Finocchio R., Alarab I., Cole J., Ferreira D., Johnson B., Safdari M., Dai L., Arthornthurasuk S., McAlister IC., Moyano AJ., Pronin A., Fan J., Ramirez-Trinidad A., Malysheva Y., Pottmaier D., Taheri O., Stepanic S., Perry S., Askew L., Rodríguez RAH., Minissi AMR., Lorena R., Iyer K., Fasiludeen AA., Clark R., Ducey J., Piza M., Somrak M., Vergo E., Qin J., Borbás B., Chu E., Lindsey J., Jallon A., McInnis IMJ., Chen E., Semler A., Gloor L., Shah T., Carauleanu M., Lauer P., Huy TĐ., Shahrtash H., Duc E., Lewark L., Brown A., Albanie S., Weber B., Vaz WS., Clavier P., Fan Y., Silva GPRE., Long ., Lian ., Abramovitch M., Jiang X., Mendoza S., Islam M., Gonzalez J., Mavroudis V., Xu J., Kumar P., Goswami LP., Bugas D., Heydari N., Jeanplong F., Jansen T., Pinto A., Apronti A., Galal A., Ze-An N., Singh A., Jiang T., Xavier JOA., Agarwal KP., Berkani M., Zhang G., Du Z., Junior BADO., Malishev D., Remy N., Hartman TD., Tarver T., Mensah S., Loume GA., Morak W., Habibi F., Hoback S., Cai W., Gimenez J., Montecillo RG., Łucki J., Campbell R., Sharma A., Meer K., Gul S., Gonzalez DE., Alapont X., Hoover A., Chhablani G., Vargus F., Agarwal A., Jiang Y., Patil D., Outevsky D., Scaria KJ., Maheshwari R., Dendane A., Shukla P., Cartwright A., Bogdanov S., Mündler N., Möller S., Arnaboldi L., Thaman K., Siddiqi MR., Saxena P., Gupta H., Fruhauff T., Sherman G., Vincze M., Usawasutsakorn S., Ler D., Radhakrishnan A., Enyekwe I., Salauddin SM., Muzhen J., Maksapetyan A., Rossbach V., Harjadi C., Bahaloohoreh M., Sparrow C., Sidhu J., Ali S., Bian S., Lai J., Singer E., Uro JL., Bateman G., Sayed M., Menshawy A., Duclosel D., Bezzi D., Jain Y., Aaron A., Tiryakioglu M., Siddh S., Krenek K., Shah IA., Jin J., Creighton S., Peskoff D., EL-Wasif Z., Ragavendran PV., Richmond M., McGowan J., Patwardhan T., Sun H-Y., Sun T., Zubić N., Sala S., Ebert S., Kaddour J., Schottdorf M., Wang D., Petruzella G., Meiburg A., Medved T., ElSheikh A., Hebbar SA., Vaquero L., Yang X., Poulos J., Zouhar V., Bogdanik S., Zhang M., Sanz-Ros J., Anugraha D., Dai Y., Nhu AN., Wang X., Demircali AA., Jia Z., Zhou Y., Wu J., He M., Chandok N., Sinha A., Luo G., Le L., Noyé M., Perełkiewicz M., Pantidis I., Qi T., Purohit SS., Parcalabescu L., Nguyen T-H., Winata GI., Ponti EM., Li H., Dhole K., Park J., Abbondanza D., Wang Y., Nayak A., Caetano DM., Wong AAWL., Rio-Chanona MD., Kondor D., Francois P., Chalstrey E., Zsambok J., Hoyer D., Reddish J., Hauser J., Rodrigo-Ginés F-J., Datta S., Shepherd M., Kamphuis T., Zhang Q., Kim H., Sun R., Yao J., Dernoncourt F., Krishna S., Rismanchian S., Pu B., Pinto F., Wang Y., Shridhar K., Overholt KJ., Briia G., Nguyen H., David ., Bartomeu S., Pang TCY., Wecker A., Xiong Y., Li F., Huber LS., Jaeger J., Maddalena RD., Lù XH., Zhang Y., Beger C., Kon PTJ., Li S., Sanker V., Yin M., Liang Y., Zhang X., Agrawal A., Yifei LS., Zhang Z., Cai M., Sonmez Y., Cozianu C., Li C., Slen A., Yu S., Park HK., Sarti G., Briański M., Stolfo A., Nguyen TA., Zhang M., Perlitz Y., Hernandez-Orallo J., Li R., Shabani A., Juefei-Xu F., Dhingra S., Zohar O., Nguyen MC., Pondaven A., Yilmaz A., Zhao X., Jin C., Jiang M., Todoran S., Han X., Kreuer J., Rabern B., Plassart A., Maggetti M., Yap L., Geirhos R., Kean J., Wang D., Mollaei S., Sun C., Yin Y., Wang S., Li R., Chang Y., Wei A., Bizeul A., Wang X., Arrais AO., Mukherjee K., Chamorro-Padial J., Liu J., Qu X., Guan J., Bouyamourn A., Wu S., Plomecka M., Chen J., Tang M., Deng J., Subramanian S., Xi H., Chen H., Zhang W., Ren Y., Tu H., Kim S., Chen Y., Marjanović SV., Ha J., Luczyna G., Ma JJ., Shen Z., Song D., Zhang CE., Wang Z., Gendron G., Xiao Y., Smucker L., Weng E., Lee KH., Ye Z., Ermon S., Lopez-Miguel ID., Knights T., Gitter A., Park N., Wei B., Chen H., Pai K., Elkhanany A., Lin H., Siedler PD., Fang J., Mishra R., Zsolnai-Fehér K., Jiang X., Khan S., Yuan J., Jain RK., Lin X., Peterson M., Wang Z., Malusare A., Tang M., Gupta I., Fosin I., Kang T., Dworakowska B., Matsumoto K., Zheng G., Sewuster G., Villanueva JP., Rannev I., Chernyavsky I., Chen J., Banik D., Racz B., Dong W., Wang J., Bashmal L., Gonçalves DV., Hu W., Bar K., Bohdal O., Patlan AS., Dhuliawala S., Geirhos C., Wist J., Kansal Y., Chen B., Tire K., Yücel AT., Christof B., Singla V., Song Z., Chen S., Ge J., Ponkshe K., Park I., Shi T., Ma MQ., Mak J., Lai S., Moulin A., Cheng Z., Zhu Z., Zhang Z., Patil V., Jha K., Men Q., Wu J., Zhang T., Vieira BH., Aji AF., Chung J-W., Mahfoud M., Hoang HT., Sperzel M., Hao W., Meding K., Xu S., Kostakos V., Manini D., Liu Y., Toukmaji C., Paek J., Yu E., Demircali AE., Sun Z., Dewerpe I., Qin H., Pflugfelder R., Bailey J., Morris J., Heilala V., Rosset S., Yu Z., Chen PE., Yeo W., Jain E., Yang R., Chigurupati S., Chernyavsky J., Reddy SP., Venugopalan S., Batra H., Park CF., Tran H., Maximiano G., Zhang G., Liang Y., Shiyu H., Xu R., Pan R., Suresh S., Liu Z., Gulati S., Zhang S., Turchin P., Bartlett CW., Scotese CR., Cao PM., Nattanmai A., McKellips G., Cheraku A., Suhail A., Luo E., Deng M., Luo J., Zhang A., Jindel K., Paek J., Halevy K., Baranov A., Liu M., Avadhanam A., Zhang D., Cheng V., Ma B., Fu E., Do L., Lass J., Yang H., Sunkari S., Bharath V., Ai V., Leung J., Agrawal R., Zhou A., Chen K., Kalpathi T., Xu Z., Wang G., Xiao T., Maung E., Lee S., Yang R., Yue R., Zhao B., Yoon J., Sun S., Singh A., Luo E., Peng C., Osbey T., Wang T., Echeazu D., Yang H., Wu T., Patel S., Kulkarni V., Sundarapandiyan V., Zhang A., Le A., Nasim Z., Yalam S., Kasamsetty R., Samal S., Yang H., Sun D., Shah N., Saha A., Zhang A., Nguyen L., Nagumalli L., Wang K., Zhou A., Wu A., Luo J., Telluri A., Yue S., Wang A., Hendrycks D.

Type

Preprint

Publication Date

2025-01-24T00:00:00+00:00

Keywords

cs.LG, cs.LG, cs.AI, cs.CL

Permalink Close