Humanity's Last Exam

Phan L., Gatti A., Han Z., Li N., Hu J., Zhang H., Zhang CBC., Shaaban M., Ling J., Shi S., Choi M., Agrawal A., Chopra A., Khoja A., Kim R., Ren R., Hausenloy J., Zhang O., Mazeika M., Nguyen T., Anderson D., Shah IA., Doroshenko M., Stokes AC., Mahmood M., Lee J., Pokutnyi O., Iskra O., Wang JP., Gerbicz R., Levin J-C., Popov S., Feng F., Feng SY., Zhao H., Yu M., Gangal V., Zou C., Wang Z., Kazakov M., Galgon G., Schmitt J., Sanchez A., Lee Y., Yeadon W., Sauers S., Roth M., Agu C., Riis S., Giska F., Utpala S., Cheatom A., Giboney Z., Goshu GM., Crowson S-J., Naiya MM., Burns N., Finke L., Cheng Z., Park H., Fournier-Facio F., Zampese J., Wydallis JB., Hoerr RG., Nandor M., Gehrunger T., Cai J., McCarty B., Nam J., Taylor E., Jin J., Loume GA., Cao H., Garretson AC., Sileo D., Ren Q., Cojoc D., Arkhipov P., Qazi U., Bacho A., Li L., Motwani S., Witt CSD., Kopylov A., Veith J., Singer E., Rissone P., Jin J., Shi JWL., Willcocks CG., Prabhu A., Tang L., Zhou K., Santos EDO., Maksimov AP., Vendrow E., Zenitani K., Robinson J., Mikov A., Guillod J., Li Y., Pageler B., Vendrow J., Kuchkin V., Marion P., Efremov D., Lynch J., Liang K., Gritsevskiy A., Martinez D., Crispino N., Zvonkine D., Fraga NW., Soori S., Press O., Tang H., Salazar J., Green SR., Brüssel L., Twayana M., Dieuleveut A., Rogers TR., Zhang W., Finocchio R., Li B., Yang J., Rao A., Loiseau G., Kalinin M., Lukas M., Manolescu C., Stambaugh N., Mishra S., Kamdoum AGK., Hogg T., Jin A., Bosio C., Sun G., Coppola BP., Heidinger H., Sayous R., Ivanov S., Cavanagh JM., Shen J., Imperial JM., Schwaller P., Senthilkuma S., Bran AM., Algaba A., Verbeken B., Houte KVD., Sypt LVD., Noever D., Schut L., Sucholutsky I., Zheltonozhskii E., Yuan Q., Lim D., Stanley R., Sivarajan S., Yang T., Maar J., Wykowski J., Oller M., Sandlin J., Sahu A., Ardito CG., Hu Y., Dias FM., Kreiman T., Rawal K., Vilchis TG., Zu Y., Lackner M., Koppel J., Nguyen J., Antonenko DS., Chern S., Zhao B., Arsene P., Ivanov S., Poświata R., Wang C., Li D., Crisostomi D., Dehghan A., Achilleos A., Ambay JA., Myklebust B., Sen A., Perrella D., Kaparov N., Inlow MH., Zang A., Ramakrishnan K., Orel D., Poritski V., Ben-David S., Berger Z., Whitfill P., Foster M., Munro D., Ho L., Hava DB., Kuchkin A., Lauff R., Holmes D., Sommerhage F., Zhang A., Moat R., Schneider K., Pyda D., Kazibwe Z., Singh M., Clarke D., Kim DH., Fish S., Elser V., Vilchis VEG., Klose I., Demian C., Anantheswaran U., Zweiger A., Albani G., Li J., Daans N., Radionov M., Rozhoň V., Ginis V., Ma Z., Stump C., Platnick J., Nevirkovets V., Basler L., Piccardo M., Cohen N., Singh V., Tkadlec J., Rosu P., Goldfarb A., Padlewski P., Barzowski S., Montgomery K., Menezes A., Patel A., Wang Z., Tucker-Foltz J., Stade J., Grabb D., Goertzen T., Kazemi F., Milbauer J., Shukla A., Elgnainy H., Labrador YCL., He H., Zhang L., Givré A., Wolff H., Demir G., Aziz MF., Kaddar Y., Ängquist I., Chen Y., Thornley E., Zhang R., Pan J., Terpin A., Muennighoff N., Schoelkopf H., Zheng E., Carmi A., Shah J., Brown EDL., Zhu K., Bartolo M., Wheeler R., Ho A., Barkan S., Wang J., Stehberger M., Kretov E., Bradshaw P., Heimonen JP., Sridhar K., Hossain Z., Akov I., Makarychev Y., Tam J., Hoang H., Cunningham DM., Goryachev V., Patramanis D., Krause M., Redenti A., Aldous D., Lai J., Coleman S., Xu J., Lee S., Magoulas I., Zhao S., Tang N., Cohen MK., Carroll M., Paradise O., Kirchner JH., Steinerberger S., Ovchynnikov M., Matos JO., Shenoy A., Wang M., Nie Y., Giordano P., Petersen P., Sztyber-Betley A., Faraboschi P., Riblet R., Crozier J., Halasyamani S., Pinto A., Verma S., Joshi P., Meril E., Yong Z-X., Tee A., Andréoletti J., Weller O., Singhal R., Zhang G., Ivanov A., Khoury S., Gustafsson N., Mostaghimi H., Thaman K., Chen Q., Khánh TQ., Loader J., Cavalleri S., Szlyk H., Brown Z., Narayan H., Roberts J., Alley W., Sun K., Stendall R., Lamparth M., Reuel A., Wang T., Xu H., Hernández-Cámara P., Martin F., Preu T., Korbak T., Abramovitch M., Williamson D., Bosio I., Chen Z., Bálint B., Lo EJY., Nunes MIS., Jiang Y., Bari MS., Kassani P., Wang Z., Ansarinejad B., Sun Y., Durand S., Douville G., Tordera D., Balabanian G., Anderson E., Kvistad L., Moyano AJ., Milliron H., Sakor A., Eron M., McAlister IC., Andrew FDO., Shah S., Zhou X., Kamalov F., Clark R., Abdoli S., Santens T., Wang HK., Chen E., Tomasiello A., Luca GBD., Looi S-Z., Le V-K., Kolt N., Mündler N., Semler A., Rodman E., Drori J., Fossum CJ., Gloor L., Jagota M., Pradeep R., Fan H., Shah T., Eicher J., Chen M., Thaman K., Merrill W., Firsching M., Harris C., Ciobâcă S., Gross J., Pandey R., Gusev I., Jones A., Agnihotri S., Zhelnov P., Usawasutsakorn S., Mofayezi M., Piperski A., Carauleanu M., Zhang DK., Dobarskyi K., Ler D., Leventov R., Soroko I., Jansen T., Creighton S., Lauer P., Duersch J., Taamazyan V., Bezzi D., Morak W., Ma W., Held W., Huy TĐ., Xian R., Zebaze AR., Mohamed M., Leser JN., Yuan MX., Yacar L., Lengler J., Olszewska K., Shahrtash H., Oliveira E., Jackson JW., Gonzalez DE., Zou A., Chidambaram M., Manik T., Haffenden H., Stander D., Dasouqi A., Shen A., Duc E., Golshani B., Stap D., Uzhou M., Zhidkovskaya AB., Lewark L., Rodriguez MO., Vincze M., Wehr D., Tang C., Phillips S., Samuele F., Muzhen J., Ekström F., Hammon A., Patel O., Farhidi F., Medley G., Mohammadzadeh F., Peñaflor M., Kassahun H., Friedrich A., Sparrow C., Perez RH., Sakal T., Dhamane O., Mirabadi AK., Hallman E., Okutsu K., Battaglia M., Maghsoudimehrabani M., Amit A., Hulbert D., Pereira R., Weber S., Handoko None., Peristyy A., Malina S., Albanie S., Cai W., Mehkary M., Aly R., Reidegeld F., Dick A-K., Friday C., Sidhu J., Shapourian H., Kim W., Costa M., Gurdogan H., Weber B., Kumar H., Jiang T., Agarwal A., Ceconello C., Vaz WS., Zhuang C., Park H., Tawfeek AR., Aggarwal D., Kirchhof M., Dai L., Kim E., Ferret J., Wang Y., Yan M., Burdzy K., Zhang L., Franca A., Pham DT., Loh KY., Robinson J., Jackson A., Gul S., Chhablani G., Du Z., Cosma A., Colino J., White C., Votava J., Vinnikov V., Delaney E., Spelda P., Stritecky V., Shahid SM., Mourrat J-C., Vetoshkin L., Sponselee K., Bacho R., Rosa FDL., Li X., Malod G., Lang L., Laurendeau J., Kazakov D., Adesanya F., Portier J., Hollom L., Souza V., Zhou YA., Degorre J., Yalın Y., Obikoya GD., Arnaboldi L., Rai None., Bigi F., Boscá MC., Shumar O., Bacho K., Clavier P., Recchia G., Popescu M., Shulga N., Tanwie NM., Peskoff D., Lux TCH., Rank B., Ni C., Brooks M., Yakimchyk A., Huanxu None., Liu None., Häggström O., Verkama E., Gundlach H., Brito-Santana L., Amaro B., Vajipey V., Grover R., Fan Y., Silva GPRE., Xin L., Kratish Y., Łucki J., Li W-D., Gopi S., Caciolai A., Xu J., Scaria KJ., Vargus F., Habibi F., Long None., Lian None., Rodolà E., Robins J., Cheng V., Fruhauff T., Raynor B., Qi H., Jiang X., Segev B., Fan J., Martinson S., Wang EY., Hausknecht K., Brenner MP., Mao M., Zhang X., Avagian D., Scipio EJ., Ragoler A., Tan J., Sims B., Plecnik R., Kirtland A., Bodur OF., Shinde DP., Adoul Z., Zekry M., Karakoc A., Santos TCB., Shamseldeen S., Karim L., Liakhovitskaia A., Resman N., Farina N., Gonzalez JC., Maayan G., Hoback S., Pena RDO., Sherman G., Kelley E., Mariji H., Pouriamanesh R., Wu W., Mendoza S., Alarab I., Cole J., Ferreira D., Johnson B., Safdari M., Dai L., Arthornthurasuk S., Pronin A., Fan J., Ramirez-Trinidad A., Cartwright A., Pottmaier D., Taheri O., Outevsky D., Stepanic S., Perry S., Askew L., Rodríguez RAH., Minissi AMR., Ali S., Lorena R., Iyer K., Fasiludeen AA., Salauddin SM., Islam M., Gonzalez J., Ducey J., Somrak M., Mavroudis V., Vergo E., Qin J., Borbás B., Chu E., Lindsey J., Radhakrishnan A., Jallon A., McInnis IMJ., Kumar P., Goswami LP., Bugas D., Heydari N., Jeanplong F., Apronti A., Galal A., Ze-An N., Singh A., Xavier JOA., Agarwal KP., Berkani M., Junior BADO., Malishev D., Remy N., Hartman TD., Tarver T., Mensah S., Gimenez J., Montecillo RG., Campbell R., Sharma A., Meer K., Alapont X., Patil D., Maheshwari R., Dendane A., Shukla P., Bogdanov S., Möller S., Siddiqi MR., Saxena P., Gupta H., Enyekwe I., Ragavendran PV., EL-Wasif Z., Maksapetyan A., Rossbach V., Harjadi C., Bahaloohoreh M., Bian S., Lai J., Uro JL., Bateman G., Sayed M., Menshawy A., Duclosel D., Jain Y., Aaron A., Tiryakioglu M., Siddh S., Krenek K., Hoover A., McGowan J., Patwardhan T., Yue S., Wang A., Hendrycks D.

Type

Preprint

Publication Date

24/01/2025

Keywords

cs.LG, cs.LG, cs.AI, cs.CL

Permalink