Nagroda Loebnera jest organizowanym każdego roku konkursem polegającym na napisaniu chatbota, z którym rozmowa zostanie przez sędziów uznana za najbardziej podobną do rozmowy z człowiekiem. Konkurs wzoruje się na teście Turinga – sędziowie posiadają zbiór pytań, które zadają przez terminal programowi lub człowiekowi, nie wiedząc, kto znajduje się po drugiej stronie. Na podstawie udzielanych odpowiedzi muszą zdecydować, czy rozmawiali ze stworzonym programem, czy z człowiekiem.
Pierwsza edycja konkursu została zorganizowana w 1990 roku przez Hugh Loebnera oraz Cambridge Center for Behavioral Studies. Jednorazową nagrodę główną, 18 karatowy złoty medal oraz 100000 dolarów zostanie przyznana osobie, której program przejdzie test Turinga ? czyli będzie tak dobrze naśladował rozmowę, że niemożliwe będzie odróżnienie programu od człowieka. Program będzie rozumiał zadawane pytania, sensownie na nie odpowiadał oraz zwracał uwagę na wskazówki wizualne (jak gesty). Przyznanie tej nagrody zakończy przyznawanie nagrody ? do dzisiaj jednak nikt jej nie zdobył. Poza tym corocznie przyznawany jest pozłacany, brązowy medal oraz 3000 dolarów osobie, której program, w danym roku, będzie najskuteczniej imitował ludzką konwersację.
Zawody odbywają się każdego roku w The Cambridge Center of Behavioral Studies. Sędziowie są losowani spośród pracowników tego instytutu. Programiści muszą dostarczyć program, który działa pod Linuksem, MS Windows lub na Macintoshach albo alternatywnie dostarczyć swój własny komputer z programem, przy czym komputer musi się dać podłączyć do standardowego terminala DEC 100. Dostarczone programy mają generować na tym terminalu ekran, na którym od góry do dołu pojawiają się tekst konwersacji pisany standardową czcionką i nie formatowany w żaden szczególny sposób. Sędziowie mają przez jeden dzień wolny dostęp do dwukrotnie większej liczby terminali niż liczba dostarczonych programów. Co drugi terminal jest obsługiwany przez prosty program komunikacyjny, który generuje na ekranie taki sam tekst jak testowane programy, ale jest obsługiwany przez człowieka ? wylosowanego spośród studentów instytutu i zaakceptowanego przez autorów programów. Do co drugiego terminala jest natomiast przyłączony testowany program. Sędziowie po całym dniu „konwersowania” ze wszystkimi terminalami, decydują które z terminali obsługiwał człowiek, a które program, oraz który z terminali obsługiwanych ich zdaniem przez programy zachowywał się „najbardziej po ludzku”. Sędziowie mają prawa zadawać terminalom dowolne pytania, oprócz takich, które w oczywisty sposób zdemaskowałyby programy, np.: „jak ma na imię twój tata”, albo „jaki jest numer telefonu twojej siostry”.