Аксиоматическая теория множеств, формулировка множеств теории в виде формальной (аксиоматической) системы (см. Аксиоматический метод). Основным побудительным стимулом для построения А. т. м. явилось открытие в «наивной» теории множеств Г. Кантора. предназначенной для обоснования классической математики, парадоксов (антиномий), т. е. противоречий. Все эти парадоксы (например, парадокс Кантора, связанный с рассмотрением «множества всех множеств», или парадокс Рассела, в котором рассматривается «множество всех множеств, не содержащих самих себя в качестве элемента») обусловлены неограниченным применением в канторовой теории множеств т. н. принципа свёртывания (или абстракции), согласно которому для всякого свойства существует множество, состоящее из всех предметов, обладающих этим свойством (этот принцип фактически содержится уже в первой фразе всех традиционных изложений теории множеств: «мы будем рассматривать произвольные множества элементов произвольной природы» и т.п.).
В первой из известных систем А. т. м. — системе Цермело — Френкеля, или ZF (сформулирована в 1908 Э. Цермело, пополнена в 1921 — 22 и позже А. Френкелем), принцип свёртывания заменяется несколькими его частными случаями: аксиомой существования пары {х,у} любых (данных) множеств х и у, аксиомой существования объединения всех элементов произвольного множества х в новое множество S (x), аксиомой существования множества Р(х) всех частей произвольного множества х, аксиомой существования бесконечного множества и т.н. схемами аксиом выделения (согласно которой для всякого множества х и свойства р существует множество элементов х, обладающих свойством j) и подстановки (утверждающей, что для любого взаимно однозначного отображения элементов множества х, описываемого на языке системы ZF, существует множество таких z, на которые отображаются эти элементы х). Не подпадает под схему принципа свёртывания т. н. аксиома выбора (о существовании «множества представителей», т. е. множества содержащего в точности по одному элементу из каждого из данных непустых попарно непересекающихся множеств). Как и во всякой другой системе А. т. м., в ZF постулируется также аксиома объёмности (экстенсиональности), согласно которой множества, состоящие из одних и тех же элементов, совпадают. Иногда к ZF присоединяют некоторые др. аксиомы более специального назначения. Формулы ZF получаются из «элементарных формул» вида х Î у («x принадлежит y») средствами исчисления предикатов.
Позднее были построены многочисленные видоизменения ZF и систем, отличающихся от ZF тем, что «плохие» (приводящие к парадоксам) совокупности элементов не вовсе исключаются из рассмотрения, а признаются «собственно классами», т. е. множествами, не могущими принадлежать в качестве элемента другим множествам (эта идея, идущая от Дж.Неймана, была затем развита швейцарским математиком П. Бернайсом, К.Гёделем и др.). Системы эти, в отличие от ZF, могут быть заданы посредством конечного числа аксиом.
Другой подход к А. т. м. воплощён в теории типов Б. Рассела и А. Н. Уайтхеда (Англия, 1910—13) и её различных модификациях, в которых на аксиому свёртывания не накладывают типичных для ZF и др. систем ограничений, но реформируют сам язык теории: вместо одного алфавита переменных х, у, z... вводится бесконечная последовательность алфавитов: x1, y1, z1,...; x2, y2, z2,...;...; xn, yn, zn,...;... различных «типов» n, а элементарные формулы имеют вид xnÎyn+1 или
xn = yn. Теории типов строятся на основе исчисления предикатов с различными видами переменных [а при естественной замене символики xnÎyn+1 на yn+1(xn) и xn = yn на xn ~ yn сами могут рассматриваться как системы расширенного исчисления предикатов, а не теории множеств]. В системе NF (New Foundation), введённой в 1937 американским математиком У. в. О. Куайном, комбинируются оба упомянутых подхода: язык NF — тот же, что в ZF, а аксиомы свёртывания должны получаться из аксиом теории типов удалением индексов при переменных.
Для различных систем А. т. м. и отдельных их аксиом рассматривался вопрос об их (относительной) непротиворечивости. В 1940 К. Гёдель доказал относительную непротиворечивость аксиомы выбора и континуум-гипотезы (см. Континуума проблема) для описанной им системы å и ZF; в дальнейшем этот результат был перенесён на теорию типов (самую слабую из перечисленных систем), а затем и на NF (в соответствующей форме). В 1963 американский математик П. Дж. Коэн доказал для ZF (а тем самым и для å ) относительную непротиворечивость отрицания континуум-гипотезы, в т. ч. и в случае, если к ZF присоединена аксиома выбора. Он же доказал, что к ZF можно присоединить без возникновения противоречия аксиому о том, что континуум не может быть вполне упорядочен (из этой аксиомы сразу следует отрицание аксиомы выбора).
Упомянутых ограничений на принцип свёртывания (или на язык системы) достаточно, чтобы в А. т. м. не возникал ни один из известных парадоксов. Однако проблема абсолютной непротиворечивости, ввиду теоремы Гёделя о неполноте (см. Метатеория), требует привлечения существенно новых идей. В частности, полученное в 1960 доказательство непротиворечивости ZF (и теории типов, но не NF) потребовало привлечения средств т. н. ультраинтуиционизма.
Лит.: Гёдель К., Совместимость аксиомы выбора и обобщённой континуум-гипотезы с аксиомами теории множеств, пер. с англ., «Успехи математических наук», 1948, т. 3, в. 1; Есенин-Вольпин А. С., К обоснованию теории множеств, в сборнике: Применение логики в науке и технике, [М., I960], с. 22 — 118; Френкель А. А. и Бар-Хиллел И., Основания теории множеств, пер. с англ., М., 1966 (библ.); Коэн П. Дж., Теория множеств и континуум-гипотеза, пер. с англ., М., 1969; Quine W. О. van, Set theory and its logic, Camb., 1963.
Ю. А. Гастев, А. С. Есенин-Вольпин.