On peut introduire
la notion d'ensemble dénombrable pour des ensembles d'objets que
l'on peut ranger en une suite, c'est-à-dire pour lesquels on peut
établir une bijection avec l'ensemble des entiers. Y a-t-il des
ensembles qui ne sont pas dénombrables?
Cantor aborde ces questions à propos d'ensembles exceptionnels
apparus dans l'étude des séries trigonométriques. En 1873 il
montre que l'ensemble des rationnels est dénombrable et que
l'ensemble des nombres réels ne l'est pas. En 1877, après avoir
montré que les ensembles et 2 peuvent
être mis en bijection, il écrit à Dedekind "Je le vois, je
ne le crois pas", tant ce résultat est en contradiction avec
l'intuition. De 1878 à 1884, il publiera six mémoires sur la
théorie des ensembles. Il dégage la notion d'équipotence de deux
ensembles, de puissance d'un ensemble, d'ensemble totalement
ordonné, étudie les propriétés topologiques de et
aborde les problèmes de mesure. Ses travaux sont très
controversés, et s'il reçoit l'appui de Dedekind et de
Weierstrass, il se heurte à une très grande hostilité de
mathématiciens influents comme Schwarz et Kronecker.
Dedekind prolonge les travaux de Cantor en dégageant la notion
d'application quelconque d'un ensemble dans un autre, la notion
d'ensemble ordonné et celle d'ensemble réticulé.