Il ne faut pas penser que toute la matière présente au moment du Big Bang était contenue dans un point ... comme on peut le lire trop souvent.

Le "Big Bang" est un état de l'univers avec une température, donc une énergie par particule, et une densité beaucoup plus élevées qu'actuellement.
Ce n'est pas un point comme on le définirait en mathématiques, car dans ce cas, la température (donc l'énergie par particule) serait infinie, ce qui n'a pas de sens physique.

Quant à l'extension de l'Univers, il semble bien qu'elle soit en accélération.
Une théorie actuelle (qui n'est évidement encore qu'une hypothèse) pour tenter d'expliquer cette accélération de l'extension de l'Univers fait appel à la notion "d'énergie noire" qui aurait une pression négative ... (à ne pas confondre avec la matière noire).

Un petit coup de Google ouvre sur plein de sites sur le sujet. (des sensés et des moins sensés, évidemment).

Je pense que point est à considérer au sens figuré. C'est une modélisation.

Tu peux commencer par lire le contenu de ce lien :

Salut à vous deux,

Je vois qu'on en revient aux références bien didactiques : j'allais également suggérer Hubert Reeves .