No, precisamente por eso que tú has dicho.
La foto parte de una imagen "BMP" formada por lo que tú dices, "la información de todos y cada uno de los pixels de la imagen"
Directamente el móvil/cámara de fotos ya aplica una compresión sobre ese "BMP" para generar un JPEG, que básicamente aplica una compresión a la información del BMP. Hace lo mismo (más o menos) que haría un Zip o un Rar.
Es al comprimir la información donde influye la variación de los datos. A mayor variación, menor compresión y por tanto más tamaño. A menor variación (de datos=de colores) mayor compresión y por tanto archivos resultantes más pequeños.