À partir du 28 octobre, lorsque les froids commencèrent, la retraite des Français prit un caractère plus tragique. Le nombre des hommes gelés ou se chauffant à en mourir aux feux des bivouacs augmenta de jour en jour.
De Moscou à Viazma, on ne comptait plus que 36 000 hommes des 73 000, non compris la garde, qui pendant toute la guerre n'avaient fait que piller. La suite devait correspondre mathématiquement à ce commencement: l'armée française diminuait dans la même proportion de Viazma à Smolensk, de Smolensk à la Bérésina et de la Bérésina à Vilna, indépendamment de l'intensité du froid, de la poursuite des Russes, des obstacles imprévus, ou de toute autre circonstance prise isolément. À partir de Viazma, les trois colonnes se fondirent en une masse confuse qui marcha ainsi jusqu'à la fin. Berthier écrivait à son souverain ce qui suit (et l'on sait à quel point les chefs se permettent de s'écarter de la vérité lorsqu'ils décrivent la situation d'une armée):
«Je crois devoir faire connaître à Votre Majesté l'état de ses troupes dans les différents corps d'armée que j'ai été à même d'observer depuis deux ou trois jours dans différents passages. Elles sont presque débandées. Le nombre des soldats qui suivent les drapeaux est en proportion du quart au plus dans presque tous les régiments; les autres suivent isolément différentes directions, chacun pour son compte, dans l'espérance de trouver des subsistances et pour se débarrasser de la discipline. En général ils regardent Smolensk comme le point où ils doivent se refaire. Ces derniers jours on a remarqué que beaucoup de soldats jettent leurs cartouches et leurs armes. Dans cet état de choses, l'intérêt du service de Votre Majesté exige, quelles que soient ses vues ultérieures, qu'on rallie l'armée à Smolensk, en commençant à la débarrasser des non-combattants, tels que les hommes démontés, et des bagages inutiles et du matériel de l'artillerie, qui n'est plus en proportion avec les forces actuelles. En outre, deux jours de repos, des subsistances sont nécessaires aux soldats, qui sont exténués par la faim et la fatigue; beaucoup sont morts ces derniers jours sur la route et dans les bivouacs. Cet état de choses va toujours en s'aggravant, et donne lieu de craindre que, si l'on n'y apporte un prompt remède, on ne soit plus maître des troupes dans un combat.—Le 9 novembre, à trente verstes de Smolensk.
En entrant dans Smolensk, qui était pour eux la terre promise, les Français s'entretuent pour s'arracher les vivres, pillent leurs propres magasins, et, cette dévastation une fois accomplie, ils reprennent leur retraite sans même savoir où elle s'arrêtera, et pourquoi ils la reprennent. Napoléon, ce génie, qui ne se connaissait pas de maître, ne le savait pas davantage. Malgré tout, son entourage et lui-même continuaient à observer l'étiquette usitée en écrivant des lettres, des rapports, des ordres du jour. On s'appelait: «Sire, mon cousin, prince d'Eckmühl, ou roi de Naples».... Mais ces rapports et ces ordres du jour étaient lettres mortes. Personne ne les exécutait, parce qu'ils étaient inexécutables, et, malgré les titres pompeux dont ils faisaient parade, chacun d'eux sentait qu'il avait beaucoup à se reprocher et que le moment de l'expiation était venu. Aussi, en dépit des soins qu'ils semblaient accorder à l'armée, chacun en réalité ne pensait qu'à soi, à fuir au plus vite, et à se sauver, si c'était possible.