19 июня 1942 года Приказом Народного Комиссара Военно-Морского флота СССР № 142 был установлен морской знак Гвардия.

Несмотря на то что единый знак «Гвардия» уже был учрежден 21 мая 1942 года, в ВМФ решили учредить свой, только для моряков, гвардейский знак. Работой руководил начальник организационно-строевого управления НК ВМФ капитан 2-го ранга (впоследствии вице-адмирал) Б.М. Хомич, одаренный художник, ставший автором многих других морских наград. Он предложил использовать прямоугольную (применявшуюся в русской армии и на флоте) пластину, обтянутую традиционной, принятой еще при Екатерине Великой, гвардейской (черно-оранжевой) лентой.
Знак был изготовлен из латуни, причем для командного и начальствующего состава был золотистым, для рядового и старшинского – серебристым. Надо сказать, что эти знаки имели одну особенность: со временем покрытие под «старое серебро» - стиралось, латунь обнажалась, и из-за этого знак приобретал вид офицерского. Этим и объясняется тот факт, что, несмотря на то, что матросам было выдано знаков больше, чем офицерам, желтые (золотистые) встречаются чаще белых (серебристых), хотя и те и другие исключительно редки.
Иногда в качестве знака использовали отмененные после 19 июня 1943 года колодочки к орденам, отпилив предварительно кольца на нижней кромке и заменив красную ленту на георгиевскую, тем более что был учрежден орден Славы и его лента (шириной 24 мм) вполне подходила к колодочкам. Это были, как правило, колодочки от орденов Александра Невского и Отечественной войны I и II степеней.