Распространен преимущественно в средней и северной полосе европейской части СНГ. Засоряет озимую рожь, озимую пшеницу и другие зерновые культуры, сады и сеяные травы. Вне посевов встречается редко, на сорных местах. Как сорное растение является обычным спутником посевов озимой ржи, от которой трудно отделим вследствие большого сходства зерновок костра ржаного с семенами озимой ржи.
Корень мочковатый. Стебли прямостоячие, высотой до 130 см, ветвящиеся в узле кущения, голые. Листья линейные, шириной до 1 см, голые или слегка волосистые, с голыми влагалищами.
Соцветия — пониклые метелки длиной до 20 см, многоколосковые. Цветет и плодоносит в июне-июле, одновременно с озимой рожью. Колоски многоцветковые (5–15‑ти цветковые). Пленчатые зерновки состоят из зерновки и цветковой чешуи, ланцетные, вверху слабо расширенные. Длина пленчатой зерновки 6-8 мм, ширина около 8 мм. Окраска чешуи соломенно-желтая или зеленовато-желтая. Пленчатые зерновки костра ржаного отличаются более округлой формой по сравнению с костром полевым. Масса 1000 пленчатых зерновок до 10 г. Одно растение образует до 1500 семян. Зерновки костра ржаного хорошо прорастают с глубины 2–3 см. Отдельные всходы могут появляться и с глубины до 12 см. Всхожесть семян в почве сохраняется не более двух лет. При всходах первый лист линейный, длиной 90 мм, шириной до 3 мм, верхушка острая. Из пяти жилок хорошо заметна средняя. Лист покрыт волосками. Зародышевое листовое влагалище высотой до 10 мм, красноватое. Язычок пленчатый, небольшой. Последующие листья похожи на первый, но длиннее. Влагалища первых листьев длиной до 25 мм, покрыты волосками. Окраска темно-зеленая. В год прорастания образует хорошо развивающийся куст. После перезимовки продолжает развитие и плодоносит.