В 1929 году завершил обучение в Ленинградском техникуме сценических искусств, одновременно посещая киномастерскую ФЭКС. Принял участие в съемках более сотни кинокартин. Начав карьеру в 1920-х годах с небольших ролей в фильмах «Шинель», «С. В. Д.», «Новый Вавилон», он создал свои наиболее заметные работы в картинах «Ледяная судьба», «Ветер в лицо», «Семеро смелых», «Мы из Кронштадта», «За Советскую Родину», «Болотные солдаты», «Мужество» и других. Ключевыми вехами в его творчестве стали роли Федора Таланова в фильме «Нашествие» (Сталинская премия второй степени за 1943-1944 гг., вручена в 1946) и Бармина в ленте «У озера» (Государственная премия СССР, 1971). Даже самый схематичный персонаж в исполнении Жакова обретал глубину и значительность. Крайняя сдержанность внешней игры и свойственная ему манера недосказанности подчеркивали богатство внутреннего мира его героев. Без излишней патетики и наигранности актер умел раскрыть судьбу интеллигента, который в разных жизненных ситуациях либо сохранял свое достоинство, либо терял себя.
Среди других картин с его участием: «Депутат Балтики», «Государственный преступник», «Ошибка резидента», «Фронт без флангов» (1974), «Фронт за линией фронта» (1977, Государственная премия РСФСР, 1978), «Белый клык», «Жаркое лето в Кабуле», «День приема по личным вопросам», «Мой генерал», «Расписание на завтра», «Сергей Иванович уходит на пенсию».
О. П. Жаков был награжден орденами Трудового Красного Знамени (1938, 1967), Красной Звезды (1944) и Дружбы народов (1985).
В 2007 году в Пятигорске на стене дома, где жил актер (улица 50 лет ВЛКСМ, дом 28), была установлена мемориальная доска.
