Служил в Ширванском мушкетерском полку сначала рядовым солдатом, потом попеременно капралом, подпрапорщиком, сержантом, подпоручиком, капитаном, секунд-майором, премьер-майором, подполковником, полковником (1759-1798 гг.). Принимал участие в русско-турецкой войне (1769-1774 гг.), в Польских компаниях (1772 и 1793 гг.), в войне со Швецией (1789-1790 гг.) и награжден орденами Святой Анны 3-й степени и Святого Великомученика и Победоносца Георгия 4-го класса. В чине полковниканазначен военным комендантом города Владимира (1794-1798 гг.) и шефом гарнизонного полка (23.02.1798–04.03.1800 гг.), с 21.02.1799 года – генерал-майор, с 1800 года – генерал-поручик. Однако статская стезя (генерал был переименован в тайные советники и 11 апреля 1800 года определен вятским гражданским губернатором) потребовала от него мужества исключительного. Когда Павел Первый, рассказывает очевидец в историческом сборнике «Осьмнадцатый век», поздравил коменданта г. Владимира на Клязьме А.С. Латышева с назначением губернатором на Вятку, он, встав на колени, доложил, что «очень плохо читает даже печатное, а писать, кроме своего имени и чина, ничего не может». В ответ на это император сказал: «Чего недостает у тебя со стороны грамотности, с избытком вознаградится твоею честностью». Прибыл ЛАТЫШЕВ в Вятку в мае 1800 года и сразу приступил к искоренению взяточничества и противозаконных действий в присутственных местах. Человек и в самом деле необыкновенно правдивый, Алексей Семенович, правя Вятской губернией, «не был малодушен с закононарушителями».. Во время его службы на должности губернатора во всех городах Вятской губернии были учреждены при земских судах ордонансгаузы, ратгаузы (городские правления). Чиновничеству, конечно, это не понравилось. В Санкт-Петербург посыпались на Латышева жалобы и доносы. В конце концов они вынудили правительство 1801 году учредить еще одну ревизию Вятки. Тайным советникам и сенаторам И.Б. Пестелю (отцу декабриста) и Н.Н. Салтыкову было поручено «не только обнаружить ясным и подробным следствием доносимые злоупотребления, но по следам их дойти до первых их источников и открыть ближайшие способы к истреблению беспорядков по сей губернии, толикократно воспрещенных, ниспровергнутых, но всегда снова возрождающихся». Алексей Семенович предоставил ревизорам неопровержимые доказательства своей правоты, не оставлявшие никаких сомнений в том, что он действовал в полном соответствии с буквой закона, и, глубоко возмущенный возведенной на него клеветой, убедительно просил избавить губернию от «сволочи» — злобных ябедников и шильников. Просьба его была исполнена, а сам ЛАТЫШЕВ, не дожидаясь, когда новые наветы коснутся его персоны, взмолился об отставке и, получив ее, в апреле 1802 года покинул Вятку.