Irmão do instrumentista Luís Cláudio Ramos. Mudou-se para o Rio de Janeiro em 1939. Aluno dos colégios Santo Inácio e Andrews e, mais tarde, da Faculdade de Direito, esteve sempre ligado a grupos musicais amadores. Em 1947, foi classificado em 1º lugar no programa de calouros "Papel carbono", apresentado por Renato Murce na Rádio Nacional (RJ). Ingressou na Faculdade de Direito, onde organizou um grupo de teatro e música, que revelou, entre outros, Geraldo Vandré e Silvinha Telles. Considerado um grande seresteiro, atua em várias capitais do país, consolidando o repertório tradicional da música popular brasileira. Do seu casamento com a jornalista e produtora Maria D'Ajuda, nasceram dois filhos. Atuou muitos anos na sede da Socimpro, no Rio de Janeiro, onde chegou a ser presidente, marcando-se como intransigente defensor dos direitos autorais dos compositores e intérpretes brasileiros.
Em 1957, iniciou sua carreira profissional, apresentando-se no programa "Um instante, maestro", de Flávio Cavalcanti, transmitido pela TV Rio. Ainda nesse ano, gravou seu primeiro disco, um 78 rpm, lançado pela Polydor, com os sambas canção "Ouça", de Maysa e "Foi a noite", de Tom Jobim e Newton Mendonça. O disco lhe valeu o título de Cantor Revelação do Ano, concedido pelos cronistas do Rio de Janeiro. Em seguida, começou a ser solicitado para realizar shows em todo o Brasil. Abandonou a carreira de advogado e passou a dedicar-se exclusivamente à música.
Em 1958, gravou seu primeiro LP, que incluiu uma música de sua autoria, o samba canção "Oferta".
No mesmo ano, gravou o fox "Tarde demais para esquecer", de H. Adamson, McCarey, Chandler e Warren, com versão de Alberto Ribeiro, os sambas canção "Se alguém telefonar", de Alcyr Pires Vermelho e Jair Amorim, "Só louco", de Dorival Caymmi e o samba "Viva o meu samba", de Billy Blanco.
Em 1959, gravou "Cantiga de enganar tristeza", de Ary Barroso e Tiago de Melo e "Prenúncio", de Marino Pinto e Vadico. No mesmo ano, gravou os sambas "Garotas", de Billy Blanco e "Recado", de Djalma Ferreira e Luiz Antônio e o samba canção "A noite do meu bem", de Dolores Duran.
Em 1960, passou a gravar na Continental, estreando com o samba toada "Esmeralda", de Filadelfo Nunes e Fernando Barreto, um der seus maiores sucessos e o samba "Saudade querida", de Tito Madi. No mesmo ano, gravou pela Odeon o bolero "A noite de nós dois", de Fernando César e Otelo Zucolo. Em 1961, gravou o samba "História singular", de Esdras Silva e Armando Cavalcânti e o samba canção "Ninguém chora por mim", de Evaldo Gouveia e Jair Amorim. No mesmo ano, gravou os sambas canção "Paciência (Vou brigar com ela)", de Lupicínio Rodrigues e "O tema é solidão", de Edson Borges e Hianto de Almeida. Em 1962, gravou na Continental os boleros "Gota de carinho", de Umberto Silva, P. Aguiar e A . Pessanha e "Não importa", de Rossini Pacheco. Em 1963, gravou os sambas canção "Mensagem", de Raul Sampaio e Benil Santos e "Serra da Boa Esperança", de Lamartine Babo.
Na década de 1960, destacou-se com sucessos como "Esmeralda", de Fernando Barreto e Filadelfo Nunes, "Lembrança", versão de Serafim Costa Almeida, "Queria", de Carlos Paraná e "Guarânia da saudade", de Luís Vieira, entre outros. Em 1966, lançou pela CBS o LP "Uma noite de serestas", no qual interpretou obras como "Boa noite, amor", de Francisco Mattoso e José Maria de Abreu, "Por ti", de Sá Roris e Leonel Azevedo, "A volz do violão", de Horácio Campos e Francisco Alves e "Serenata", de Sílvio Caldas e Orestes Barbosa.
Em 1968, lançou "Uma noite de seresta - volume 3", LP que trazia entre outras composições, "Se me faltar o amor", de Mário Rossi e Gastão Lamounier, "Modinha", de Jaime Ovalle e Manuel Bandeira, "Pisando corações", de Ernani Campos e Antenógenes Silva e "Branca", de Duque de Abramonte e Zequinha de Abreu. No ano seguinte, gravou o volume 4 da série "Uma noite de seresta", no qual gravou "A mulher que ficou na taça", de Orestes Barbosa e Francisco Alves, "Duas vidas", de Claudionor Cruz e Pedro Caetano, "Maria Bethânia", de Capiba e "Lágrimas", de Cândido das Neves, entre outras composições do repertório romântico e seresteiro.
Em 1970, gravou "Sombras na madrugada", registrando entre outras, "A volta", de Jair Amorim e Evaldo Gouveia e "Seria bem melhor", de Pedro Paulo e Renato Barros. Em 1974, gravou pela Polydor "Eu quero", de Sergio Bittencourt, "Rotina", de Roberto Carlos e Erasmo Carlos, "Prelúdio pra ninar gente grande", de Luiz Vieira, "Dono dos teus olhos", de Humberto Teixeira, "Oração da Mãe Menininha", de Dorival Caymmi e "Viagem", de Paulo César Pinheiro e João de Aquino. Em 1975, a RCA Victor lançou o álbum "Meu canto de paz", que registrou músicas de compositores novos ao lado de composições mais antigas como "Arrependimento", de Cristóvão de Alencar e Sílvio Caldas, "Cabelos brancos", de Marino Pinto e Herivelto Martins e "O filho que eu quero ter", de Toquinho e Vinicius de Moraes.
Sua discografia registra mais de 25 discos e inclui uma série de seis LPs com o título "Uma noite de seresta", na qual interpreta canções famosas gravadas por Francisco Alves, Orlando Silva, Sílvio Caldas e Carlos Galhardo. Em 1982, a convite de Ricardo Cravo Albin, estreou o show "Carlos José e Viva Voz", em que atuou ao lado da filha Luciana (uma das integrantes do conjunto), hoje produtora musical. Oito anos depois e com o mesmo produtor, tomou parte no elepê duplo "Há sempre um nome de mulher", distribuído pelas agências do Banco do Brasil e do qual se venderam 600 mil cópias em todo o país. Em 1993, gravou o CD "Serestas brasileiras", incluído no projeto "Academia Brasileira de Música", destacando-se as faixas "Esses moços" e "Nervos de aço", de Lupicínio Rodrigues, "Eu sonhei que tu estavas tão linda", de Lamartine Babo e Francisco Matoso e "Carinhoso", de Pixinguinha e João de Barro, entre outras. Quatro anos depois, regravou seus principais sucessos, como "Lembrança", "Esmeralda" e "Guarânia da saudade" no CD "20 super sucessos de Carlos José", lançado pela PolyGram, que incluiu também as faixas "Olhos nos olhos", de Chico Buarque, "Menino de rua", de J. Júnior, "Naquela mesa", de Sérgio Bittencourt, "Cabecinha no ombro" de Paulo Borges e "Você é uma mentira", de Joelma. Em 1999, organizou e estrelou espetáculo no auditório principal da Academia Brasileira de Letras, quando do lançamento das 14 canções do século XX e do livro "MPB - a história de um século", de R. C. Albin. Ao longo de sua carreira, apresentou-se nos palcos de todo o Brasil, além de ter realizado shows em Portugal, México, Argentina, Uruguai, Paraguai e Equador.
Fonte: Dicionário da MPB