Πιο γνωστά έργα του είναι η συλλογή διηγημάτων Λόγια της Πλώρης και η νουβέλα Ο Ζητιάνος
. Ο Ανδρέας Καρκαβίτσας γεννήθηκε το 1865 στα Λεχαινά Hλείας. Ήταν το μεγαλύτερο από τα έντεκα παιδιά του ρουμελιώτη Δημητρίου Καρκαβίτσα και της ντόπιας Άννας Σκαλτσά. Έμαθε τα πρώτα γράμματα στη γενέτειρά του και δεκατριών χρόνων πήγε στην Πάτρα για γυμνασιακές σπουδές. Την περίοδο αυτή χρονολογείται ο άτυχος έρωτάς του για την Ιολάνθη Βασιλειάδη, από τη μορφή της οποίας θεωρείται πως εμπνεύστηκε για την ηρωίδα της Λυγερής (1896).
Το 1883 γράφτηκε στην Ιατρική Σχολή του Πανεπιστημίου Αθηνών, από την οποία αποφοίτησε τον Δεκέμβριο του 1888. Στην Αθήνα σχετίστηκε με τον Κωστή Παλαμά, τον Κωνσταντίνο Χατζόπουλο και τον Γρηγόριο Ξενόπουλο. Η προκήρυξη του διαγωνισμού διηγήματος της Εστίας τον ώθησε στο χώρο της ηθογραφίας και ταξίδεψε σε χωριά της Ρούμελης για να συλλέξει λαογραφικά και ιστορικά στοιχεία, τα οποία χρησιμοποίησε στα πρώτα έργα του. Το 1889 στρατεύτηκε και κατά τη διάρκεια της θητείας του στο Μεσολόγγι γνώρισε τις άθλιες συνθήκες ζωής της ελληνικής υπαίθρου. Τις εντυπώσεις του κατέγραψε σε μια σειρά οδοιπορικών σημειώσεων, που αξιοποίησε στη νουβέλα του Ο ζητιάνος (1897).
Μετά τη λήξη της στρατιωτικής του θητείας το 1891 δούλεψε ως γιατρός στο ατμόπλοιο Αθήναι, με το οποίο ταξίδεψε στη Μεσόγειο, τη Μαύρη Θάλασσα, τα παράλια της Μικράς Ασίας και τον Ελλήσποντο. Οι εμπειρίες του από την περίοδο αυτή της ζωής του περιέχονται στο ταξιδιωτικό ημερολόγιο Σ’ Ανατολή και Δύση και αξιοποιήθηκαν στην περίφημη συλλογή διηγημάτων του Λόγια της πλώρης (1899). Από τον Αύγουστο του 1896 και ως το 1921 υπήρξε μόνιμος αξιωματικός του ελληνικού στρατού, φθάνοντας ως το βαθμό του γενικού αρχίατρου (συνταγματάρχη). Από τη θέση αυτή συνέχισε να ταξιδεύει με συνεχείς μεταθέσεις, που επιδίωκε ο ίδιος (την έντονη αυτή επιθυμία του για τα ταξίδια ονόμαζε «αειφυγία»).
Ο Καρκαβίτσας υπήρξε μέλος της «Εθνικής Εταιρίας», που προωθούσε τη «Μεγάλη Ιδέα» και η ήττα του 1897 στάθηκε για τον Καρκαβίτσα πολύ μεγάλη απογοήτευση. Μέλος του «Στρατιωτικού Συνδέσμου» το 1909, συμμετείχε στο κίνημα στου Γουδή, στράφηκε όμως στη συνέχεια εναντίον του Ελευθερίου Βενιζέλου. Πήρε μέρος στους Βαλκανικούς Πολέμους ως στρατιωτικός γιατρός και το 1916 αντιτάχτηκε στο βενιζελικό κίνημα της «Εθνικής Αμύνης», με αποτέλεσμα να τεθεί σε περιορισμό και να εξοριστεί στη συνέχεια στη Μυτιλήνη. Στο στράτευμα επανήλθε το 1920 και αποστρατεύτηκε δυο χρόνια αργότερα με δική του αίτηση.
Οι κακουχίες της εξορίας συνέβαλαν στον κλονισμό της υγείας του. Στις 22 Οκτωβρίου του 1922 άφησε την τελευταία του πνοή στο σπίτι του στο Μαρούσι από φυματίωση του λάρυγγα. Σύντροφός του στα τελευταία χρόνια της ζωής του στάθηκε η Δέσποινα Σωτηρίου, την οποία εγκατέστησε γενική κληρονόμο του, με διαθήκη που συνέταξε τέσσερις ημέρες πριν από τον θάνατό του.
Η πεζογραφία του Καρκαβίτσα κινήθηκε αρχικά στο πλαίσιο της ειδυλλιακής ηθογραφίας, με αρκετά λαογραφικά στοιχεία και πέρασε σταδιακά προς τον ρεαλισμό, με στοιχεία κοινωνικού προβληματισμού, με κορυφαία έκφραση τον Ζητιάνο (1897). Από τα ογδόντα, συνολικά, διηγήματά του σταθμός στάθηκε η συλλογή Λόγια της πλώρης (1899), ενώ στο τελευταίο έργο του Ο αρχαιολόγος (1904) προσπάθησε να λειτουργήσει διδακτικά, προβάλλοντας τις ιδέες του για μια γόνιμη σχέση των νεοελλήνων με τον αρχαίο ελληνικό πολιτισμό. Γύρω στο 1905 η λογοτεχνική παραγωγή του παρουσίασε σημαντική κάμψη, που διάρκεσε ως το τέλος της ζωής του, με μοναδική εξαίρεση τη διετία 1918-1920, οπότε ξεκίνησε η ενασχόλησή του με τη συγγραφή σχολικών αναγνωσμάτων, σε συνεργασία με τον Επαμεινώνδα Παπαμιχαήλ.
Στο λογοτεχνικό έργο του Καρκαβίτσα κυριαρχεί η δημοτική γλώσσα στη μετριοπαθή της έκφραση. Η πορεία του στα γράμματα ξεκίνησε στο πλαίσιο της φθίνουσας περιόδου του Αθηναϊκού Ρομαντισμού. Από την περίοδο αυτή σώζονται χειρόγραφα από ποιητικά και πεζά έργα του στην καθαρεύουσα. Πολύ σύντομα, όμως, στράφηκε στη δημοτική και συνέβαλε στη διαμόρφωσή της χωρίς να υιοθετήσει τις ακρότητες του Ψυχάρη.