タイトルとなっているカラタチはミカン科の落葉低木で、春に白い花を咲かせます。
歌詞は、作曲をてがけた山田耕筰の少年期の体験に由来しています。
彼は幼い頃に養子に出され、活版工場で働きながら夜学で学問を学んでいました。この体験を、彼は自伝において「工場でつらい目に遭うと、からたちの垣根まで逃げ出して泣いた」と述懐し、ここから北原白秋が詩にしたためたのです。
この歌では、カラタチの持つトゲと実、そして白い花が咲いた後で緑の実がなる様子を、人生になぞらえています。
「からたいのとげは痛い」は人生の痛み、「青い針のとげ」は排他的で防衛的な気持ち、そこから「秋は実る」や「まろいまろい金のたま」は人間としての悲しみを表現しているとされています。