蔡晓舟1908年参加熊成基领导的安庆新军马炮营起义。民国初期在甘肃工作多年，任过盐运官。后在北京大学总务处图书馆任职，接受了马克思主义。1919年投入“五四”爱国运动，曾撰写《白话文研究法》一书。
“五四运动”后不久，蔡晓舟回到安徽进行革命活动。在安庆和王步文等人主办《黎明周报》、《安庆学生》和《洪水》等刊物。相继创办了“工读夜校”、“工商夜校”和义务小学，积极宣传马克思主义。
安徽人文渊薮深厚，但安徽籍名教授多在外地执教，鉴于安徽新学的落后，一些有识之士屡有在安徽“办大学”之议。1921年7月，以蔡晓舟为首的“安徽大学期成会”在安庆成立。为了“期成”，蔡晓舟甚至不惜刀断左手中指，以血书写“誓死争取筹建安徽大学”，在安庆和京、沪、宁等地游说，向皖籍政要和社会贤达劝募，争取支持。时军阀混战，北京政府哪有心思顾得上一个省办大学？蔡晓舟的“主任委员”当了两三年，竟以未“期成”而搁浅。此时他的健康每况愈下，自号“九指病生”。安徽大学的筹建于1926年、1927年复议，1928年4月10日终于在安庆开学，刘文典出任文法学院院长兼预科主任，主持校务。这也算了了蔡晓舟的夙愿。
蔡晓舟深谙新文化运动须发动工人群众的重要性。他曾于1922年5月1日在安庆《评议报》劳动纪念节特刊上撰文《我对于今年劳动节的感想》，该刊还同时发表了由他执笔的《中国社会主义青年团敬告工人》，号召劳动阶级和学界联合起来进行斗争。次年，他在安庆组织声援“二七”大罢工，还主编了《“二七”惨案特刊》。1924年，蔡晓舟加入中国共产党。1926年蔡晓舟等领导合肥北乡吴山庙农民起义，失败后蔡去上海、北平等地继续从事地下斗争。1933年8月，48岁的蔡晓舟在北平安徽中学校长任上被特务暗杀，遗体葬白纸坊安徽“义园”。