Hồi thời Hai Bà Trưng, ở ngay ngã ba sông Bạch Hạc có một cái xóm chài nhỏ xíu à. Dân ở đó quanh năm đầu tắt mặt tối, cứ bám lấy con sông mà sống. Họ giăng lưới, thả câu, bắt được con cá to chưa kịp mừng thì đã bị bọn giặc Hán tới cướp sạch hết trơn.

Trong xóm đó có một thiếu nữ tên là Quách A. Cô bé mới 13 tuổi mà lanh lẹ, bắt cá giỏi giang hổng thua gì mấy người lớn. Từ nhỏ, bà đã ghét cay ghét đắng bọn giặc Hán rồi, nên hễ bắt được cá ngon là bà lén giấu đi, đem bán lấy tiền mua gạo nuôi cha mẹ già yếu.

Mấy lúc rảnh rỗi, bà lại ra bãi tập múa kiếm, bắn cung, luyện võ. Trong lòng lúc nào cũng ấp ủ giấc mộng đuổi giặc cứu dân mình. Năm bà tròn 16 tuổi thì cha mẹ qua đời, bà buồn quá nên xuống tóc đi tu, lấy pháp hiệu là Khâu Ni.

Nhưng đi tới đâu, bà cũng thấy cảnh giặc giã hoành hành, cướp bóc, dân lành khổ sở, trong lòng bà càng sục sôi ý chí muốn cứu nước. Ở ngôi chùa bà trụ trì, bà bí mật tập hợp trai gái trong vùng, dạy cho họ võ nghệ, mài gươm rèn kiếm, chờ thời cơ nổi dậy.

Rồi đến khi Hai Bà Trưng dựng cờ khởi nghĩa, liền cử người tới mời bà Khâu Ni tham gia nghĩa quân. Hai Bà Trưng phong bà làm Tiên phong Tả tướng quân.

Ngày Hai Bà Trưng kéo quân đánh Tô Định ở thành Luy Lâu, bà chỉ huy đạo thủy binh men theo sông Thao đánh úp phía thành, làm Tô Định thua trận, phải bỏ chạy về nước Tàu.

Giặc tan, Hai Bà Trưng lên ngôi vua, phong cho bà Quách A làm Khâu Ni Công Chúa, giao cho coi sóc chùa Huyền Cổ và tiếp tục luyện binh rèn tướng tại đó. Qua hai mùa xuân thì bà mất, dân trong vùng lập đền thờ, hương khói quanh năm.

Người ta truyền lại rằng, về sau khi ông Đinh Bộ Lĩnh (924-979) đem quân đánh sứ quân Kiều Công Hãn ở đất Bạch Hạc, có ghé nghỉ tại chùa Huyền Cổ. Đêm ấy, ngài nằm mơ thấy bà Khâu Ni hiện về, nói sẽ phù hộ cho đánh thắng giặc. Quả nhiên, hôm sau Đinh Bộ Lĩnh thắng lớn. Khi lên ngôi, vua Đinh Tiên Hoàng sắc phong bà làm Thượng đẳng phúc thần.

Đến thời vua Trần Thái Tông (1218-1277) đánh giặc Nguyên-Mông ở sông Thao, bà lại hiển linh giúp sức và được vua sắc phong. Đến đời vua Lê Thái Tổ (1385-1433), bà lại phù hộ vua dẹp giặc Minh thắng lợi và được sắc phong thêm danh hiệu mới. Vua còn dặn người dân phải kiêng húy, hổng được gọi thẳng tên bà.