Down By The Waterissa kutevat ikonisimman PJ Harveyn ainekset: kiinnostavaksi ylilyöty seksi, kuolema, uskonto, liha, kevyeen multaan kuopatut viittaukset, syyllisyys, äidin feminismiä järkyttänyt feminismi ja oman dramaattisen rekisterinsä ensi pihauksesta määritellyt tapa laulaa.