东征孙权的大军已经启程，而这一次张墨被委任为军师祭酒，这个职位先前一直是郭嘉担任，郭嘉死后，曹操便不再任命军师祭酒，这一次曹操突然任命张墨，使得所有人都开始注意起张墨来，都觉得张墨的前途不可估量。
整整四十万大军开拔，从合肥进军濡须口，沿路过去势不可挡，攻破了江北营，俘获都督公孙阳。
曹操命人带兵乘船去江心岛，并在上面建立据点，可惜的是孙权一面向刘备求救，一面派七万水师将江心岛攻破，上面的曹军几乎死伤殆尽，曹操不得不退守濡须。
曹军吃了点亏后，张墨建议曹操暂时闭营不出，与孙权相持。
孙权数次派人挑衅，但是曹军都闭营不出，为此孙权竟然亲自乘船来到濡须口观察曹军。
曹操发现了之后，便命人拿箭矢去射孙权乘坐的小舟，孙权命人用盾挡在一侧，因为箭矢过多，小舟失重，孙权竟然泰然自若的指挥麾下士卒将小舟调转过来，以另外一面受箭，随后达到两面平衡。
尔后孙权还命小舟内的人奏乐鼓吹，迂回行驶小舟，秀了一把操作后扬长而去。
曹操看完孙权这套操作以后，由衷地对一旁的张墨感慨道：“生子当如孙仲谋，刘表那两个儿子简直如狗彘一般。”
两军僵持了一个月以后，孙权送信给曹操，上面写了一句话春水方生，公宜速去。，同时用另外一张纸写着足下不死，孤不得安。，曹操看完之后便下令退回邺城，暂时放弃了濡须口。
回去的路上，曹操问计于张墨该如何在淮南区域对抗孙权。
张墨略一思索回答道：“淮南之地多有濒江区域，想要争夺殊为不易，唯有徐徐图之，一点点蚕食孙权势力方为上策，第一步便是要保持前方城池百姓不为孙权所掳掠，以我之见，丞相可屯兵州郡，以屯田来供养军队，逐步推进，大事可成矣。”
曹操听完之后抚掌称赞道：“伯端所言甚是，不过保持百姓最好的办法便是将他们迁入内地。”
张墨眉头一皱，并不认同，不过曹操有他自己的判断，不听张墨的劝阻。
在回邺城后不久，曹操便再次准备攻打濡须口，同时他采纳了张墨的部分建议，但是也自己做了调整，曹操命淮南区的百姓，共计上十万户百姓悉数迁徙到内地。
扬州别驾蒋济特意前来劝阻曹操，陈说利害，希望曹操能改变主意，但是曹操不听。
其结果便是庐江、九江、广陵等诸郡十余万户百姓往孙权所占据的区域跑，合肥以南只剩下皖城还有人口，其余地方都成了空城。
这时候曹操又开始调动庐江太守朱光从舒县移屯到皖城，大肆开垦种植粮食，用以供应军队粮草。
张墨得知消息后第一时间去见曹操，并提出建议道：“丞相，此时合肥南面几乎已成空城，只留皖城一地，而朱光独自一人必定难以维持，不如趁机派驻军队将其余城池也悉数屯驻，不但粮食可以丰收，城池间也能互相守望，有个照应。”
曹操听完张墨的话并没有采纳，张墨略显失望的退了出去。
果不其然，一段时间后，吕蒙率兵攻城，大破皖城，俘虏朱光以及数万男女，曹操的屯田计划也相应夭折。
可是这个时候的曹操就好像输红了眼的赌徒，竟然决定再次出征濡须口，而且明确让曹植留守邺城，这一举动也让曹操麾下的文臣武将想入非非，他们都揣测曹操有立贤不立长的趋势，一时间曹植的府邸上多了许多客人。
曹操带着张墨和曹丕一同前往濡须口，奈何这一次孙权和他们玩起了躲猫猫，一直闭门不战。
曹军有种出拳打到棉花的感觉，僵持一段时间后，曹操不得不下令班师回朝。
至此，濡须口之战彻底落下帷幕，以曹操的失败而告终，这里面曹操走了一步最错的棋就是命令百姓内迁，致使大量百姓逃往孙权所占据的郡县，从而使得合肥以南方向的城池悉数空虚，难以维持。
屋漏偏遭连夜雨，这边濡须口失利，另外一边益州已经被刘备顺利拿下，现如今的刘备已经坐拥两州之地，实力也上升了一大截。
曹操得知这一消息后，立即召见张墨商讨对策。
张墨听完益州之事时，暗叹了一口气，心里为刘璋默哀了一番，他也知道益州之变的大概经过，刘备虽然没有对失败的刘璋痛下杀手，但是刘璋的日子肯定不会太好过。
曹操见张墨神色有异，当即有些奇怪的问道：“伯端可是身体不适？”
“哎，只是想起一些事情，在下曾在刘璋麾下呆过一段时间。”张墨有些唏嘘的说道：“现如今刘备入主益州，想必刘璋是在劫难逃了。”
“生不逢时呐。”曹操也感慨了一番道：“想那刘备一直寄人篱下，谁曾想这没几年时间便有如此变化，当真是气运加身。”
张墨感慨完之后，立即对曹操提议道：“汉中北横秦岭邻关中，南亘巴山连三巴，有汉水从东西横贯流过，地形险恶，易守难攻，是进入益州的咽喉之地，若是不早做打算，被刘备抢了先机，益州便可成为一固守之地，极难打开。”
“汉中张鲁如何？”曹操问道。
“我曾与他有过交集。”张墨回应道：“此人不善甲兵，虽割据一方，但是无争霸之心，只需高官厚禄便可使他归降，但他麾下的人未必会束手就擒。”
“好，西征汉中，劝说降张鲁之事便交由你来做吧。”曹操拍板决定道：“我们可从阳平关入汉中，经武都、阴平郡，顺便把韩遂解决了。”
“喏。”张墨相信张鲁是会归降朝廷的，因为张鲁相较于当官，更喜欢习练道术，传教于人，张墨最担心的便是张鲁身边的人不愿放弃汉中，从而裹挟着张鲁对抗曹军。