汪直終于只和極少數隨從，前去入謁胡宗憲。胡宗憲因為確實真想招撫汪直和開放互市，所以對他們慰藉之至，又為了改善他們和反對派巡按御史王本固等人的關系，建議他們前去拜見王本固，汪直等人則慨然應承。
但是，意外發生了。他們三人一到杭州就被王本固下了大獄。 胡宗憲聞訊大驚，知道出了大事，因為毛海峰的船隊還在那里停著，這是會引發嚴重后果的，所以急忙上疏為汪直分辨，一面為汪直說好話，一面降低要求，請求讓汪直戴罪立功，“俾戍海上，系番夷心”，希望能保住汪直，而王本固則固爭之。由此可見當時汪直確實沒有參與入侵，因為他的自供如果與事實不符，那么即使胡宗憲會維護他，王本固、俞大猷、盧鏜等人也是絕不會坐視不理不戳穿他謊言的，況且他這個自供還是在王本固的監獄里寫的。而當時人以及一般的記載也是只要提起倭寇，大多就直接把他們當成汪直的手下，包括《明史》在內，在這個問題上都含混不清不甚嚴謹。
由此可見，當時東南沿海最猖獗的海盜實際是福建的漳、泉海盜，而陸地上的一些武裝搶劫團伙，也因為“倭寇”的出現而被籠統地歸為“倭寇”，甚至包括葡萄牙人也一樣被朱紈和當地官府稱為“倭寇”。從這里還可以發現，海商們之所以會被視為寇，很大原因是他們在貿易時使用武力來保護自己，即：“然而駕巨舶，運輕帆，行于無涯之浸，飛槍機銃以為利，人莫敢攖之”，所以即使承認他們“非盡為也”，但也由于他們以武力來對抗明政府的這個特征，所以最終的冠名依然只能是“寇”。
至于其中的“倭寇”，如親身參與平倭的鄭若曾所言，一股倭寇中“真倭甚少，不過數十人為前鋒，寇還島，皆言做客回矣”。從這里可以知道幾個問題，一是真正的倭寇人數很少，二是即使是真倭寇，在其國內也是不敢大肆聲張的，權貴大賈和良民都是以商船和貢船形式來中國，只有那些“貧與為惡者”才來為寇。
這樣一來則又出現了一個問題，如前所言，汪直在日本的聲望和地位都相當之高，結交來往的都是權貴大賈，包括地方大名和城主，很受人尊敬。而以他如此龐大的勢力和名望，不可能受制于那么少數幾個即使在日本國內也被視為罪犯而要躲躲藏藏的倭寇。如果再聯系后來他說可以在他控制的五島地區內征兵“以夷攻夷”消滅倭寇這個話，則可以很清楚的知道，汪直并不受制于倭寇，實際是他控制了日本的五島地區，包括對那一帶居住人口的控制權。
不過汪直手下肯定是有武裝日本人的，但充其量只是其在日本往來行走達官貴人之間而雇傭浪人保鏢以及船隊成員而已。之所以這樣說，是因為熟悉日本戰國歷史的人都應該知道，在當時的日本，社會等級制度之森嚴遠過于中國，即使如豐臣秀吉也一樣因為出身于農民而一直都被各大名和傳統貴族們看不起，而要汪直這個外國商人帶著日本罪犯或者無賴、貧民去行走豪門，這簡直是不可想象的事情，等于天方夜譚，所以他在日本雇傭的本地護衛，就只能是那些沒有藩主的武士，也就是所謂的浪人才可以，不然他根本無法進入日本上層社會的大門，更不用說取得如此之高的聲望和地位了。而他船隊中雇傭的日本人，明大臣范表在《?？芮白h》中說汪直船隊在日本有“哄帶日本各島貧窮倭奴”，謂是被“哄帶”來的貧窮之人，且稱之為“奴”，這些人在船隊中地位之低下可想而知。因此，沒有一處記載能證明日本人在汪直船隊中具有領導地位，甚至連具備一定指揮權的小頭目也沒有。汪直船隊的重要頭領，一直都是清一色的是中國人，而且大多是他的同鄉和親屬，如前期包括徐惟學、徐海叔侄，以及葉碧川（宗滿）、王清溪（汝賢）、義子毛海峰以及他的侄子等人。
因此，這些都是在看待倭寇、海盜、海商和汪直等人時需要注意的問題。不能僅僅因為徐海曾經是汪直部下，就把早已經和汪直分道揚鑣乃至敵對，最后在汪直的協助下才被消滅的徐海集團所為，都扣在汪直頭上，也不能凡是倭寇和海盜的賬，全都要算到汪直頭上。
但是汪直所部，確實是和明政府在進行對抗的武裝集團，而且他們人數眾多船隊規模龐大，又是多股部隊在活動，如果說其中部分成員有擄掠行為，這并不值得奇怪。畢竟這是一群提著腦袋跑海的人，如果被抓住隨時會被砍頭，而其中更有相當部分的雇傭軍和赤貧人員甚至罪犯，因此在這樣的人員構成的武裝勢力中出現這些情況是正常的，也是不可避免的。而汪直勢力從事的海外貿易，在當時原本也是“違法”行業，他們是當時的“違法”武裝集團，因此不能以政治勢力的高度去要求他們，他們的本質，就是一股為了商業利益而采用武力和政府對抗的武裝勢力。而汪直本人主觀上也是不希望發生這樣的事的，為了防止出現這樣的情況，在其制定的船隊規則中有一條就是不得擅自上岸，違者當眾刺穿雙耳，再犯立即處死。
更多文章：