他认为中国的根本问题是农民问题，研究中国农业状况对了解整个中国具有极其重要的意义。佐尔格真是慧眼识珠，报社经理对他的见解大加赞赏，并表示积极支持，他还通过一位朋友为佐尔格搞到一张由德国外交部宣传处写给上海德国总领事馆总领事的介绍信。
1929年11月，佐尔格离开柏林，途经巴黎去马赛，在那里登上一艘日本轮船，经由苏伊士、科伦坡和香港，于1930年元月到达上海。与他一起到达的还有他的一位随身报务员，稍后不久，四局派来协助工作的无线电技术专家马克斯?克劳森相继到达。
30年代的上海分为三个部分：一为上海城区，一为美、英、法、日等国共同管辖的公共租界，一为单独划分出来的法租界。
它既是中国工业的中心，长江流域的主要港口，又是各种势力范围犬牙交错、相互重叠之地。
大批洋货通过这个港口源源而来，中外投资都集中在这里。
作为中国城市革命的中心，中国**地下中央委员会的总部也设在这里。20年代由于西方爆发革命的希望破灭，上海便成为红极一时的磁场，吸引着无数向往亚洲革命胜利的欧美进步人士。
因此，新闻记者、自由作家、进出口商、军火商、冒险家、职业特务、侨民、工人、难民和阴谋家；芸芸众生、污合之众一时云集上海。
佐尔格没想到他所向往的地方竟是这个样子，虽出乎意外，但他还是喜欢这块土地。
佐尔格到达上海的最初几个月里，虽然表面上显得不露声色，但在暗地里却立即以上海为基地，着手建立情报组织网。他先持外交部的介绍信拜访德国驻上海总领事，通过领事馆又结识了德国农业报的编辑以及许多上海的德国商人和德国外交官。
佐尔格一面广交朋友，寻找情报的来源，一面潜心研究中国的事务。随着了解的不断加深，他深深地爱上了这片土地。
佐尔格以采访、旅行等名目先后到广州、汉口、南京等地收集中国的情报，了解中国从城市到乡村，从经济发达地区到边远落后地区的基本情况。
一次偶然的机会，佐尔格结识了《法兰克福日报》驻远东记者、著名美国左翼人士艾格妮丝?史沫莱特女士。通过她，佐尔格物色到不少中国“助手”，也正是通过她，佐尔格结识了日本《朝日新闻》驻华记者、精通中国事务的日本专家尾川秀实。
尾川曾是东京帝国大学马克思主义学习小组的成员，对中国**持同情态度。他与佐尔格对世界大事的看法比较一致，以后，他成为佐尔格的主要搭档和最合适的合作者。
1932年元月18日，日本海军在上海向中国十九路军开火。佐尔格慷慨激昂，带着几分战士眷恋战壕的心情，亲自给部队分发手榴弹，同时他还采访了上海各战区的战斗，亲自感受了中**队的力量，并从中国方面的德国教官那里进一步得到有关中国和日本的战术情报。
上海事变后，日本夺取满洲后打算征服中国的意图暴露无遗，英、美政府对蒋介石政府的态度急剧变化。佐尔格的任务变得更重了。他得设法了解日本的真正意图，详细研究日本的作战方式，了解中国政治、军事状况，提供有效的情报以有助于共产国际制定对华政策。
佐尔格除了靠中国和日本的情报人员外，还利用欧洲人给他提供情报。这主要是德国商人、领事馆官员、南京的军事顾问小组和欧洲记者。他作为一位记者，常周旋于总领事馆的社交圈子和记者联谊会之中。
他从南京的德**事顾问那里了解到南京部队的驻地、武器装备、突击师的编制、指挥官与蒋介石的关系等。依靠德国教官，加上中国“助手”的一臂之力，他搜集到了有关军事工业的情报，还得到了南京军火仓库的蓝图。
他所收集情报大部分通过哈尔滨取道海参崴，或经广州取道香港再转送莫斯科。
1932年下半年，佐尔格被召回苏联，提前结束了他的中国之行。别津科夫有更重要的任务要他去干。按佐尔格的说法：“我喜欢中国，如果不是为了崇高的事业，我将在中国一直呆下去，我已深深地迷恋上这个国家了。”
不管怎么说，中国的3年之行对佐尔格本人来说是个经受锻炼的大好时机。离开上海时，佐尔格已是一位精通中国事务的专家，地地道道的中国通了。
经历了公开的以记者身份在上海这样特殊的环境和中国内地进行谍报活动的风险，佐尔格的谍报经验更丰富了，他的勇气经受住了考验。然而最有显著意义的是他有了尾川秀实和马克斯?克劳森这两个得力搭挡，这俩人成为他日后在日本完成他的谍报佳作的得力助手。
佐尔格一回到莫斯科，便去四局总部拜见别津科夫。别津科夫对他的到来表示热烈的欢迎，对他在中国的工作大加赞扬，认为十分令人满意，在四局内部的影响很大。问他对未来有何设想时，佐尔格倒不急于表态，说等他那本有关中国农业的书写成后再说。
别津科夫邀请佐尔格当晚到家里做客。在那里，佐尔格受到了热情的款待。
第二天，别津科夫到他下榻的莫斯科饭店来找他，说他那本书可能写不完了，总部有重要任务安排给他，要派他出国。别津科夫试探性地问他有什么选择。佐尔格说他挑选亚洲，特别华北或满洲。接着他又半开玩笑地说，他在日本也