暑假中，卢修斯·马尔福的家养小精灵多比警告哈利波特说若哈利回学校上课那么会处于非常危险的境地，不过哈利没有理睬这个警告，并努力恳请多比不要使用魔法。
德思礼一家把哈利当作罪犯，把他锁起，直到韦斯莱一家用飞天汽车把他解救出来。哈利和他的好朋友罗恩·韦斯莱度过了一个愉快的暑假。返校的日子到了，韦斯莱一家来到车站，但是哈利和罗恩无论如何都无法进入停靠着霍格沃茨特快火车的九又四分之三站台，无奈之下，他们只好驾驶飞天汽车去学校。不过，他们在学校着陆时坠毁，人员没有伤亡，汽车却报废了，罗恩的魔杖也被折断，损坏了。
有三个人引起了哈利的注意：新的喜欢虚荣的黑魔法防御术老师吉德罗·洛哈特、一直仰慕哈利的科林·克里维、喜欢摄影的可爱女孩——罗恩的妹妹金妮·韦斯莱。
但是，当密室打开之后，学校里面变得一团糟，袭击事件接连发生，有些学生竟被变成了石头，凶手是谁一直无法查出。相传，学校创办人之一萨拉查·斯莱特林曾经在学校里面建造了一个隐藏的密室，只有他或者斯莱特林的继承人才知道如何并可以进入，这个密室是为了清除学校中血统不纯的学生而建造的。一时间，人们纷纷认为哈利波特是斯莱特林继承人，是凶手，尤其是哈利是一个蛇佬腔(可以和蛇说话，而蛇正是斯莱特林的象征)之后，大家更是这么认为。而整个故事的主线就是，哈利、罗恩、赫敏三个人寻找密室的入口和真正的斯莱特林人。
袭击事件接连发生，包括赫敏在内的有一些学生被石化，送往医院。一天，金妮被抓进了密室——学校里面的一段墙上留下了“她的尸骨将永远留在密室”字样，危急的时刻到了。
在罗恩的帮助下，哈利终于发现了密室的入口，并且成功进入了密室，而他发现，打开密室造成袭击的人是金妮，不过金妮是被控制了而做出这种事情的，是伏地魔(斯莱特林的继承人，史上最为邪恶的巫师)控制了她。伏地魔在上学的时候名字叫做汤姆·里德尔，他的一个魂器HP6汤姆·里德尔的日记使金妮受到了控制。
汤姆·里德尔存在日记中的灵魂由于偷去了金妮的生命而强大起来，他放出了蛇怪(能够使人石化的怪物)对抗哈利，千钧一发之时，阿不思·邓布利多的凤凰福克斯为哈利送来了戈德里克·格兰芬多(学校创始人之一)的剑，福克斯啄瞎了蛇怪，使它无法石化哈利，哈利用剑杀死了蛇怪。汤姆·里德尔败阵下来，金妮恢复了生命，魂器HP6-日记被哈里毁掉。
这本日记是卢修斯·马尔福在开学之前偷偷藏在金妮的书袋中的，但是哈利不掌握能证明这一点的证据，不能指控卢修斯·马尔福，哈利把一只旧袜夹在残破的日记中交给卢修斯·马尔福，卢修斯非常生气，顺手把装有日记连同其中的旧袜子抛给了他的家养小精灵多比，按照传统惯例，主人把衣物送给家养小精灵代表给予它们自由，因为袜子好歹也算做衣物，所以多比就自由了，它非常感激哈利。
吉德罗·洛哈特其实只会吹嘘、没有真正本领这一点被哈利和罗恩发现，当吉德罗想要加害于他们时却因为误使了罗恩的损坏了的、会回火的魔杖而令自己失忆，后来一直生活在医院中。显然，他不能继续担任黑魔法防御术老师。
学期快结束了，斯普劳特教授培育的曼德拉草成熟了，救活了所有被石化的同学，海格也被释放了。哈利在霍格沃茨度过的第二年在惊险中度过了。
虽然一开始哈利就很有名，但是他并没有依靠自己的特殊能力保护自己，这一点给人留下了深刻的印象。哈利把每一刻都当作是下一次对他意志和勇气考验的推动力，他为塑造自己的生活做出选择，而不是甘心接受命运的摆布。
