L'hypothèse d'une quatrième famille de fermions –les particules de matière décrites au sein du Modèle Standard (MS) de la physique des particules– est un des plus simples modèles de nouvelle physique encore non exclu et accessible au démarrage du LHC – le plus puissant collisionneur hadronique au monde depuis 2009. Cette thèse s'intéresse à la production d'une paire de quarks t' se désintégrant chacun via Wb. La recherche se focalise sur le domaine des très hautes masses, où la production peut être distinguée de la production de bruit de fond d'une paire de quark top en exploitant la cinématique des produits de désintégration des collisions p-p produites au centre du détecteur ATLAS. Nous présentons une stratégie originale exploitant la collimation des produits de la désintégration des bosons W de grande impulsion transverse, permettant leur reconstruction explicite. L'analyse s'appuie sur un travail de mise en oeuvre des algorithmes d'identification des jets résultants de la fragmentation des quarks de saveur b. L'étiquetage-b permet à l'expérience ATLAS d'améliorer la (re)découverte du MS, et la sensibilité à la nouvelle physique. Il sera ainsi d'une grande importance pour les futures années d'opération du LHC, raison pour laquelle nous présentons une étude de prospective de ses performances attendues avec l'extension du détecteur à pixels d'ATLAS dénommée IBL. Notre recherche de quark t' a permis d'établir une limite inférieure à la masse du quark t' de 656 GeV à partir des 4.7 fb^−1 de données 7 TeV collectées en 2011, ce qui est la meilleure limite à ce jour en recherche directe, avec également une interprétation dans le cadre du modèle de quarks dits vecteurs. / The hypothesis of a fourth generation of fermions – the matter particles described in the Standard Model (SM) of particle physics – is one of the simplest model of new physics still not excluded and accessible at the start of the Large Hadron Collider (LHC) – the world most powerful hadron collider since 2009. We search for the pair production of up-type t' quarks decaying to a W boson and a b-quark. The search is optimized for the high quark mass regime, for which the production can be distinguished from the top background by exploiting kinematic features of the decay products arising from the proton-proton collisions occurring at the center of the ATLAS detector. We present a novel search strategy reconstructing explicitly very high-pT W bosons from their collimated decay products. The analysis benefits from the commissioning of algorithms intended to identify jets stemming from the fragmentation of b-quarks. These algorithms are based on the precise reconstruction of the trajectory of charged particles, vertices of primary interaction and secondary vertices in jets. The b-tagging ability allows for ATLAS to improve the (re)discovery of the SM, and the sensibility to new physics. It will hence play an important role in the future of the LHC, the reason why we study the expected performance with an upgrade of the ATLAS pixel detector, called IBL and currently under construction. Our search of t' quark, using 4.7 fb^−1 of the 7 TeV data collected in 2011, has resulted in the world most stringent limit, excluding t' masses below 656 GeV, with also an interpretation in the framework of vector-like quarks.